“Kami perlukan endpoint khusus” ialah permulaan perbualan, bukan spesifikasi. Penyedia tidak dapat menyaiz, menempatkan atau meletakkan harga kapasiti tanpa angka anda, dan anda juga tidak dapat menilai jawapan mereka tanpanya. Catatan ini menyenaraikan apa yang perlu ditakrifkan sebelum anda bertanya, menggunakan contoh pengekstrakan invois, dan diakhiri dengan skrip yang menyemak endpoint yang diberikan kepada anda.
Ia terpakai kepada mana-mana penyedia. Apabila ia menerangkan tawaran BroadNet, ia berpegang pada apa yang dinyatakan BroadNet secara terbuka, disemak pada 15 November 2026. Apa-apa di luar itu ialah soalan untuk BroadNet.
Bilakah endpoint persendirian masuk akal?
Biasanya atas salah satu daripada empat sebab:
- Trafik melebihi had layan diri. Rujukan API BroadNet menerbitkan 30 permintaan seminit dan 4 permintaan serentak untuk kunci bayar ikut guna. Beban kerja yang stabil melebihi had itu ialah persoalan kapasiti, bukan persoalan cubaan semula. (Mengendalikan 429 merangkumi lonjakan singkat.)
- Model yang tiada dalam senarai awam. Katalog BroadNet menandakan sesetengah model “available on request” (tersedia atas permintaan), termasuk Qwen3-VL 30B-A3B, Qwen3-VL 8B dan model Cohere Transcribe Arabic yang ditala halus oleh BroadNet. Membaca katalog model menerangkan perbezaannya.
- Lokasi pemprosesan yang mesti anda kawal. Peraturan kediaman data, seperti dalam senarai semak PDPL Saudi dan UAE, mungkin memerlukan rantau yang telah anda persetujui secara bertulis.
- Kependaman yang boleh diramal. Kapasiti kongsi berubah mengikut beban pengguna lain. Kapasiti khas membuang pemboleh ubah itu, walaupun bukan jarak rangkaian atau saiz prompt anda sendiri.
Jika tiada satu pun yang berkaitan, kunci layan diri lebih mudah. Dan jika volum anda sangat tinggi dan stabil, bandingkan dengan menjalankannya sendiri: hos sendiri lwn kos API mempunyai kaedahnya.
Apakah yang perlu anda takrifkan tentang beban kerja?
Tulis taklimat satu halaman. Ini angka yang diperlukan penyedia:
| Perkara | Apa yang perlu ditulis | Contoh |
|---|---|---|
| Tugas | Apa yang dilakukan model, dalam satu ayat | Baca foto invois, pulangkan medan JSON |
| Volum | Permintaan sehari, dan bahagian dalam jam paling sibuk | 40,000 sehari, 15% dalam jam puncak |
| Token | Purata dan persentil ke-95 token input dan output | 1,800 masuk (imej satu halaman + prompt), 350 keluar |
| Konteks | Permintaan tunggal terbesar, prompt dan jawapan | 4,000 token |
| Kependaman | Masa yang boleh diterima hingga token pertama dan hingga jawapan penuh | Jawapan penuh dalam 10 saat |
| Penstriman | Perlu atau tidak | Tidak perlu (gaya kelompok) |
| Input | Teks, imej, audio; format dan saiz | JPEG dan PNG, satu halaman setiap satu |
| Bahasa | Yang mana, dan bahagian setiap satu | Arab dan Inggeris, 60/40 |
| Pertumbuhan | Volum dijangka dalam 6 dan 12 bulan | Dua kali ganda dalam 12 bulan |
Ukur kiraan token pada sampel sebenar, bukan tekaan. Bahasa Arab selalunya memerlukan lebih banyak token daripada bahasa Inggeris untuk teks yang sama; pengira token bahasa Arab dan kos sebenar mengikut bahasa menunjukkan sebanyak mana pada tokenizer berbeza. Untuk imej, kalkulator token imej memberi anggaran pertama.
Bagaimanakah anda menukar volum kepada token sesaat dan keserentakan?
Permintaan sesaat pada waktu puncak ialah volum jam paling sibuk dibahagi 3,600. Keserentakan, iaitu bilangan permintaan yang sedang berjalan pada satu masa, mengikut hukum Little: purata bilangan dalam sesuatu sistem sama dengan kadar ketibaan didarab purata masa setiap satu berada di situ. Bagi API, itu ialah permintaan sesaat × saat setiap permintaan.
import math
def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
"""Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
seconds_per_request = out_tokens / out_tok_per_s_per_stream # ignores queueing and prompt time
concurrency = peak_rps * seconds_per_request # Little's law: L = λ × W
return {
"peak_requests_per_second": round(peak_rps, 2),
"seconds_per_request": round(seconds_per_request, 1),
"concurrent_requests_at_peak": math.ceil(concurrency),
"peak_input_tokens_per_second": round(peak_rps * in_tokens),
"peak_output_tokens_per_second": round(peak_rps * out_tokens),
"monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
}
# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))
Ia mencetak 1.67 permintaan sesaat pada waktu puncak, kira-kira 5.8 saat setiap permintaan, 10 permintaan serentak, 3,000 token input dan 583 token output sesaat, dan 2,580 juta token sebulan. Angka 60 token sesaat ialah andaian untuk contoh ini; ukur angka anda sendiri pada model yang akan anda gunakan, kerana kelajuan berbeza mengikut model, panjang prompt dan beban. Catatan kependaman, TTFT dan daya pemprosesan menerangkan apa yang perlu diukur masanya.
Dua peringatan. Formula ini mengabaikan masa pemprosesan prompt, jadi prompt panjang atau imej besar menjadikan permintaan sebenar lebih perlahan dan menaikkan keserentakan. Dan purata menyembunyikan lonjakan: berikan penyedia saiz permintaan persentil ke-95 anda dan profil lonjakan singkat, bukan sekadar min. Puncak contoh ini (kira-kira 100 permintaan seminit dan 10 serentak) jauh melebihi had layan diri yang diterbitkan untuk satu kunci bayar ikut guna, dan itulah masanya perbualan tentang kapasiti berbaloi.
Bagaimana pula dengan rantau, kediaman data dan had?
Persetujuinya secara jelas, bertulis, sebelum sebarang data terkawal bergerak. Terma BroadNet (§7.3a) menyatakan: “Contact us to agree processing locations for your deployment before sending data with residency requirements,” (Terjemahan: Hubungi kami untuk mempersetujui lokasi pemprosesan bagi penggunaan anda sebelum menghantar data yang mempunyai keperluan kediaman,) dan bahawa pemprosesan yang dihoskan rakan kongsi dan sandaran melibatkan pemproses lain, dengan senarai subpemproses semasa tersedia kepada pelanggan atas permintaan. Pernyataan privasinya menyatakan model BroadNet sendiri dan model open-weight yang dihoskan berjalan pada perkakasan milik atau sewaan BroadNet di Amerika Syarikat, dengan kapasiti rakan kongsi sebagai sandaran, dan halaman gambaran keseluruhannya menyatakan pemprosesan serantau di MENA atau Eropah tersedia atas permintaan.
Jadi soalan untuk mana-mana penyedia ialah:
- Rantau manakah yang memproses permintaan, dan rantau manakah yang memegang kapasiti sandaran?
- Subpemproses manakah yang boleh menyentuh trafik, termasuk untuk failover atau limpahan?
- Apakah had kadar, keserentakan dan token endpoint, dan apa yang berlaku apabila melebihinya?
- Terma ketersediaan dan sokongan apakah yang terpakai, dan di mana ia ditulis? Terma BroadNet (§7.4) menyatakan layan diri tiada komitmen ketersediaan, dan endpoint persendirian serta kapasiti khas tertakluk kepada perjanjian bertulis anda yang berasingan. Untuk melihat apa yang dirangkumi SLA bertulis penyedia lain, baca perbandingan SLA API LLM.
- Apakah yang disimpan? Bagi API inferens BroadNet, kedudukan yang diterbitkan ialah: kandungan inferens tidak disimpan; metadata akaun, pengebilan dan keselamatan yang perlu disimpan seperti yang diterangkan dalam pernyataan privasinya. Sahkan perkara yang sama terpakai pada endpoint anda.
Model mana, dan di bawah lesen mana?
Namakan model dan versi yang tepat, dan semak bahawa lesennya membenarkan kegunaan anda dan penyajian API. Halaman model BroadNet menyenaraikan Apache-2.0 untuk Gemma 4 26B, Qwen3-VL 30B-A3B dan pemberat asas Cohere Transcribe, dengan versi Cohere Transcribe Arabic yang ditala halus BroadNet “under contract” (di bawah kontrak). Termanya menyatakan model ditadbir oleh lesen masing-masing, dan lesen DeepSeek V4.1 Flash masih terpakai apabila dihoskan rakan kongsi.
Persetujui juga tetingkap konteks. Had konteks bergantung pada model dan penggunaannya, bukan hanya pada maksimum model asas: BroadNet menyenaraikan 32K token untuk Gemma 4 VL 26B pada API awamnya dan 16K untuk Qwen3-VL 30B-A3B, yang tersedia atas permintaan. Gunakan kalkulator tetingkap konteks terhadap permintaan terbesar anda, bukan purata.
Bagaimanakah anda menetapkan bajet?
BroadNet tidak menerbitkan harga endpoint persendirian; halaman gambaran keseluruhannya menyatakan “Reserved GPU, priced to your traffic. Ask for a quote.” (Terjemahan: GPU khas, harga mengikut trafik anda. Minta sebut harga.) Jadi tetapkan siling anda sendiri dahulu. Letakkan harga beban kerja yang sama pada layan diri dengan kalkulator kos API LLM, menggunakan kiraan token bulanan daripada skrip penyaizan, dan putuskan berapa nilai tambahan bagi anda untuk kapasiti yang boleh diramal, satu rantau atau model yang tidak awam. Sebut harga di bawah angka layan diri ialah bonus; sebut harga yang jauh lebih tinggi memerlukan sebab daripada senarai keperluan anda.
Bagaimanakah anda menghantar pertanyaan?
Rujukan API BroadNet menyatakan: “Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.” (Terjemahan: Endpoint persendirian, model bahasa Arab kami yang ditala halus dan model lain atas permintaan dicapai dengan ID persendirian yang dikeluarkan bersama endpoint.) Halaman gambaran keseluruhannya meminta “your model, languages and traffic requirements” (Terjemahan: model, bahasa dan keperluan trafik anda). Hantar taklimat satu halaman anda melalui halaman hubungi, tanpa kunci API atau data pelanggan. Sertakan output penyaizan, rantau, model dan lesen, sasaran kependaman, siling bajet dan garis masa anda.
Bagaimanakah anda mengesahkan endpoint yang diberikan?
Sebelum trafik pengeluaran, uji endpoint terhadap apa yang dipersetujui. Skrip ini hanya menggunakan pustaka standard Python. Ia menyemak bahawa ID model persendirian berfungsi, bahawa penstriman berakhir dengan penanda data: [DONE] yang diterangkan dokumentasi BroadNet, bahawa keserentakan yang dipersetujui berjalan tanpa 429, dan bahawa ID model yang salah ditolak.
import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor
BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/") # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"] # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))
def post(payload: dict, stream=False):
req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
t0 = time.monotonic()
try:
with urllib.request.urlopen(req, timeout=120) as r:
body = r.read().decode()
return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
except urllib.error.HTTPError as e:
return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0
def main() -> int:
msg = [{"role": "user", "content": "Reply with the word OK."}]
results = {}
code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
ok = code == 200 and "usage" in json.loads(body)
results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
"stream_options": {"include_usage": True}})
results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
range(AGREED_CONCURRENCY)))
results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
for name, (passed, note) in results.items():
print(f"{'PASS' if passed else 'FAIL'} {name}: {note}")
return 0 if all(p for p, _ in results.values()) else 1
if __name__ == "__main__":
sys.exit(main())
Kami menjalankannya terhadap pelayan olok-olok tempatan (bukan endpoint sebenar) yang membenarkan 8 permintaan serentak. Dengan AGREED_CONCURRENCY=8 keempat-empat semakan lulus. Dengan 12, semakan keserentakan gagal dengan lapan 200 dan empat 429, iaitu hasil yang anda mahu lihat sebelum pelancaran, bukan selepasnya. max_tokens=1000 memberi ruang untuk model penaakulan, yang membelanjakan sebahagian bajet sebelum menjawab.
Selepas ujian asap, jalankan ujian beban singkat pada puncak yang anda ukur dengan prompt bersaiz sebenar, dan rekod masa hingga token pertama dan kependaman jawapan penuh endpoint itu. Simpan ID permintaan; dokumentasi BroadNet meminta X-Request-ID, cap masa, laluan dan status dalam permintaan sokongan.
Di mana BroadNet Inference sesuai
BroadRouter ialah laman web milik BroadNet sendiri. BroadNet Inference menjual akses layan diri kepada model awam mengikut token, minit audio, pelan sesi dan kunci sejam; harga ada di halaman harga. Endpoint persendirian, pemprosesan serantau, penalaan halus dan model yang disenaraikan “on request” bukan layan diri: ia pertanyaan yang diberi sebut harga oleh BroadNet dan dipersetujui secara bertulis. Catatan ini tidak dapat memberitahu anda apa yang akan ditawarkan BroadNet untuk beban kerja anda. Taklimat yang jelas ialah cara anda mengetahuinya.
