“Kami butuh endpoint khusus” adalah awal sebuah percakapan, bukan spesifikasi. Penyedia tidak bisa mengukur, menempatkan, atau menghargai kapasitas tanpa angka dari Anda, dan Anda juga tidak bisa menilai jawabannya tanpa angka itu. Artikel ini mendaftar apa yang perlu ditentukan sebelum Anda meminta, dengan contoh ekstraksi data faktur, dan diakhiri dengan skrip untuk memeriksa endpoint yang diberikan kepada Anda.
Artikel ini berlaku untuk penyedia mana pun. Saat menjelaskan penawaran BroadNet, artikel ini berpegang pada apa yang disampaikan BroadNet secara publik, dicek pada 15 November 2026. Apa pun di luar itu adalah pertanyaan untuk BroadNet.
Kapan endpoint privat masuk akal?
Biasanya karena salah satu dari empat alasan:
- Trafik di atas batas swalayan. Referensi API BroadNet menerbitkan 30 permintaan per menit dan 4 permintaan yang sedang berjalan untuk kunci bayar sesuai pemakaian. Beban kerja stabil di atas itu adalah persoalan kapasitas, bukan persoalan retry. (Menangani 429 membahas lonjakan singkat.)
- Model yang tidak ada di daftar publik. Katalog BroadNet menandai beberapa model sebagai “available on request” (tersedia atas permintaan), termasuk Qwen3-VL 30B-A3B, Qwen3-VL 8B, dan hasil fine-tune BroadNet atas Cohere Transcribe Arabic. Membaca katalog model menjelaskan perbedaannya.
- Lokasi pemrosesan yang harus Anda kendalikan. Aturan residensi data, seperti yang ada di checklist PDPL Saudi dan UEA, bisa mewajibkan region yang sudah Anda sepakati secara tertulis.
- Latensi yang dapat diprediksi. Kapasitas bersama bervariasi sesuai beban pengguna lain. Kapasitas khusus menghilangkan variabel itu, meskipun tidak menghilangkan jarak jaringan atau ukuran prompt Anda sendiri.
Jika tidak ada yang berlaku, kunci swalayan lebih sederhana. Dan jika volume Anda sangat tinggi dan stabil, bandingkan dengan menjalankannya sendiri: biaya self-hosting vs API memuat metodenya.
Apa yang perlu ditentukan tentang beban kerja?
Tulis ringkasan satu halaman. Inilah angka-angka yang dibutuhkan penyedia:
| Item | Yang perlu ditulis | Contoh |
|---|---|---|
| Tugas | Apa yang dilakukan model, dalam satu kalimat | Membaca foto faktur, mengembalikan field JSON |
| Volume | Permintaan per hari, dan porsi di jam tersibuk | 40.000 per hari, 15% di jam puncak |
| Token | Rata-rata dan persentil ke-95 token input dan output | 1.800 input (satu gambar halaman + prompt), 350 output |
| Konteks | Permintaan tunggal terbesar, prompt ditambah jawaban | 4.000 token |
| Latensi | Waktu ke token pertama dan ke jawaban lengkap yang bisa diterima | Jawaban lengkap dalam 10 detik |
| Streaming | Dibutuhkan atau tidak | Tidak dibutuhkan (gaya batch) |
| Input | Teks, gambar, audio; format dan ukuran | JPEG dan PNG, masing-masing satu halaman |
| Bahasa | Bahasa apa saja, dan porsi masing-masing | Arab dan Inggris, 60/40 |
| Pertumbuhan | Volume yang diharapkan dalam 6 dan 12 bulan | Dua kali lipat dalam 12 bulan |
Ukur jumlah token pada sampel nyata, bukan tebakan. Bahasa Arab sering membutuhkan lebih banyak token daripada bahasa Inggris untuk teks yang sama; penghitung token Arab dan biaya nyata per bahasa menunjukkan seberapa besar selisihnya di berbagai tokenizer. Untuk gambar, kalkulator token gambar memberi perkiraan awal.
Bagaimana mengubah volume menjadi token per detik dan konkurensi?
Permintaan per detik saat puncak adalah volume jam tersibuk dibagi 3.600. Konkurensi, yaitu jumlah permintaan yang berjalan bersamaan, mengikuti hukum Little: jumlah rata-rata dalam sebuah sistem sama dengan laju kedatangan dikali rata-rata waktu yang dihabiskan masing-masing di dalamnya. Untuk API, itu berarti permintaan per detik × detik per permintaan.
import math
def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
"""Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
seconds_per_request = out_tokens / out_tok_per_s_per_stream # ignores queueing and prompt time
concurrency = peak_rps * seconds_per_request # Little's law: L = λ × W
return {
"peak_requests_per_second": round(peak_rps, 2),
"seconds_per_request": round(seconds_per_request, 1),
"concurrent_requests_at_peak": math.ceil(concurrency),
"peak_input_tokens_per_second": round(peak_rps * in_tokens),
"peak_output_tokens_per_second": round(peak_rps * out_tokens),
"monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
}
# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))
Skrip ini mencetak 1,67 permintaan per detik saat puncak, sekitar 5,8 detik per permintaan, 10 permintaan bersamaan, 3.000 token input dan 583 token output per detik, serta 2.580 juta token per bulan. Angka 60 token per detik adalah asumsi untuk contoh ini; ukur sendiri pada model yang akan Anda pakai, karena kecepatan bervariasi menurut model, panjang prompt, dan beban. Artikel latensi, TTFT, dan throughput menjelaskan apa yang perlu diukur waktunya.
Dua peringatan. Rumus ini mengabaikan waktu pemrosesan prompt, sehingga prompt panjang atau gambar besar membuat permintaan nyata lebih lambat dan mendorong konkurensi naik. Dan rata-rata menyembunyikan lonjakan: berikan kepada penyedia ukuran permintaan persentil ke-95 dan profil lonjakan singkat, bukan hanya rata-ratanya. Puncak dalam contoh ini (sekitar 100 permintaan per menit dan 10 berjalan bersamaan) jauh di atas batas swalayan yang diterbitkan untuk satu kunci bayar sesuai pemakaian, dan justru di situlah percakapan tentang kapasitas layak dilakukan.
Bagaimana dengan region, residensi data, dan batas?
Sepakati secara eksplisit dan tertulis sebelum data yang diatur regulasi berpindah. Ketentuan BroadNet (§7.3a) menyebutkan: “Contact us to agree processing locations for your deployment before sending data with residency requirements,” (Terjemahan BroadRouter: Hubungi kami untuk menyepakati lokasi pemrosesan deployment Anda sebelum mengirim data yang memiliki persyaratan residensi) dan bahwa pemrosesan yang di-host mitra serta pemrosesan cadangan melibatkan pemroses lain, dengan daftar subprosesor terkini yang tersedia bagi pelanggan atas permintaan. Pernyataan privasinya menyebut model milik BroadNet dan model open-weight yang di-host-nya berjalan di hardware milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas mitra sebagai cadangan, dan halaman ikhtisarnya menyebut pemrosesan regional di MENA atau Eropa tersedia atas permintaan.
Jadi pertanyaan untuk penyedia mana pun adalah:
- Region mana yang memproses permintaan, dan region mana yang menampung kapasitas cadangan?
- Subprosesor mana yang bisa menyentuh trafik, termasuk untuk failover atau overflow?
- Berapa batas laju, konkurensi, dan token endpoint, dan apa yang terjadi di atas batas itu?
- Ketentuan ketersediaan dan dukungan apa yang berlaku, dan di mana tertulisnya? Ketentuan BroadNet (§7.4) menyebut layanan swalayan tidak memiliki komitmen ketersediaan, dan bahwa endpoint privat dan kapasitas khusus mengikuti perjanjian tertulis terpisah Anda. Untuk melihat apa yang dicakup SLA tertulis dari penyedia lain, baca perbandingan SLA API LLM.
- Apa yang disimpan? Untuk API inferensi BroadNet, posisi yang diterbitkan adalah: konten inferensi tidak disimpan; metadata akun, penagihan, dan keamanan yang diperlukan disimpan sebagaimana dijelaskan dalam pernyataan privasi-nya. Pastikan hal yang sama berlaku untuk endpoint Anda.
Model mana, dan dengan lisensi apa?
Sebutkan model dan versinya secara persis, dan periksa bahwa lisensinya mengizinkan penggunaan Anda dan penyajian lewat API. Halaman model BroadNet mencantumkan Apache-2.0 untuk Gemma 4 26B, Qwen3-VL 30B-A3B, dan bobot dasar Cohere Transcribe, sedangkan hasil fine-tune BroadNet atas Cohere Transcribe Arabic berstatus “under contract” (berdasarkan kontrak). Ketentuannya menyebut model diatur oleh lisensinya masing-masing, dan lisensi DeepSeek V4.1 Flash tetap berlaku saat di-host mitra.
Sepakati juga jendela konteksnya. Batas konteks bergantung pada model dan deployment, bukan hanya pada maksimum model dasar: BroadNet mencantumkan 32K token untuk Gemma 4 VL 26B di API publiknya dan 16K untuk Qwen3-VL 30B-A3B, yang tersedia atas permintaan. Gunakan kalkulator jendela konteks dengan permintaan terbesar Anda, bukan rata-ratanya.
Bagaimana menetapkan anggaran?
BroadNet tidak menerbitkan harga endpoint privat; halaman ikhtisarnya menyebut “Reserved GPU, priced to your traffic. Ask for a quote.” (Terjemahan BroadRouter: GPU khusus, harga sesuai trafik Anda. Minta penawaran.) Jadi tetapkan plafon Anda sendiri lebih dulu. Hitung harga beban kerja yang sama secara swalayan dengan kalkulator biaya API LLM, memakai jumlah token bulanan dari skrip pengukuran, lalu putuskan berapa nilai tambahan dari kapasitas yang dapat diprediksi, sebuah region, atau model yang tidak publik bagi Anda. Penawaran di bawah angka swalayan adalah bonus; penawaran yang jauh di atasnya perlu alasan dari daftar kebutuhan Anda.
Bagaimana mengirim permintaan penawaran?
Referensi API BroadNet menyebutkan: “Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.” (Terjemahan BroadRouter: Endpoint privat, model fine-tune bahasa Arab kami, dan model lain atas permintaan diakses dengan ID privat yang diberikan bersama endpoint.) Halaman ikhtisarnya meminta “your model, languages and traffic requirements” (Terjemahan BroadRouter: model, bahasa, dan kebutuhan trafik Anda). Kirim ringkasan satu halaman Anda lewat halaman kontak, tanpa kunci API atau data pelanggan. Sertakan output pengukuran, region, model dan lisensi, target latensi, plafon anggaran, dan jadwal Anda.
Bagaimana memvalidasi endpoint yang diberikan?
Sebelum trafik produksi, uji endpoint terhadap apa yang telah disepakati. Skrip ini hanya memakai pustaka standar Python. Skrip memeriksa bahwa ID model privat berfungsi, bahwa streaming diakhiri penanda data: [DONE] seperti yang dijelaskan dokumentasi BroadNet, bahwa konkurensi yang disepakati berjalan tanpa 429, dan bahwa ID model yang salah ditolak.
import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor
BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/") # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"] # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))
def post(payload: dict, stream=False):
req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
t0 = time.monotonic()
try:
with urllib.request.urlopen(req, timeout=120) as r:
body = r.read().decode()
return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
except urllib.error.HTTPError as e:
return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0
def main() -> int:
msg = [{"role": "user", "content": "Reply with the word OK."}]
results = {}
code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
ok = code == 200 and "usage" in json.loads(body)
results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
"stream_options": {"include_usage": True}})
results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
range(AGREED_CONCURRENCY)))
results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
for name, (passed, note) in results.items():
print(f"{'PASS' if passed else 'FAIL'} {name}: {note}")
return 0 if all(p for p, _ in results.values()) else 1
if __name__ == "__main__":
sys.exit(main())
Kami menjalankannya terhadap server tiruan lokal (bukan endpoint sungguhan) yang mengizinkan 8 permintaan berjalan bersamaan. Dengan AGREED_CONCURRENCY=8, keempat pemeriksaan lulus. Dengan 12, pemeriksaan konkurensi gagal dengan delapan 200 dan empat 429, dan itulah hasil yang ingin Anda lihat sebelum peluncuran, bukan sesudahnya. max_tokens=1000 menyisakan ruang untuk model penalaran, yang menghabiskan sebagian anggaran sebelum menjawab.
Setelah smoke test, jalankan load test singkat pada puncak yang Anda ukur dengan prompt berukuran nyata, dan catat waktu ke token pertama serta latensi jawaban lengkap dari endpoint. Simpan request ID-nya; dokumentasi BroadNet meminta X-Request-ID, timestamp, rute, dan status dalam permintaan dukungan.
Di mana posisi BroadNet Inference?
BroadRouter adalah situs milik BroadNet sendiri. BroadNet Inference menjual akses swalayan ke model publik per token, per menit audio, per sesi paket, dan per kunci per jam; harga ada di halaman harga. Endpoint privat, pemrosesan regional, fine-tune, dan model yang tercantum “on request” (atas permintaan) bukan layanan swalayan: semuanya adalah permintaan penawaran yang dihargai dan disepakati BroadNet secara tertulis. Artikel ini tidak bisa memberi tahu apa yang akan ditawarkan BroadNet untuk beban kerja Anda. Ringkasan yang jelas adalah cara untuk mengetahuinya.
