---
title: "Perencanaan endpoint LLM privat: apa yang ditentukan dulu"
description: "Apa yang perlu ditentukan sebelum meminta endpoint LLM privat: beban kerja, token per detik, konkurensi, konteks, region, lisensi, anggaran, lalu cara mengujinya."
url: https://broadrouter.com/id/blog/private-endpoint-planning/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/private-endpoint-planning/) (diperbarui 2026-11-15).

# Endpoint privat dimulai dari beban kerja yang jelas

Oleh tim BroadNet Inference · 7 menit baca · Dipublikasikan 2026-11-15

Sebelum meminta endpoint privat, tuliskan beban kerjanya: permintaan per hari dan saat puncak, token input dan output, konkurensi yang dihasilkannya, konteks yang dibutuhkan, region pemrosesan, model dan lisensinya, serta anggaran. Sepakati region dan batas secara tertulis, lalu lakukan smoke test pada endpoint yang diberikan sebelum memakai data sungguhan.

## Poin penting

-   Permintaan kapasitas hanya sebaik angka-angkanya: permintaan per detik saat puncak, token input dan output, dan latensi yang bisa Anda terima.
-   Konkurensi mengikuti hukum Little: permintaan yang sedang berjalan = laju kedatangan × waktu per permintaan. Ukur waktu per permintaan pada uji coba lebih dulu.
-   BroadNet secara publik menggambarkan endpoint privat sebagai kapasitas GPU khusus yang harganya disesuaikan dengan trafik Anda, dengan kunci, batas, dan region Anda sendiri, diakses dengan ID model privat. Hal lainnya disepakati dengan BroadNet.
-   Ketentuan BroadNet menyebut layanan swalayan tidak memiliki komitmen ketersediaan, sedangkan endpoint privat dan kapasitas khusus mengikuti perjanjian tertulis terpisah.
-   Uji endpoint yang diberikan sebelum produksi: ID model, streaming, konkurensi yang disepakati, dan error untuk ID model yang salah.

**Di halaman ini**

1.  Kapan endpoint privat masuk akal?
2.  Apa yang perlu ditentukan tentang beban kerja?
3.  Bagaimana mengubah volume menjadi token per detik dan konkurensi?
4.  Bagaimana dengan region, residensi data, dan batas?
5.  Model mana, dan dengan lisensi apa?
6.  Bagaimana menetapkan anggaran?
7.  Bagaimana mengirim permintaan penawaran?
8.  Bagaimana memvalidasi endpoint yang diberikan?
9.  Di mana posisi BroadNet Inference?

“Kami butuh endpoint khusus” adalah awal sebuah percakapan, bukan spesifikasi. Penyedia tidak bisa mengukur, menempatkan, atau menghargai kapasitas tanpa angka dari Anda, dan Anda juga tidak bisa menilai jawabannya tanpa angka itu. Artikel ini mendaftar apa yang perlu ditentukan sebelum Anda meminta, dengan contoh ekstraksi data faktur, dan diakhiri dengan skrip untuk memeriksa endpoint yang diberikan kepada Anda.

Artikel ini berlaku untuk penyedia mana pun. Saat menjelaskan penawaran BroadNet, artikel ini berpegang pada apa yang disampaikan BroadNet secara publik, dicek pada 15 November 2026. Apa pun di luar itu adalah pertanyaan untuk BroadNet.

## Kapan endpoint privat masuk akal?

Biasanya karena salah satu dari empat alasan:

-   **Trafik di atas batas swalayan.** Referensi API BroadNet menerbitkan 30 permintaan per menit dan 4 permintaan yang sedang berjalan untuk kunci bayar sesuai pemakaian. Beban kerja stabil di atas itu adalah persoalan kapasitas, bukan persoalan retry. ([Menangani 429](https://broadrouter.com/id/blog/handle-llm-api-429-rate-limits/) membahas lonjakan singkat.)
-   **Model yang tidak ada di daftar publik.** Katalog BroadNet menandai beberapa model sebagai “available on request” (tersedia atas permintaan), termasuk Qwen3-VL 30B-A3B, Qwen3-VL 8B, dan hasil fine-tune BroadNet atas Cohere Transcribe Arabic. [Membaca katalog model](https://broadrouter.com/id/blog/understand-model-status/) menjelaskan perbedaannya.
-   **Lokasi pemrosesan yang harus Anda kendalikan.** Aturan residensi data, seperti yang ada di [checklist PDPL Saudi dan UEA](https://broadrouter.com/id/blog/saudi-uae-pdpl-llm-api-checklist/), bisa mewajibkan region yang sudah Anda sepakati secara tertulis.
-   **Latensi yang dapat diprediksi.** Kapasitas bersama bervariasi sesuai beban pengguna lain. Kapasitas khusus menghilangkan variabel itu, meskipun tidak menghilangkan jarak jaringan atau ukuran prompt Anda sendiri.

Jika tidak ada yang berlaku, kunci swalayan lebih sederhana. Dan jika volume Anda sangat tinggi dan stabil, bandingkan dengan menjalankannya sendiri: [biaya self-hosting vs API](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) memuat metodenya.

## Apa yang perlu ditentukan tentang beban kerja?

Tulis ringkasan satu halaman. Inilah angka-angka yang dibutuhkan penyedia:

| Item | Yang perlu ditulis | Contoh |
| --- | --- | --- |
| Tugas | Apa yang dilakukan model, dalam satu kalimat | Membaca foto faktur, mengembalikan field JSON |
| Volume | Permintaan per hari, dan porsi di jam tersibuk | 40.000 per hari, 15% di jam puncak |
| Token | Rata-rata dan persentil ke-95 token input dan output | 1.800 input (satu gambar halaman + prompt), 350 output |
| Konteks | Permintaan tunggal terbesar, prompt ditambah jawaban | 4.000 token |
| Latensi | Waktu ke token pertama dan ke jawaban lengkap yang bisa diterima | Jawaban lengkap dalam 10 detik |
| Streaming | Dibutuhkan atau tidak | Tidak dibutuhkan (gaya batch) |
| Input | Teks, gambar, audio; format dan ukuran | JPEG dan PNG, masing-masing satu halaman |
| Bahasa | Bahasa apa saja, dan porsi masing-masing | Arab dan Inggris, 60/40 |
| Pertumbuhan | Volume yang diharapkan dalam 6 dan 12 bulan | Dua kali lipat dalam 12 bulan |

Ukur jumlah token pada sampel nyata, bukan tebakan. Bahasa Arab sering membutuhkan lebih banyak token daripada bahasa Inggris untuk teks yang sama; [penghitung token Arab](https://broadrouter.com/tools/arabic-token-counter/) dan [biaya nyata per bahasa](https://broadrouter.com/data/real-cost-by-language/) menunjukkan seberapa besar selisihnya di berbagai tokenizer. Untuk gambar, [kalkulator token gambar](https://broadrouter.com/tools/image-token-calculator/) memberi perkiraan awal.

## Bagaimana mengubah volume menjadi token per detik dan konkurensi?

Permintaan per detik saat puncak adalah volume jam tersibuk dibagi 3.600. Konkurensi, yaitu jumlah permintaan yang berjalan bersamaan, mengikuti [hukum Little](https://en.wikipedia.org/wiki/Little%27s_law): jumlah rata-rata dalam sebuah sistem sama dengan laju kedatangan dikali rata-rata waktu yang dihabiskan masing-masing di dalamnya. Untuk API, itu berarti permintaan per detik × detik per permintaan.

```python
import math

def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
         in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
    """Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
    peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
    seconds_per_request = out_tokens / out_tok_per_s_per_stream        # ignores queueing and prompt time
    concurrency = peak_rps * seconds_per_request                      # Little's law: L = λ × W
    return {
        "peak_requests_per_second": round(peak_rps, 2),
        "seconds_per_request": round(seconds_per_request, 1),
        "concurrent_requests_at_peak": math.ceil(concurrency),
        "peak_input_tokens_per_second": round(peak_rps * in_tokens),
        "peak_output_tokens_per_second": round(peak_rps * out_tokens),
        "monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
    }

# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))
```

Skrip ini mencetak 1,67 permintaan per detik saat puncak, sekitar 5,8 detik per permintaan, 10 permintaan bersamaan, 3.000 token input dan 583 token output per detik, serta 2.580 juta token per bulan. Angka 60 token per detik adalah asumsi untuk contoh ini; ukur sendiri pada model yang akan Anda pakai, karena kecepatan bervariasi menurut model, panjang prompt, dan beban. Artikel [latensi, TTFT, dan throughput](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/) menjelaskan apa yang perlu diukur waktunya.

Dua peringatan. Rumus ini mengabaikan waktu pemrosesan prompt, sehingga prompt panjang atau gambar besar membuat permintaan nyata lebih lambat dan mendorong konkurensi naik. Dan rata-rata menyembunyikan lonjakan: berikan kepada penyedia ukuran permintaan persentil ke-95 dan profil lonjakan singkat, bukan hanya rata-ratanya. Puncak dalam contoh ini (sekitar 100 permintaan per menit dan 10 berjalan bersamaan) jauh di atas batas swalayan yang diterbitkan untuk satu kunci bayar sesuai pemakaian, dan justru di situlah percakapan tentang kapasitas layak dilakukan.

## Bagaimana dengan region, residensi data, dan batas?

Sepakati secara eksplisit dan tertulis sebelum data yang diatur regulasi berpindah. Ketentuan BroadNet (§7.3a) menyebutkan: “Contact us to agree processing locations for your deployment before sending data with residency requirements,” (Terjemahan BroadRouter: Hubungi kami untuk menyepakati lokasi pemrosesan deployment Anda sebelum mengirim data yang memiliki persyaratan residensi) dan bahwa pemrosesan yang di-host mitra serta pemrosesan cadangan melibatkan pemroses lain, dengan daftar subprosesor terkini yang tersedia bagi pelanggan atas permintaan. Pernyataan privasinya menyebut model milik BroadNet dan model open-weight yang di-host-nya berjalan di hardware milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas mitra sebagai cadangan, dan halaman ikhtisarnya menyebut pemrosesan regional di MENA atau Eropa tersedia atas permintaan.

Jadi pertanyaan untuk penyedia mana pun adalah:

1.  Region mana yang memproses permintaan, dan region mana yang menampung kapasitas cadangan?
2.  Subprosesor mana yang bisa menyentuh trafik, termasuk untuk failover atau overflow?
3.  Berapa batas laju, konkurensi, dan token endpoint, dan apa yang terjadi di atas batas itu?
4.  Ketentuan ketersediaan dan dukungan apa yang berlaku, dan di mana tertulisnya? Ketentuan BroadNet (§7.4) menyebut layanan swalayan tidak memiliki komitmen ketersediaan, dan bahwa endpoint privat dan kapasitas khusus mengikuti perjanjian tertulis terpisah Anda. Untuk melihat apa yang dicakup SLA tertulis dari penyedia lain, baca [perbandingan SLA API LLM](https://broadrouter.com/id/blog/llm-api-sla-uptime-compared/).
5.  Apa yang disimpan? Untuk API inferensi BroadNet, posisi yang diterbitkan adalah: konten inferensi tidak disimpan; metadata akun, penagihan, dan keamanan yang diperlukan disimpan sebagaimana dijelaskan dalam [pernyataan privasi](https://www.broadnet.ai/inference-privacy)\-nya. Pastikan hal yang sama berlaku untuk endpoint Anda.

## Model mana, dan dengan lisensi apa?

Sebutkan model dan versinya secara persis, dan periksa bahwa lisensinya mengizinkan penggunaan Anda dan penyajian lewat API. Halaman model BroadNet mencantumkan Apache-2.0 untuk Gemma 4 26B, Qwen3-VL 30B-A3B, dan bobot dasar Cohere Transcribe, sedangkan hasil fine-tune BroadNet atas Cohere Transcribe Arabic berstatus “under contract” (berdasarkan kontrak). Ketentuannya menyebut model diatur oleh lisensinya masing-masing, dan lisensi DeepSeek V4.1 Flash tetap berlaku saat di-host mitra.

Sepakati juga jendela konteksnya. Batas konteks bergantung pada model dan deployment, bukan hanya pada maksimum model dasar: BroadNet mencantumkan 32K token untuk Gemma 4 VL 26B di API publiknya dan 16K untuk Qwen3-VL 30B-A3B, yang tersedia atas permintaan. Gunakan [kalkulator jendela konteks](https://broadrouter.com/tools/context-window-calculator/) dengan permintaan terbesar Anda, bukan rata-ratanya.

## Bagaimana menetapkan anggaran?

BroadNet tidak menerbitkan harga endpoint privat; halaman ikhtisarnya menyebut “Reserved GPU, priced to your traffic. Ask for a quote.” (Terjemahan BroadRouter: GPU khusus, harga sesuai trafik Anda. Minta penawaran.) Jadi tetapkan plafon Anda sendiri lebih dulu. Hitung harga beban kerja yang sama secara swalayan dengan [kalkulator biaya API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/), memakai jumlah token bulanan dari skrip pengukuran, lalu putuskan berapa nilai tambahan dari kapasitas yang dapat diprediksi, sebuah region, atau model yang tidak publik bagi Anda. Penawaran di bawah angka swalayan adalah bonus; penawaran yang jauh di atasnya perlu alasan dari daftar kebutuhan Anda.

## Bagaimana mengirim permintaan penawaran?

Referensi API BroadNet menyebutkan: “Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.” (Terjemahan BroadRouter: Endpoint privat, model fine-tune bahasa Arab kami, dan model lain atas permintaan diakses dengan ID privat yang diberikan bersama endpoint.) Halaman ikhtisarnya meminta “your model, languages and traffic requirements” (Terjemahan BroadRouter: model, bahasa, dan kebutuhan trafik Anda). Kirim ringkasan satu halaman Anda lewat [halaman kontak](https://broadrouter.com/id/contact/#private), tanpa kunci API atau data pelanggan. Sertakan output pengukuran, region, model dan lisensi, target latensi, plafon anggaran, dan jadwal Anda.

## Bagaimana memvalidasi endpoint yang diberikan?

Sebelum trafik produksi, uji endpoint terhadap apa yang telah disepakati. Skrip ini hanya memakai pustaka standar Python. Skrip memeriksa bahwa ID model privat berfungsi, bahwa streaming diakhiri penanda `data: [DONE]` seperti yang dijelaskan dokumentasi BroadNet, bahwa konkurensi yang disepakati berjalan tanpa 429, dan bahwa ID model yang salah ditolak.

```python
import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor

BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/")    # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"]                # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))

def post(payload: dict, stream=False):
    req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
        headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
    t0 = time.monotonic()
    try:
        with urllib.request.urlopen(req, timeout=120) as r:
            body = r.read().decode()
            return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
    except urllib.error.HTTPError as e:
        return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0

def main() -> int:
    msg = [{"role": "user", "content": "Reply with the word OK."}]
    results = {}
    code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
    ok = code == 200 and "usage" in json.loads(body)
    results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
    code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
                             "stream_options": {"include_usage": True}})
    results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
    with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
        codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
                              range(AGREED_CONCURRENCY)))
    results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
    code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
    results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
    for name, (passed, note) in results.items():
        print(f"{'PASS' if passed else 'FAIL'}  {name}: {note}")
    return 0 if all(p for p, _ in results.values()) else 1

if __name__ == "__main__":
    sys.exit(main())
```

Kami menjalankannya terhadap server tiruan lokal (bukan endpoint sungguhan) yang mengizinkan 8 permintaan berjalan bersamaan. Dengan `AGREED_CONCURRENCY=8`, keempat pemeriksaan lulus. Dengan 12, pemeriksaan konkurensi gagal dengan delapan 200 dan empat 429, dan itulah hasil yang ingin Anda lihat sebelum peluncuran, bukan sesudahnya. `max_tokens=1000` menyisakan ruang untuk model penalaran, yang menghabiskan sebagian anggaran sebelum menjawab.

Setelah smoke test, jalankan load test singkat pada puncak yang Anda ukur dengan prompt berukuran nyata, dan catat waktu ke token pertama serta latensi jawaban lengkap dari endpoint. Simpan request ID-nya; dokumentasi BroadNet meminta `X-Request-ID`, timestamp, rute, dan status dalam permintaan dukungan.

## Di mana posisi BroadNet Inference?

BroadRouter adalah situs milik BroadNet sendiri. BroadNet Inference menjual akses swalayan ke model publik per token, per menit audio, per sesi paket, dan per kunci per jam; harga ada di [halaman harga](https://broadrouter.com/id/pricing/). Endpoint privat, pemrosesan regional, fine-tune, dan model yang tercantum “on request” (atas permintaan) bukan layanan swalayan: semuanya adalah permintaan penawaran yang dihargai dan disepakati BroadNet secara tertulis. Artikel ini tidak bisa memberi tahu apa yang akan ditawarkan BroadNet untuk beban kerja Anda. Ringkasan yang jelas adalah cara untuk mengetahuinya.

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

[Latensi (latency)](https://broadrouter.com/id/glossary/latency/)

Latensi, untuk API model bahasa, adalah waktu yang dibutuhkan sebuah permintaan sejak dikirim sampai token output terakhir diterima. Latensi adalah jumlah dari time to first token dan waktu generasi, dan biasanya dilaporkan sebagai persentil seperti p50 dan p95, bukan rata-rata.

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/)

Rate limit adalah batas yang diterapkan API pada seberapa banyak client boleh memakainya dalam rentang waktu tertentu, misalnya permintaan per menit atau token per menit. Permintaan yang melebihi batas ditolak, biasanya dengan HTTP 429 Too Many Requests, sampai pemakaian kembali di bawah batas.

[Streaming (respons streaming)](https://broadrouter.com/id/glossary/streaming/)

Streaming adalah cara mengembalikan respons model bahasa dalam potongan-potongan kecil selagi masih dihasilkan, bukan sebagai satu balasan utuh di akhir. API yang kompatibel dengan OpenAI melakukan streaming lewat server-sent events jika permintaan mengatur stream ke true.

[Throughput](https://broadrouter.com/id/glossary/throughput/)

Throughput, dalam penyajian LLM, adalah jumlah total pekerjaan yang diselesaikan sebuah sistem per satuan waktu di semua permintaan yang berjalan bersamaan, biasanya diukur dalam token output per detik atau permintaan per detik. Ini berbeda dengan kecepatan per stream, yaitu seberapa cepat satu permintaan menerima token-tokennya.

[Token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/)

Token input adalah token yang dibaca model bahasa dalam sebuah permintaan, termasuk system prompt, riwayat percakapan, definisi tool, dan gambar. Token output adalah token yang dihasilkannya sebagai balasan, termasuk penalaran. API LLM biasanya menghargainya secara terpisah, dan output biasanya lebih mahal.

## Pertanyaan umum

### Apa itu endpoint LLM privat?

Endpoint API yang didukung kapasitas khusus untuk satu pelanggan, bukan dibagi dengan semua pengguna swalayan. BroadNet menggambarkan versinya sebagai GPU atau node khusus dengan model pilihan Anda, kunci dan batas Anda sendiri, serta region yang Anda butuhkan, diakses dengan ID model privat.

### Bagaimana memperkirakan konkurensi yang saya butuhkan?

Gunakan hukum Little: permintaan bersamaan = permintaan per detik saat puncak × detik per permintaan. 1,67 permintaan per detik dengan masing-masing sekitar 5,8 detik berarti sekitar 10 permintaan berjalan bersamaan. Ukur detik per permintaan pada model sungguhan dengan prompt Anda yang sebenarnya.

### Bisakah saya membeli endpoint privat BroadNet secara swalayan?

Tidak. BroadNet menyajikan endpoint privat, pemrosesan regional, dan model yang tidak tercantum sebagai permintaan penawaran: Anda menjelaskan beban kerjanya dan BroadNet memberi penawaran harga. Ketentuannya menyebut endpoint privat dan kapasitas khusus mengikuti perjanjian tertulis terpisah.

### Apakah endpoint privat disertai SLA?

Hanya jika perjanjian tertulis Anda menyebutkannya. Ketentuan BroadNet menyatakan bahwa layanan swalayan tidak memiliki komitmen ketersediaan dan bahwa tingkat layanan hanya ada dalam perjanjian tertulis terpisah. Mintalah ketentuan persisnya sebelum Anda mengandalkannya.

### Di mana data saya akan diproses?

Sepakati sebelum Anda mengirim data. Ketentuan BroadNet meminta pelanggan dengan persyaratan residensi data untuk menyepakati lokasi pemrosesan lebih dulu, dan menyebut pemrosesan yang di-host mitra serta pemrosesan cadangan melibatkan pemroses lain, dengan daftar subprosesor yang tersedia bagi pelanggan atas permintaan.

## Baca juga

-   [Self-hosting LLM vs API: biaya sebenarnya dan titik impasnya](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/)
-   [Latensi LLM: TTFT vs token per detik vs waktu end-to-end](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/)
-   [PDPL Saudi dan UEA untuk API LLM: checklist transfer lintas negara](https://broadrouter.com/id/blog/saudi-uae-pdpl-llm-api-checklist/)
-   [Cara memilih penyedia API LLM: checklist 20 poin](https://broadrouter.com/id/blog/choose-llm-api-provider-checklist/)
-   [Cara menghitung estimasi biaya API LLM sebelum meluncurkan fitur](https://broadrouter.com/id/blog/estimate-llm-api-cost-before-launch/)
-   [Cara mengatasi error 429 API LLM: backoff, jitter, dan limiter](https://broadrouter.com/id/blog/handle-llm-api-429-rate-limits/)
-   [Live, on request, riset: cara membaca katalog model dengan benar](https://broadrouter.com/id/blog/understand-model-status/)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/)
-   [Panduan: Batasi kunci API ke server Anda dengan IP allow-list](https://broadrouter.com/id/guides/api-keys-ip-allow-lists/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-private-endpoint-planning&utm_content=page-cta) ·

**Sumber**

-   [Ikhtisar BroadNet Inference: endpoint privat "Reserved GPU, priced to your traffic" (Terjemahan BroadRouter: GPU khusus, harga sesuai trafik Anda), pemrosesan regional atas permintaan (dicek 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference)
-   [Katalog model BroadNet: tersedia atas permintaan, endpoint privat multi-GPU yang diukur per pelanggan (dicek 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference/models)
-   [Halaman model BroadNet, Qwen3-VL 30B-A3B Instruct: atas permintaan, ID privat diberikan per pelanggan, konteks 16K (dicek 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference/models/qwen3-vl-30b-a3b)
-   [Halaman model BroadNet, Gemma 4 VL 26B: endpoint privat dengan kunci, batas, dan region Anda sendiri (dicek 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Ketentuan Layanan BroadNet, §7.3a lokasi hosting dan pemrosesan serta §7.4 ketersediaan (terakhir diperbarui 23 September 2026; dicek 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/terms)
-   [Referensi API BroadNet Inference: ID privat, batas bayar sesuai pemakaian, streaming, error (dicek 2026-11-15) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-private-endpoint-planning&utm_content=sources)
-   [Pernyataan privasi dan penyimpanan data BroadNet Inference: lokasi pemrosesan (dicek 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference-privacy)
-   [Hukum Little, L = λW (Wikipedia; dicek 2026-11-15)](https://en.wikipedia.org/wiki/Little%27s_law)
