---
title: "LlamaIndex OpenAILike dengan api_base kustom | BroadRouter"
description: "Hubungkan LlamaIndex ke BroadNet Inference dengan class OpenAILike, lalu atur api_base, context_window, is_chat_model, dan is_function_calling_model dengan benar."
url: https://broadrouter.com/id/guides/llamaindex-openailike/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/guides/llamaindex-openailike/) (diperbarui 2026-11-16).

# Memakai LlamaIndex dengan BroadNet Inference lewat OpenAILike

Diperbarui 2026-11-16

Instal llama-index-llms-openai-like dan buat OpenAILike dengan model berisi ID BroadNet seperti broadnet/glm-5.3, api\_base https://inference.broadnet.ai/v1, kunci BroadNet Anda, context\_window sesuai konteks asli model, is\_chat\_model=True, dan is\_function\_calling\_model=True hanya untuk GLM 5.3 atau Qwen3.8 27B. Jadikan Settings.llm agar dipakai di seluruh aplikasi.

LlamaIndex adalah framework Python untuk RAG dan agen. Untuk setiap API kompatibel OpenAI yang bukan OpenAI itu sendiri, LlamaIndex menyediakan class `OpenAILike`. BroadNet Inference menyajikan chat completions standar di `https://inference.broadnet.ai/v1`. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti referensi API LlamaIndex untuk `llama-index-llms-openai-like` 0.9.0.

## Instalasi

```bash
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
```

## Hubungkan dan uji

```python
import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))
```

Jika sebuah jawaban tercetak, berarti kunci, URL, dan ID model sudah berfungsi.

## Empat pengaturan yang penting

| Parameter | Isi dengan | Default jika tidak diisi |
| --- | --- | --- |
| `is_chat_model` | `True` | `False`, yang memakai endpoint completions lama; BroadNet menyajikan chat completions |
| `context_window` | Konteks asli model | 3.900 token |
| `is_function_calling_model` | `True` hanya untuk GLM 5.3 atau Qwen3.8 27B | `False` |
| `max_tokens` | 1.000 atau lebih | None (tidak dikirim, jadi server yang menentukan) |

`is_chat_model` adalah yang paling penting. Referensi API menyebut parameter ini “controls whether the model uses the chat or completion endpoint” (terjemahan: menentukan apakah model memakai endpoint chat atau completion) dan default-nya false. Dokumentasi BroadNet mencantumkan `/v1/chat/completions`, bukan endpoint completions yang lebih lama.

## Pakai di seluruh aplikasi

```python
from llama_index.core import Settings

Settings.llm = llm
```

Setelah itu, query engine, chat engine, dan agen memakai BroadNet. Embedding terpisah: referensi API BroadNet tidak mencantumkan endpoint embedding, jadi tetap pakai model embedding lain untuk indexing.

## Context window

| Model | ID | `context_window` | Tools |
| --- | --- | --- | --- |
| GLM 5.3 | `broadnet/glm-5.3` | 1048576 | Ya |
| DeepSeek V4.1 Flash | `broadnet/deepseek-v4.1-flash` | 1048576 | Tidak dicantumkan |
| Qwen3.8 27B | `broadnet/qwen3.8-27b` | 262144 | Ya |
| BroadNet Gemma 4 VL 26B | `broadnet/gemma-4-26b-a4b` | 32768 | Tidak dicantumkan |

Konteks 1M token memungkinkan query engine mengirim jauh lebih banyak chunk hasil retrieval per panggilan. Itu tidak selalu lebih baik; lihat [long context vs RAG](https://broadrouter.com/id/blog/long-context-vs-rag/).

## Pemecahan masalah

-   **401.** Kuncinya salah, kedaluwarsa, atau jatahnya habis.
-   **404.** `api_base` harus diakhiri `/v1`, dan `is_chat_model` harus `True`. Lalu periksa ID model. Model berbayar memerlukan top up; kredit $5 hanya mencakup `broadnet/gemma-4-26b-a4b`.
-   **Jawaban kosong.** Penalaran menghabiskan anggaran output. Naikkan `max_tokens`. [Kenapa jawaban kembali kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/).
-   **Agen tidak pernah memanggil tools.** Atur `is_function_calling_model=True` dan pakai `broadnet/glm-5.3` atau `broadnet/qwen3.8-27b`.
-   **429 saat ingestion atau query batch.** Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Secara default OpenAILike mencoba ulang 3 kali (`max_retries`). Lihat [panduan error dan percobaan ulang](https://broadrouter.com/id/guides/errors-and-retries/).

## Istilah dalam panduan ini

[Embeddings (vektor embedding)](https://broadrouter.com/id/glossary/embeddings/)

Embeddings adalah daftar angka floating-point (vektor) yang dihasilkan model untuk merepresentasikan sepotong teks, gambar, atau input lain. Input dengan makna serupa mendapat vektor yang berdekatan, sehingga jarak antarvektor bisa dipakai untuk mengurutkan hasil pencarian, mengelompokkan dokumen, atau menemukan item terkait.

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Chat Completions API](https://broadrouter.com/id/glossary/chat-completions-api/)

Chat Completions API adalah endpoint HTTP milik OpenAI, POST /v1/chat/completions, yang menerima nama model dan daftar pesan bertanda peran lalu mengembalikan pesan berikutnya dari model. Bentuk request dan response-nya menjadi format umum yang dipakai ulang oleh penyedia dan SDK yang kompatibel dengan OpenAI.

[Context window (jendela konteks)](https://broadrouter.com/id/glossary/context-window/)

Context window adalah jumlah token maksimum yang bisa diolah model bahasa dalam satu permintaan. Cakupannya meliputi prompt, riwayat percakapan, definisi tool, gambar, dan output yang dihasilkan, termasuk token penalaran. Apa pun yang tidak muat harus dipotong, diringkas, atau dibagi ke beberapa permintaan.

[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

[RAG (retrieval-augmented generation)](https://broadrouter.com/id/glossary/rag/)

RAG (retrieval-augmented generation) adalah pola di mana aplikasi lebih dulu mengambil bagian teks yang relevan dengan pertanyaan dari penyimpanan eksternal, seperti indeks pencarian atau indeks vektor, lalu menambahkannya ke prompt agar model bahasa bisa menjawab berdasarkan teks itu, bukan hanya dari ingatannya.

[Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/)

Rate limit adalah batas yang diterapkan API pada seberapa banyak client boleh memakainya dalam rentang waktu tertentu, misalnya permintaan per menit atau token per menit. Permintaan yang melebihi batas ditolak, biasanya dengan HTTP 429 Too Many Requests, sampai pemakaian kembali di bawah batas.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

## Pertanyaan umum

### Kenapa tidak memakai class OpenAI dari LlamaIndex dengan api\_base lain?

Halaman OpenAI milik LlamaIndex sendiri menyarankan integrasi OpenAILike untuk setiap API kompatibel OpenAI yang bukan API resmi OpenAI. OpenAILike juga memungkinkan Anda menentukan sendiri context window dan dukungan tools.

### Apa yang terjadi jika context\_window tidak diisi?

Default OpenAILike adalah 3.900 token, jadi LlamaIndex memangkas prompt dan chunk hasil retrieval jauh di bawah kapasitas model BroadNet. Isi 1048576 untuk GLM 5.3 dan DeepSeek V4.1 Flash, atau 262144 untuk Qwen3.8 27B.

### Bisakah FunctionAgent LlamaIndex memakai BroadNet?

Bisa, dengan is\_function\_calling\_model=True pada model yang dicantumkan BroadNet dengan tools, yaitu GLM 5.3 atau Qwen3.8 27B. Biarkan False untuk DeepSeek V4.1 Flash, karena dokumentasi BroadNet tidak mencantumkan tool calling untuk model itu.

### Apakah BroadNet menyediakan embedding untuk index LlamaIndex?

Referensi API BroadNet mencantumkan chat completions dan transkripsi audio, bukan embedding. Pakai model embedding terpisah untuk index, dan BroadNet untuk LLM-nya.

## Panduan terkait

-   [Memakai LangChain dengan BroadNet Inference](https://broadrouter.com/id/guides/langchain-openai-base-url/)
-   [Pydantic AI dengan BroadNet Inference (OpenAICompatibleProvider)](https://broadrouter.com/id/guides/pydantic-ai-openai-compatible/)
-   [Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)
-   [Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)
-   [Semua alat yang bisa dipakai dengan BroadNet Inference (bahasa Inggris)](https://broadrouter.com/integrations/): SDK, agen coding, antarmuka chat, dan alat otomatisasi, lengkap dengan pengaturan persis untuk masing-masing

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-llamaindex-openailike&utm_content=page-cta) ·

**Sumber**

-   [Referensi API LlamaIndex, OpenAILike (diperiksa 2026-11-15)](https://developers.llamaindex.ai/python/framework-api-reference/llms/openai_like/)
-   [Dokumentasi LlamaIndex, contoh OpenAILike (halaman integrasi Grok) (diperiksa 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/grok/)
-   [Dokumentasi LlamaIndex, halaman OpenAI LLM (mengarahkan API kompatibel ke OpenAILike) (diperiksa 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/openai/)
-   [PyPI, llama-index-llms-openai-like 0.9.0, Python 3.11+ (diperiksa 2026-11-15)](https://pypi.org/project/llama-index-llms-openai-like/)
-   [Kode sumber LlamaIndex, default max\_tokens dan payload LLM OpenAI (diperiksa 2026-11-16)](https://github.com/run-llama/llama_index/blob/main/llama-index-integrations/llms/llama-index-llms-openai/llama_index/llms/openai/base.py)
-   [Referensi API BroadNet Inference (diperiksa 2026-11-15) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-llamaindex-openailike&utm_content=sources)
