---
title: "LlamaIndex OpenAILike dengan api_base tersuai | BroadRouter"
description: "Sambungkan LlamaIndex ke BroadNet Inference dengan kelas OpenAILike, dan tetapkan api_base, context_window, is_chat_model dan is_function_calling_model dengan betul."
url: https://broadrouter.com/ms/guides/llamaindex-openailike/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/guides/llamaindex-openailike/) (dikemas kini 2026-11-16).

# Guna LlamaIndex dengan BroadNet Inference melalui OpenAILike

Dikemas kini 2026-11-16

Pasang llama-index-llms-openai-like dan cipta OpenAILike dengan model ditetapkan kepada ID BroadNet seperti broadnet/glm-5.3, api\_base kepada https://inference.broadnet.ai/v1, kunci BroadNet anda, context\_window kepada konteks sebenar model, is\_chat\_model=True, dan is\_function\_calling\_model=True hanya untuk GLM 5.3 atau Qwen3.8 27B. Tetapkannya sebagai Settings.llm untuk digunakan di mana-mana.

LlamaIndex ialah rangka kerja Python untuk RAG dan ejen. Untuk mana-mana API serasi OpenAI yang bukan OpenAI sendiri, ia menyediakan kelas `OpenAILike`. BroadNet Inference menyediakan chat completions standard di `https://inference.broadnet.ai/v1`. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut rujukan API LlamaIndex untuk `llama-index-llms-openai-like` 0.9.0.

## Pasang

```bash
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
```

## Sambung dan uji

```python
import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))
```

Jika jawapan dicetak, kunci, URL dan ID model anda berfungsi.

## Empat tetapan yang penting

| Parameter | Tetapkan kepada | Lalai jika tidak ditetapkan |
| --- | --- | --- |
| `is_chat_model` | `True` | `False`, yang menggunakan endpoint completions lama; BroadNet menyediakan chat completions |
| `context_window` | Konteks sebenar model | 3,900 token |
| `is_function_calling_model` | `True` hanya untuk GLM 5.3 atau Qwen3.8 27B | `False` |
| `max_tokens` | 1,000 atau lebih | None (tidak dihantar, jadi pelayan yang menentukan) |

`is_chat_model` paling penting. Rujukan API menyatakan ia “controls whether the model uses the chat or completion endpoint” (Terjemahan BroadRouter: mengawal sama ada model menggunakan endpoint chat atau completion) dan lalainya false. Dokumentasi BroadNet menyenaraikan `/v1/chat/completions`, bukan endpoint completions yang lebih lama.

## Guna di seluruh aplikasi

```python
from llama_index.core import Settings

Settings.llm = llm
```

Enjin pertanyaan, enjin chat dan ejen kemudian menggunakan BroadNet. Embeddings berasingan: rujukan API BroadNet tidak menyenaraikan endpoint embeddings, jadi kekalkan model embedding lain untuk pengindeksan.

## Tetingkap konteks

| Model | ID | `context_window` | Alatan |
| --- | --- | --- | --- |
| GLM 5.3 | `broadnet/glm-5.3` | 1048576 | Ya |
| DeepSeek V4.1 Flash | `broadnet/deepseek-v4.1-flash` | 1048576 | Tidak disenaraikan |
| Qwen3.8 27B | `broadnet/qwen3.8-27b` | 262144 | Ya |
| BroadNet Gemma 4 VL 26B | `broadnet/gemma-4-26b-a4b` | 32768 | Tidak disenaraikan |

Konteks 1M token membolehkan enjin pertanyaan menghantar lebih banyak cebisan yang diambil bagi setiap panggilan. Itu tidak semestinya lebih baik; lihat [long context vs RAG](https://broadrouter.com/ms/blog/long-context-vs-rag/).

## Penyelesaian masalah

-   **401.** Kunci salah, telah tamat tempoh atau kehabisan elaun.
-   **404.** `api_base` mesti berakhir dengan `/v1`, dan `is_chat_model` mesti `True`. Kemudian semak ID model. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputi `broadnet/gemma-4-26b-a4b` dan dua model Transcribe.
-   **Jawapan kosong.** Penaakulan menghabiskan bajet output. Naikkan `max_tokens`. [Mengapa jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/).
-   **Ejen tidak pernah memanggil alatan.** Tetapkan `is_function_calling_model=True` dan gunakan `broadnet/glm-5.3` atau `broadnet/qwen3.8-27b`.
-   **429 semasa ingestion atau pertanyaan kelompok.** Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. OpenAILike mencuba semula 3 kali secara lalai (`max_retries`). Lihat [ralat dan cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/).

## Istilah dalam panduan ini

[Embedding (vektor teks)](https://broadrouter.com/ms/glossary/embeddings/)

Embedding ialah senarai nombor titik terapung (vektor) yang dihasilkan oleh model untuk mewakili sekeping teks, imej atau input lain. Input yang maknanya serupa mendapat vektor yang berdekatan, jadi jarak antara vektor boleh digunakan untuk menyusun hasil carian, mengelompokkan dokumen atau mencari item berkaitan.

[Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/)

Bayar ikut guna ialah model harga di mana anda hanya membayar apa yang anda guna, dimeter mengikut unit seperti token, permintaan atau minit audio, tanpa langganan atau komitmen minimum. Kebanyakan API LLM mengebil dengan cara ini, daripada baki prabayar atau invois berkala.

[Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/)

Tetingkap konteks ialah bilangan maksimum token yang boleh dikendalikan oleh model bahasa dalam satu permintaan. Ia meliputi prompt, sejarah perbualan, definisi alatan, imej dan output yang dijana, termasuk token penaakulan. Apa-apa yang tidak muat mesti dipotong, diringkaskan atau dipecahkan kepada beberapa permintaan.

[Chat Completions API](https://broadrouter.com/ms/glossary/chat-completions-api/)

Chat Completions API ialah endpoint HTTP OpenAI, POST /v1/chat/completions, yang menerima nama model dan senarai mesej bertanda peranan, lalu memulangkan mesej seterusnya daripada model. Bentuk permintaan dan responsnya menjadi format biasa yang digunakan semula oleh penyedia dan SDK yang serasi OpenAI.

[Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/)

Keserentakan ialah bilangan permintaan yang sedang berjalan serentak daripada satu klien. API LLM sering mengehadkannya bagi setiap kunci atau pelan, berasingan daripada permintaan seminit, kerana setiap permintaan yang terbuka memegang kapasiti GPU sehingga responsnya selesai.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[API serasi OpenAI (OpenAI-compatible API)](https://broadrouter.com/ms/glossary/openai-compatible-api/)

API serasi OpenAI ialah API HTTP yang menerima format permintaan dan respons yang sama seperti OpenAI API, contohnya POST /v1/chat/completions, jadi SDK dan alat OpenAI boleh menggunakannya dengan hanya menukar base URL, kunci API dan nama model.

[Had kadar (rate limit)](https://broadrouter.com/ms/glossary/rate-limit/)

Had kadar ialah had yang ditetapkan oleh API ke atas jumlah penggunaan klien dalam satu tempoh masa, seperti permintaan seminit atau token seminit. Permintaan yang melebihi had ditolak, biasanya dengan HTTP 429 Too Many Requests, sehingga penggunaan turun semula di bawahnya.

## Soalan lazim

### Mengapa tidak guna kelas OpenAI LlamaIndex dengan api\_base yang berbeza?

Halaman OpenAI LlamaIndex sendiri menyuruh anda menggunakan integrasi OpenAILike untuk mana-mana API serasi OpenAI yang bukan API OpenAI rasmi. OpenAILike juga membolehkan anda mengisytiharkan sendiri tetingkap konteks dan sokongan alatan.

### Apakah yang berlaku jika saya tidak menetapkan context\_window?

OpenAILike menggunakan 3,900 token secara lalai, jadi LlamaIndex memangkas prompt dan cebisan yang diambil jauh di bawah apa yang diterima oleh model BroadNet. Tetapkan 1048576 untuk GLM 5.3 dan DeepSeek V4.1 Flash, atau 262144 untuk Qwen3.8 27B.

### Bolehkah FunctionAgent LlamaIndex menggunakan BroadNet?

Boleh, dengan is\_function\_calling\_model=True pada model yang disenaraikan BroadNet dengan tools, iaitu GLM 5.3 atau Qwen3.8 27B. Biarkan False untuk DeepSeek V4.1 Flash, kerana dokumentasi BroadNet tidak menyenaraikan tool calling untuknya.

### Adakah BroadNet menyediakan embeddings untuk indeks LlamaIndex?

Rujukan API BroadNet menyenaraikan chat completions dan audio transcriptions, bukan embeddings. Gunakan model embedding berasingan untuk indeks dan BroadNet untuk LLM.

## Panduan berkaitan

-   [Cara guna LangChain dengan BroadNet Inference](https://broadrouter.com/ms/guides/langchain-openai-base-url/)
-   [Guna Pydantic AI dengan BroadNet Inference (OpenAICompatibleProvider)](https://broadrouter.com/ms/guides/pydantic-ai-openai-compatible/)
-   [Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)
-   [Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)
-   [Semua alat yang berfungsi dengan BroadNet Inference (Bahasa Inggeris)](https://broadrouter.com/integrations/): SDK, ejen pengekodan, antara muka sembang dan alat automasi, dengan tetapan tepat bagi setiap satu

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-guides-llamaindex-openailike&utm_content=page-cta) ·

**Sumber**

-   [Rujukan API LlamaIndex, OpenAILike (disemak 2026-11-15)](https://developers.llamaindex.ai/python/framework-api-reference/llms/openai_like/)
-   [Dokumentasi LlamaIndex, contoh OpenAILike (halaman integrasi Grok) (disemak 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/grok/)
-   [Dokumentasi LlamaIndex, halaman OpenAI LLM (merujuk API serasi kepada OpenAILike) (disemak 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/openai/)
-   [PyPI, llama-index-llms-openai-like 0.9.0, Python 3.11+ (disemak 2026-11-15)](https://pypi.org/project/llama-index-llms-openai-like/)
-   [Kod sumber LlamaIndex, nilai lalai max\_tokens dan payload OpenAI LLM (disemak 2026-11-16)](https://github.com/run-llama/llama_index/blob/main/llama-index-integrations/llms/llama-index-llms-openai/llama_index/llms/openai/base.py)
-   [Rujukan API BroadNet Inference (disemak 2026-11-15) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-guides-llamaindex-openailike&utm_content=sources)
