BroadRouter

Guna LlamaIndex dengan BroadNet Inference melalui OpenAILike

Dikemas kini

Pasang llama-index-llms-openai-like dan cipta OpenAILike dengan model ditetapkan kepada ID BroadNet seperti broadnet/glm-5.3, api_base kepada https://inference.broadnet.ai/v1, kunci BroadNet anda, context_window kepada konteks sebenar model, is_chat_model=True, dan is_function_calling_model=True hanya untuk GLM 5.3 atau Qwen3.8 27B. Tetapkannya sebagai Settings.llm untuk digunakan di mana-mana.

LlamaIndex ialah rangka kerja Python untuk RAG dan ejen. Untuk mana-mana API serasi OpenAI yang bukan OpenAI sendiri, ia menyediakan kelas OpenAILike. BroadNet Inference menyediakan chat completions standard di https://inference.broadnet.ai/v1. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut rujukan API LlamaIndex untuk llama-index-llms-openai-like 0.9.0.

Pasang

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

Sambung dan uji

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

Jika jawapan dicetak, kunci, URL dan ID model anda berfungsi.

Empat tetapan yang penting

Parameter Tetapkan kepada Lalai jika tidak ditetapkan
is_chat_model True False, yang menggunakan endpoint completions lama; BroadNet menyediakan chat completions
context_window Konteks sebenar model 3,900 token
is_function_calling_model True hanya untuk GLM 5.3 atau Qwen3.8 27B False
max_tokens 1,000 atau lebih None (tidak dihantar, jadi pelayan yang menentukan)

is_chat_model paling penting. Rujukan API menyatakan ia “controls whether the model uses the chat or completion endpoint” (Terjemahan BroadRouter: mengawal sama ada model menggunakan endpoint chat atau completion) dan lalainya false. Dokumentasi BroadNet menyenaraikan /v1/chat/completions, bukan endpoint completions yang lebih lama.

Guna di seluruh aplikasi

from llama_index.core import Settings

Settings.llm = llm

Enjin pertanyaan, enjin chat dan ejen kemudian menggunakan BroadNet. Embeddings berasingan: rujukan API BroadNet tidak menyenaraikan endpoint embeddings, jadi kekalkan model embedding lain untuk pengindeksan.

Tetingkap konteks

Model ID context_window Alatan
GLM 5.3 broadnet/glm-5.3 1048576 Ya
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 Tidak disenaraikan
Qwen3.8 27B broadnet/qwen3.8-27b 262144 Ya
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 Tidak disenaraikan

Konteks 1M token membolehkan enjin pertanyaan menghantar lebih banyak cebisan yang diambil bagi setiap panggilan. Itu tidak semestinya lebih baik; lihat long context vs RAG.

Penyelesaian masalah

  • 401. Kunci salah, telah tamat tempoh atau kehabisan elaun.
  • 404. api_base mesti berakhir dengan /v1, dan is_chat_model mesti True. Kemudian semak ID model. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputi broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • Jawapan kosong. Penaakulan menghabiskan bajet output. Naikkan max_tokens. Mengapa jawapan kosong.
  • Ejen tidak pernah memanggil alatan. Tetapkan is_function_calling_model=True dan gunakan broadnet/glm-5.3 atau broadnet/qwen3.8-27b.
  • 429 semasa ingestion atau pertanyaan kelompok. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. OpenAILike mencuba semula 3 kali secara lalai (max_retries). Lihat ralat dan cuba semula.

Soalan lazim

Mengapa tidak guna kelas OpenAI LlamaIndex dengan api_base yang berbeza?

Halaman OpenAI LlamaIndex sendiri menyuruh anda menggunakan integrasi OpenAILike untuk mana-mana API serasi OpenAI yang bukan API OpenAI rasmi. OpenAILike juga membolehkan anda mengisytiharkan sendiri tetingkap konteks dan sokongan alatan.

Apakah yang berlaku jika saya tidak menetapkan context_window?

OpenAILike menggunakan 3,900 token secara lalai, jadi LlamaIndex memangkas prompt dan cebisan yang diambil jauh di bawah apa yang diterima oleh model BroadNet. Tetapkan 1048576 untuk GLM 5.3 dan DeepSeek V4.1 Flash, atau 262144 untuk Qwen3.8 27B.

Bolehkah FunctionAgent LlamaIndex menggunakan BroadNet?

Boleh, dengan is_function_calling_model=True pada model yang disenaraikan BroadNet dengan tools, iaitu GLM 5.3 atau Qwen3.8 27B. Biarkan False untuk DeepSeek V4.1 Flash, kerana dokumentasi BroadNet tidak menyenaraikan tool calling untuknya.

Adakah BroadNet menyediakan embeddings untuk indeks LlamaIndex?

Rujukan API BroadNet menyenaraikan chat completions dan audio transcriptions, bukan embeddings. Gunakan model embedding berasingan untuk indeks dan BroadNet untuk LLM.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity