BroadRouter

LlamaIndex'i OpenAILike ile BroadNet Inference'ta kullanın

Güncellendi

llama-index-llms-openai-like paketini kurun ve OpenAILike nesnesini şu değerlerle oluşturun: model olarak broadnet/glm-5.3 gibi bir BroadNet kimliği, api_base olarak https://inference.broadnet.ai/v1, BroadNet anahtarınız, context_window olarak modelin gerçek bağlamı, is_chat_model=True ve yalnızca GLM 5.3 veya Qwen3.8 27B için is_function_calling_model=True. Her yerde kullanmak için Settings.llm olarak atayın.

LlamaIndex, RAG ve ajanlar için bir Python framework’üdür. OpenAI’nin kendisi olmayan her OpenAI uyumlu API için OpenAILike sınıfını sunar. BroadNet Inference standart chat completions isteklerini https://inference.broadnet.ai/v1 adresinde sunar. BroadRouter, BroadNet’in kendi sitesidir; bu rehber llama-index-llms-openai-like 0.9.0 için LlamaIndex API referansını izler.

Kurulum

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

Bağlanın ve test edin

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

Bir yanıt yazdırılırsa anahtar, URL ve model kimliği çalışıyor demektir.

Önemli dört ayar

Parametre Değeri Ayarlamazsanız varsayılan
is_chat_model True False; eski completions uç noktasını kullanır, BroadNet ise chat completions sunar
context_window Modelin gerçek bağlamı 3.900 token
is_function_calling_model Yalnızca GLM 5.3 veya Qwen3.8 27B için True False
max_tokens 1.000 veya üzeri None (gönderilmez, sunucu karar verir)

En önemlisi is_chat_model ayarıdır. API referansı bu ayarın “controls whether the model uses the chat or completion endpoint” (çeviri: modelin chat uç noktasını mı yoksa completion uç noktasını mı kullanacağını belirler) olduğunu ve varsayılanının false olduğunu söyler. BroadNet’in belgeleri eski completions uç noktasını değil, /v1/chat/completions uç noktasını listeler.

Uygulamanın tamamında kullanın

from llama_index.core import Settings

Settings.llm = llm

Bundan sonra sorgu motorları, sohbet motorları ve ajanlar BroadNet’i kullanır. Embedding’ler ayrıdır: BroadNet’in API referansı bir embedding uç noktası listelemez; indeksleme için farklı bir embedding modeli kullanmaya devam edin.

Bağlam pencereleri

Model Kimlik context_window Araçlar
GLM 5.3 broadnet/glm-5.3 1048576 Evet
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 Listelenmemiş
Qwen3.8 27B broadnet/qwen3.8-27b 262144 Evet
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 Listelenmemiş

1M token bağlam, bir sorgu motorunun her çağrıda çok daha fazla getirilmiş parça iletmesine olanak tanır. Bu her zaman daha iyi değildir; bkz. uzun bağlam mı RAG mı.

Sorun giderme

  • 401. Anahtar yanlış, süresi dolmuş veya kullanım hakkı tükenmiş.
  • 404. api_base /v1 ile bitmeli ve is_chat_model True olmalıdır. Ardından model kimliğini kontrol edin. Ücretli modeller bakiye yüklemesi gerektirir; $5 kredi yalnızca broadnet/gemma-4-26b-a4b modelini kapsar.
  • Boş yanıtlar. Akıl yürütme çıktı bütçesini tüketti. max_tokens değerini artırın. Yanıtlar neden boş geliyor.
  • Ajan hiç araç çağırmıyor. is_function_calling_model=True ayarlayın ve broadnet/glm-5.3 veya broadnet/qwen3.8-27b kullanın.
  • Veri alımı (ingestion) veya toplu sorgular sırasında 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 işlemdeki isteğe izin verir. OpenAILike varsayılan olarak 3 kez yeniden dener (max_retries). Hatalar ve yeniden denemeler rehberine bakın.

Sık sorulan sorular

Neden LlamaIndex'in OpenAI sınıfını farklı bir api_base ile kullanmıyoruz?

LlamaIndex'in kendi OpenAI sayfası, resmi OpenAI API'si olmayan her OpenAI uyumlu API için OpenAILike entegrasyonunun kullanılmasını söyler. OpenAILike ayrıca bağlam penceresini ve araç desteğini kendiniz bildirmenize izin verir.

context_window değerini vermezsem ne olur?

OpenAILike varsayılan olarak 3.900 token kullanır; bu yüzden LlamaIndex istemleri ve getirilen parçaları BroadNet modellerinin kabul ettiğinin çok altına kırpar. GLM 5.3 ve DeepSeek V4.1 Flash için 1048576, Qwen3.8 27B için 262144 ayarlayın.

Bir LlamaIndex FunctionAgent BroadNet'i kullanabilir mi?

Evet; BroadNet'in araç desteğiyle listelediği bir modelde, yani GLM 5.3 veya Qwen3.8 27B'de is_function_calling_model=True ile. BroadNet belgelerinin araç çağırmayı listelemediği DeepSeek V4.1 Flash için False bırakın.

BroadNet bir LlamaIndex indeksi için embedding sağlıyor mu?

BroadNet'in API referansı embedding'leri değil, chat completions ve ses transkripsiyonlarını listeler. İndeks için ayrı bir embedding modeli, LLM için BroadNet kullanın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor