BroadRouter

Utiliser LlamaIndex avec BroadNet Inference via OpenAILike

Mis à jour

Installez llama-index-llms-openai-like et créez OpenAILike avec model réglé sur un ID BroadNet comme broadnet/glm-5.3, api_base sur https://inference.broadnet.ai/v1, votre clé BroadNet, context_window sur le contexte réel du modèle, is_chat_model=True, et is_function_calling_model=True uniquement pour GLM 5.3 ou Qwen3.8 27B. Définissez-le comme Settings.llm pour l’utiliser partout.

LlamaIndex est un framework Python pour le RAG et les agents. Pour toute API compatible OpenAI qui n’est pas OpenAI elle-même, il fournit la classe OpenAILike. BroadNet Inference sert des chat completions standard à https://inference.broadnet.ai/v1. BroadRouter est le site de BroadNet ; ce guide suit la référence de l’API de LlamaIndex pour llama-index-llms-openai-like 0.9.0.

Installation

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

Se connecter et tester

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

Si une réponse s’affiche, la clé, l’URL et l’ID du modèle fonctionnent.

Les quatre réglages qui comptent

Paramètre Valeur à donner Valeur par défaut sinon
is_chat_model True False, qui utilise l’ancien point de terminaison completions ; BroadNet sert les chat completions
context_window Le contexte réel du modèle 3 900 tokens
is_function_calling_model True uniquement pour GLM 5.3 ou Qwen3.8 27B False
max_tokens 1 000 ou plus None (non envoyé : le serveur décide)

is_chat_model est le plus important. La référence de l’API indique qu’il « controls whether the model uses the chat or completion endpoint » (traduction : détermine si le modèle utilise le point de terminaison chat ou completion) et vaut false par défaut. La documentation de BroadNet liste /v1/chat/completions, pas l’ancien point de terminaison completions.

L’utiliser dans toute l’application

from llama_index.core import Settings

Settings.llm = llm

Les query engines, chat engines et agents utilisent alors BroadNet. Les embeddings sont à part : la référence de l’API de BroadNet ne liste pas de point de terminaison d’embeddings, gardez donc un autre modèle d’embedding pour l’indexation.

Fenêtres de contexte

Modèle ID context_window Outils
GLM 5.3 broadnet/glm-5.3 1048576 Oui
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 Non indiqué
Qwen3.8 27B broadnet/qwen3.8-27b 262144 Oui
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 Non indiqué

Un contexte de 1M de tokens permet à un query engine de transmettre beaucoup plus de chunks récupérés par appel. Ce n’est pas toujours mieux ; voir contexte long ou RAG.

Dépannage

  • 401. La clé est erronée, a expiré ou a épuisé son allocation.
  • 404. api_base doit se terminer par /v1, et is_chat_model doit valoir True. Vérifiez ensuite l’ID du modèle. Les modèles payants nécessitent une recharge ; le crédit de $5 ne couvre que broadnet/gemma-4-26b-a4b et les deux modèles Transcribe.
  • Réponses vides. Le raisonnement a consommé le budget de sortie. Augmentez max_tokens. Pourquoi les réponses reviennent vides.
  • L’agent n’appelle jamais d’outils. Réglez is_function_calling_model=True et utilisez broadnet/glm-5.3 ou broadnet/qwen3.8-27b.
  • 429 pendant l’ingestion ou des requêtes par lots. Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours. OpenAILike fait 3 nouvelles tentatives par défaut (max_retries). Voir codes d’erreur et nouvelles tentatives.

Questions fréquentes

Pourquoi ne pas utiliser la classe OpenAI de LlamaIndex avec une autre api_base ?

La page OpenAI de LlamaIndex elle-même recommande l’intégration OpenAILike pour toute API compatible OpenAI qui n’est pas l’API officielle d’OpenAI. OpenAILike vous permet aussi de déclarer vous-même la fenêtre de contexte et la prise en charge des outils.

Que se passe-t-il si j’omets context_window ?

OpenAILike utilise alors 3 900 tokens par défaut, et LlamaIndex tronque les prompts et les chunks récupérés bien en deçà de ce qu’acceptent les modèles de BroadNet. Réglez 1048576 pour GLM 5.3 et DeepSeek V4.1 Flash, ou 262144 pour Qwen3.8 27B.

Un FunctionAgent LlamaIndex peut-il utiliser BroadNet ?

Oui, avec is_function_calling_model=True sur un modèle pour lequel BroadNet indique les outils, GLM 5.3 ou Qwen3.8 27B. Laissez False pour DeepSeek V4.1 Flash, pour lequel la documentation de BroadNet n’indique pas l’appel d’outils.

BroadNet fournit-il des embeddings pour un index LlamaIndex ?

La référence de l’API de BroadNet liste les chat completions et la transcription audio, pas les embeddings. Utilisez un modèle d’embedding distinct pour l’index et BroadNet pour le LLM.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity