LlamaIndex는 RAG와 에이전트를 위한 Python 프레임워크입니다. OpenAI 자체가 아닌 OpenAI 호환 API를 위해 OpenAILike 클래스를 제공합니다. BroadNet Inference는 https://inference.broadnet.ai/v1 주소에서 표준 chat completions를 제공합니다. BroadRouter는 BroadNet이 운영하는 사이트입니다. 아래 내용은 llama-index-llms-openai-like 0.9.0의 LlamaIndex API 레퍼런스를 따릅니다.
설치
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
연결하고 테스트하기
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
답이 출력되면 키, URL, 모델 ID가 모두 맞는 것입니다.
중요한 설정 네 가지
| 파라미터 | 설정값 | 설정하지 않을 때의 기본값 |
|---|---|---|
is_chat_model |
True |
False. 레거시 completions 엔드포인트를 쓰지만, BroadNet은 chat completions를 제공합니다 |
context_window |
모델의 실제 컨텍스트 | 3,900 토큰 |
is_function_calling_model |
GLM 5.3이나 Qwen3.8 27B에서만 True |
False |
max_tokens |
1,000 이상 | None(전송하지 않으므로 서버가 결정) |
가장 중요한 것은 is_chat_model입니다. API 레퍼런스는 이 값이 “controls whether the model uses the chat or completion endpoint”(번역: 모델이 chat 엔드포인트와 completion 엔드포인트 중 무엇을 쓸지 정한다)라고 설명하며, 기본값은 false입니다. BroadNet 문서에는 /v1/chat/completions가 있고, 예전 completions 엔드포인트는 없습니다.
앱 전체에서 쓰기
from llama_index.core import Settings
Settings.llm = llm
그러면 쿼리 엔진, 채팅 엔진, 에이전트가 BroadNet을 씁니다. 임베딩은 별개입니다. BroadNet API 레퍼런스에는 임베딩 엔드포인트가 없으므로, 인덱싱에는 다른 임베딩 모델을 쓰세요.
컨텍스트 윈도
| 모델 | ID | context_window |
도구 |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | 예 |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | 표기 없음 |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | 예 |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | 표기 없음 |
100만 토큰 컨텍스트에서는 쿼리 엔진이 호출마다 훨씬 많은 검색 청크를 넘길 수 있습니다. 그렇다고 늘 더 나은 것은 아닙니다. 긴 컨텍스트와 RAG 비교를 참고하세요.
문제 해결
- 401. 키가 잘못되었거나, 만료되었거나, 사용 가능 금액이 소진된 것입니다.
- 404.
api_base는/v1로 끝나야 하고,is_chat_model은True여야 합니다. 그다음 모델 ID를 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)으로는broadnet/gemma-4-26b-a4b모델과 Transcribe 모델 두 개만 쓸 수 있습니다. - 빈 답변. 출력 예산을 추론에 다 썼습니다.
max_tokens를 늘리세요. 답변이 비어서 오는 이유를 참고하세요. - 에이전트가 도구를 전혀 호출하지 않음.
is_function_calling_model=True로 설정하고broadnet/glm-5.3또는broadnet/qwen3.8-27b모델을 쓰세요. - 수집(ingestion)이나 일괄 쿼리 중 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. OpenAILike는 기본적으로 3번 재시도합니다(
max_retries). 오류와 재시도를 참고하세요.
