BroadRouter

OpenAILike로 LlamaIndex와 BroadNet Inference 연결하기

업데이트

llama-index-llms-openai-like를 설치하고 OpenAILike를 만드세요. model은 broadnet/glm-5.3 같은 BroadNet ID, api_base는 https://inference.broadnet.ai/v1, 키는 BroadNet 키, context_window는 모델의 실제 컨텍스트, is_chat_model=True로 두고, is_function_calling_model=True는 GLM 5.3이나 Qwen3.8 27B에만 설정합니다. 앱 전체에서 쓰려면 Settings.llm에 지정하세요.

LlamaIndex는 RAG와 에이전트를 위한 Python 프레임워크입니다. OpenAI 자체가 아닌 OpenAI 호환 API를 위해 OpenAILike 클래스를 제공합니다. BroadNet Inference는 https://inference.broadnet.ai/v1 주소에서 표준 chat completions를 제공합니다. BroadRouter는 BroadNet이 운영하는 사이트입니다. 아래 내용은 llama-index-llms-openai-like 0.9.0의 LlamaIndex API 레퍼런스를 따릅니다.

설치

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

연결하고 테스트하기

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

답이 출력되면 키, URL, 모델 ID가 모두 맞는 것입니다.

중요한 설정 네 가지

파라미터 설정값 설정하지 않을 때의 기본값
is_chat_model True False. 레거시 completions 엔드포인트를 쓰지만, BroadNet은 chat completions를 제공합니다
context_window 모델의 실제 컨텍스트 3,900 토큰
is_function_calling_model GLM 5.3이나 Qwen3.8 27B에서만 True False
max_tokens 1,000 이상 None(전송하지 않으므로 서버가 결정)

가장 중요한 것은 is_chat_model입니다. API 레퍼런스는 이 값이 “controls whether the model uses the chat or completion endpoint”(번역: 모델이 chat 엔드포인트와 completion 엔드포인트 중 무엇을 쓸지 정한다)라고 설명하며, 기본값은 false입니다. BroadNet 문서에는 /v1/chat/completions가 있고, 예전 completions 엔드포인트는 없습니다.

앱 전체에서 쓰기

from llama_index.core import Settings

Settings.llm = llm

그러면 쿼리 엔진, 채팅 엔진, 에이전트가 BroadNet을 씁니다. 임베딩은 별개입니다. BroadNet API 레퍼런스에는 임베딩 엔드포인트가 없으므로, 인덱싱에는 다른 임베딩 모델을 쓰세요.

컨텍스트 윈도

모델 ID context_window 도구
GLM 5.3 broadnet/glm-5.3 1048576 예
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 표기 없음
Qwen3.8 27B broadnet/qwen3.8-27b 262144 예
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 표기 없음

100만 토큰 컨텍스트에서는 쿼리 엔진이 호출마다 훨씬 많은 검색 청크를 넘길 수 있습니다. 그렇다고 늘 더 나은 것은 아닙니다. 긴 컨텍스트와 RAG 비교를 참고하세요.

문제 해결

  • 401. 키가 잘못되었거나, 만료되었거나, 사용 가능 금액이 소진된 것입니다.
  • 404. api_base는 /v1로 끝나야 하고, is_chat_model은 True여야 합니다. 그다음 모델 ID를 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)으로는 broadnet/gemma-4-26b-a4b 모델과 Transcribe 모델 두 개만 쓸 수 있습니다.
  • 빈 답변. 출력 예산을 추론에 다 썼습니다. max_tokens를 늘리세요. 답변이 비어서 오는 이유를 참고하세요.
  • 에이전트가 도구를 전혀 호출하지 않음. is_function_calling_model=True로 설정하고 broadnet/glm-5.3 또는 broadnet/qwen3.8-27b 모델을 쓰세요.
  • 수집(ingestion)이나 일괄 쿼리 중 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. OpenAILike는 기본적으로 3번 재시도합니다(max_retries). 오류와 재시도를 참고하세요.

자주 묻는 질문

LlamaIndex의 OpenAI 클래스에 api_base만 바꿔 쓰면 안 되나요?

LlamaIndex의 OpenAI 페이지는 공식 OpenAI API가 아닌 OpenAI 호환 API에는 OpenAILike 통합을 쓰라고 안내합니다. OpenAILike에서는 컨텍스트 윈도와 도구 지원 여부도 직접 지정할 수 있습니다.

context_window를 지정하지 않으면 어떻게 되나요?

OpenAILike의 기본값은 3,900 토큰이라, LlamaIndex가 프롬프트와 검색된 청크를 BroadNet 모델이 받을 수 있는 양보다 훨씬 적게 잘라 냅니다. GLM 5.3과 DeepSeek V4.1 Flash에는 1048576, Qwen3.8 27B에는 262144를 설정하세요.

LlamaIndex FunctionAgent에서 BroadNet을 쓸 수 있나요?

네. BroadNet이 도구 지원으로 표기한 GLM 5.3이나 Qwen3.8 27B에서 is_function_calling_model=True로 설정하면 됩니다. BroadNet 문서에 도구 호출이 표기되지 않은 DeepSeek V4.1 Flash에서는 False로 두세요.

BroadNet이 LlamaIndex 인덱스용 임베딩을 제공하나요?

BroadNet API 레퍼런스에는 chat completions와 오디오 전사만 있고 임베딩은 없습니다. 인덱스에는 별도의 임베딩 모델을 쓰고, LLM으로 BroadNet을 쓰세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기