BroadRouter

CrewAI에서 BroadNet Inference를 커스텀 OpenAI 엔드포인트로 쓰기

업데이트

crewai의 LLM 클래스로 모델을 만들고 model은 broadnet/glm-5.3 같은 BroadNet ID, custom_openai=True, base_url은 https://inference.broadnet.ai/v1, api_key는 BroadNet 키로 넘기세요. 그다음 이 LLM을 각 Agent에 지정하면 됩니다. CrewAI는 네이티브 OpenAI 클라이언트와 chat completions를 쓰므로 LiteLLM을 설치할 필요가 없습니다.

CrewAI는 여러 에이전트로 팀을 구성하는 Python 프레임워크입니다. CrewAI 문서에는 커스텀 OpenAI 호환 엔드포인트 패턴이 나옵니다. custom_openai=True와 base_url을 지정한 LLM을 쓰는 방식입니다. BroadNet Inference는 https://inference.broadnet.ai/v1 주소에서 표준 chat completions를 제공하므로 여기에 그대로 연결됩니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 이 글은 버전 1.15.41 기준 CrewAI 문서와 소스를 따릅니다.

설치

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

연결

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

llm.call이 답을 출력하면 키, URL, 모델 ID가 모두 맞는 것입니다.

CrewAI가 요청을 라우팅하는 방식

CrewAI 소스는 우선순위를 정해 둡니다. custom_openai=True가 가장 먼저 적용되어, 모델 이름이 무엇을 암시하든 네이티브 OpenAI 제공자를 강제로 씁니다. 또한 base_url, api_base, OPENAI_BASE_URL, OPENAI_API_BASE 중 하나로 커스텀 엔드포인트가 지정되지 않으면 오류를 냅니다. 모델 문자열은 적힌 그대로 전송되므로, broadnet/glm-5.3 값이 바뀌지 않고 BroadNet에 도달합니다.

custom_openai가 없으면 broadnet/glm-5.3 같은 이름은 CrewAI가 모르는 broadnet이라는 제공자로 읽혀 LiteLLM으로 넘어갑니다. 문서에 나온 다른 방법은 base_url과 함께 model="openai/broadnet/glm-5.3"로 쓰는 것입니다. 이때 CrewAI는 openai/ 접두사를 떼고 나머지를 보냅니다.

CrewAI 코드와 문서에서 확인한 내용이 두 가지 더 있습니다.

  • 토큰 한도 필드. max_tokens를 넘기면 네이티브 클라이언트는 chat completions에 max_tokens를 보냅니다. BroadNet API 레퍼런스가 설명하는 필드입니다. max_completion_tokens를 넘기면 그 필드가 대신 전송됩니다.
  • chat completions를 유지하세요. CrewAI 문서에는 Responses API로 바꾸는 api="responses"가 나옵니다. 이 옵션은 설정하지 마세요. BroadNet은 이 API를 제공한다고 표기하지 않습니다.

에이전트별 모델 선택

에이전트 모델 이유
도구를 쓰는 에이전트 broadnet/glm-5.3 BroadNet이 도구와 구조화된 출력을 표기, 1M 컨텍스트
이미지나 아랍어 입력과 도구 broadnet/qwen3.8-27b 도구와 이미지, 262K 컨텍스트
긴 문서 읽기 작업, 정액 플랜 broadnet/deepseek-v4.1-flash 무제한 플랜, BroadNet이 도구 지원을 표기하지 않음

한 crew 안에서 모델을 섞어 쓸 수도 있습니다. Agent마다 각자의 LLM을 지정하세요.

문제 해결

  • 401. 키가 틀렸거나 만료되었거나 사용 가능 금액이 소진되었습니다. api_key를 빼먹었다면 CrewAI가 OPENAI_API_KEY를 읽었을 수 있으며, 거기에는 OpenAI 키가 들어 있을 수 있습니다.
  • “custom_openai=True requires base_url”. base_url을 넘기거나 OPENAI_BASE_URL을 설정하세요.
  • 모델을 찾을 수 없음. ID가 BroadNet의 ID와 정확히 같은지 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)은 broadnet/gemma-4-26b-a4b 모델과 Transcribe 모델 두 개에만 쓸 수 있습니다.
  • EmptyLLMResponseError. CrewAI는 빈 답변을 한 번 재시도한 뒤 이 오류를 냅니다. max_tokens를 늘리세요. 답변이 비어서 오는 이유를 참고하세요.
  • 에이전트가 여럿일 때 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용하고, 플랜 세션은 한 번에 요청 하나를 처리합니다. 오류와 재시도를 참고하세요.

자주 묻는 질문

CrewAI에서 custom_openai=True는 무슨 역할을 하나요?

CrewAI 소스에 따르면 이 옵션은 모델 이름이 어떻게 생겼든 네이티브 OpenAI 제공자를 강제로 쓰게 하며, base_url, api_base, OPENAI_BASE_URL, OPENAI_API_BASE 중 하나가 있어야 합니다. 모델 문자열은 적힌 그대로 전송되므로 broadnet/glm-5.3이 바뀌지 않고 BroadNet에 도달합니다.

model="openai/broadnet/glm-5.3"으로 써도 되나요?

네. 커스텀 base_url이 있으면 CrewAI는 openai/ 접두사를 네이티브 OpenAI 클라이언트로 보내고 접두사를 떼어 내므로, BroadNet은 broadnet/glm-5.3을 받습니다. 다만 custom_openai=True 쪽이 의도가 더 분명합니다.

crew가 EmptyLLMResponseError로 실패하는 이유는 무엇인가요?

CrewAI는 내용도 도구 호출도 없는 빈 답변이 오면 한 번 재시도하고, 재시도 결과도 비어 있으면 이 오류를 냅니다. BroadNet의 추론 모델에서는 대개 추론이 출력 예산을 다 썼다는 뜻입니다. max_tokens를 늘리세요.

CrewAI 에이전트에는 어떤 BroadNet 모델을 써야 하나요?

도구를 쓰는 에이전트에는 GLM 5.3을 쓰세요. BroadNet이 도구와 구조화된 출력을 표기한 모델입니다. Qwen3.8 27B도 도구를 지원하며 이미지를 받습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기