CrewAI는 여러 에이전트로 팀을 구성하는 Python 프레임워크입니다. CrewAI 문서에는 커스텀 OpenAI 호환 엔드포인트 패턴이 나옵니다. custom_openai=True와 base_url을 지정한 LLM을 쓰는 방식입니다. BroadNet Inference는 https://inference.broadnet.ai/v1 주소에서 표준 chat completions를 제공하므로 여기에 그대로 연결됩니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 이 글은 버전 1.15.41 기준 CrewAI 문서와 소스를 따릅니다.
설치
pip install crewai
export BROADNET_API_KEY='your-broadnet-key'
연결
import os
from crewai import LLM, Agent
llm = LLM(
model="broadnet/glm-5.3",
custom_openai=True,
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this limit
)
# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))
analyst = Agent(
role="Analyst",
goal="Summarize incidents",
backstory="You write short incident summaries.",
llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))
llm.call이 답을 출력하면 키, URL, 모델 ID가 모두 맞는 것입니다.
CrewAI가 요청을 라우팅하는 방식
CrewAI 소스는 우선순위를 정해 둡니다. custom_openai=True가 가장 먼저 적용되어, 모델 이름이 무엇을 암시하든 네이티브 OpenAI 제공자를 강제로 씁니다. 또한 base_url, api_base, OPENAI_BASE_URL, OPENAI_API_BASE 중 하나로 커스텀 엔드포인트가 지정되지 않으면 오류를 냅니다. 모델 문자열은 적힌 그대로 전송되므로, broadnet/glm-5.3 값이 바뀌지 않고 BroadNet에 도달합니다.
custom_openai가 없으면 broadnet/glm-5.3 같은 이름은 CrewAI가 모르는 broadnet이라는 제공자로 읽혀 LiteLLM으로 넘어갑니다. 문서에 나온 다른 방법은 base_url과 함께 model="openai/broadnet/glm-5.3"로 쓰는 것입니다. 이때 CrewAI는 openai/ 접두사를 떼고 나머지를 보냅니다.
CrewAI 코드와 문서에서 확인한 내용이 두 가지 더 있습니다.
- 토큰 한도 필드.
max_tokens를 넘기면 네이티브 클라이언트는 chat completions에max_tokens를 보냅니다. BroadNet API 레퍼런스가 설명하는 필드입니다.max_completion_tokens를 넘기면 그 필드가 대신 전송됩니다. - chat completions를 유지하세요. CrewAI 문서에는 Responses API로 바꾸는
api="responses"가 나옵니다. 이 옵션은 설정하지 마세요. BroadNet은 이 API를 제공한다고 표기하지 않습니다.
에이전트별 모델 선택
| 에이전트 | 모델 | 이유 |
|---|---|---|
| 도구를 쓰는 에이전트 | broadnet/glm-5.3 |
BroadNet이 도구와 구조화된 출력을 표기, 1M 컨텍스트 |
| 이미지나 아랍어 입력과 도구 | broadnet/qwen3.8-27b |
도구와 이미지, 262K 컨텍스트 |
| 긴 문서 읽기 작업, 정액 플랜 | broadnet/deepseek-v4.1-flash |
무제한 플랜, BroadNet이 도구 지원을 표기하지 않음 |
한 crew 안에서 모델을 섞어 쓸 수도 있습니다. Agent마다 각자의 LLM을 지정하세요.
문제 해결
- 401. 키가 틀렸거나 만료되었거나 사용 가능 금액이 소진되었습니다.
api_key를 빼먹었다면 CrewAI가OPENAI_API_KEY를 읽었을 수 있으며, 거기에는 OpenAI 키가 들어 있을 수 있습니다. - “custom_openai=True requires base_url”.
base_url을 넘기거나OPENAI_BASE_URL을 설정하세요. - 모델을 찾을 수 없음. ID가 BroadNet의 ID와 정확히 같은지 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)은
broadnet/gemma-4-26b-a4b모델과 Transcribe 모델 두 개에만 쓸 수 있습니다. EmptyLLMResponseError. CrewAI는 빈 답변을 한 번 재시도한 뒤 이 오류를 냅니다.max_tokens를 늘리세요. 답변이 비어서 오는 이유를 참고하세요.- 에이전트가 여럿일 때 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용하고, 플랜 세션은 한 번에 요청 하나를 처리합니다. 오류와 재시도를 참고하세요.
