BroadRouter

OpenAIModel로 BroadNet Inference에서 smolagents 실행하기

업데이트

smolagents의 OpenAIModel을 만들 때 model_id는 broadnet/glm-5.3 같은 BroadNet ID로, api_base는 https://inference.broadnet.ai/v1로, api_key는 BroadNet 키로 지정한 뒤 CodeAgent나 ToolCallingAgent에 넘기세요. CodeAgent는 네이티브 도구 호출 대신 Python 코드를 쓰므로 DeepSeek V4.1 Flash에서도 실행할 수 있습니다. ToolCallingAgent에는 GLM 5.3이나 Qwen3.8 27B가 필요합니다.

smolagents는 Hugging Face가 만든 작은 Python 에이전트 라이브러리입니다. OpenAIModel 클래스는 “connects to an OpenAI-compatible API server”(번역: OpenAI 호환 API 서버에 연결)하며, URL은 api_base로 지정합니다. BroadNet Inference는 https://inference.broadnet.ai/v1 주소에서 chat completions를 제공하므로 바로 연결됩니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 이 글은 smolagents 1.26.0 문서를 따릅니다.

설치

pip install smolagents
export BROADNET_API_KEY='your-broadnet-key'

CodeAgent

import os
from smolagents import OpenAIModel, CodeAgent

model = OpenAIModel(
    model_id="broadnet/deepseek-v4.1-flash",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)

agent = CodeAgent(tools=[], model=model)
print(agent.run("What is 6 * 7? Use Python to check."))

CodeAgent는 모델에게 <code> 태그 사이에 Python 코드를 쓰게 하고, 그 코드를 로컬에서 실행합니다. 요청은 </code> 같은 중지 시퀀스(stop sequence)가 붙은 일반 chat completion이며, tools 필드가 없습니다. 즉 네이티브 도구 호출에 의존하지 않으므로, BroadNet 무제한 플랜에서 제공하는 broadnet/deepseek-v4.1-flash 모델에서도 실행할 수 있습니다. 다만 코드 품질은 모델마다 다르니 직접 작업으로 테스트하세요.

CodeAgent는 모델이 쓴 코드를 실행합니다. 파일, 네트워크, 자격 증명을 다루는 도구를 주기 전에 smolagents의 안전한 코드 실행 가이드를 읽어 보세요.

ToolCallingAgent

from smolagents import ToolCallingAgent, tool

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city.

    Args:
        city: The city name.
    """
    return f"21C in {city}"

model = OpenAIModel(
    model_id="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
agent = ToolCallingAgent(tools=[get_weather], model=model)
print(agent.run("What's the weather in Riyadh?"))

ToolCallingAgent는 사용자의 도구와 자체 final_answer 도구를 함수 스키마로 보내며, tool_choice: "required"를 함께 보냅니다. broadnet/glm-5.3 또는 broadnet/qwen3.8-27b 모델을 쓰세요. BroadNet 문서가 도구를 표기한 모델은 이 두 개뿐입니다.

어떤 모델을 고를까

에이전트 모델
CodeAgent, 정액 플랜에서 오래 실행 broadnet/deepseek-v4.1-flash
ToolCallingAgent broadnet/glm-5.3
이미지 입력이 필요한 두 에이전트 모두 broadnet/qwen3.8-27b

플랜 세션 하나는 한 번에 요청 하나를 처리하고, 에이전트는 단계를 하나씩 차례로 보내므로 세션 하나에 에이전트 하나가 맞습니다. 모든 모델의 가격을 확인하세요.

테스트 방법

2026-11-15에 깨끗한 가상 환경에 smolagents 1.26.0을 설치하고, BroadNet의 chat completions 형식으로 응답하는 로컬 모의(mock) 서버를 대상으로 두 에이전트를 실행했습니다. DeepSeek ID를 쓴 CodeAgent는 코드 응답을 받아 실행하고 42를 반환했습니다. 요청에는 max_tokens: 4000과 중지 시퀀스가 있었고 도구는 없었습니다. ToolCallingAgent는 요청 형식을 확인했습니다. 모델 ID가 그대로 전송되었고, 도구 스키마 두 개와 tool_choice: "required"가 함께 전송되었습니다. smolagents는 도구 결과를 user 메시지로 돌려보냅니다. 저희 모의 서버는 이 형식을 따르지 않았기 때문에 이 에이전트를 최종 답변까지 실행하지는 않았습니다. BroadNet 키가 없었기 때문에 실제 모델 출력은 테스트하지 않았습니다.

문제 해결

  • 401. 키가 잘못되었거나 만료되었거나 사용 가능 금액이 소진된 경우입니다.
  • 404. api_base는 /v1로 끝나야 합니다. 모델 ID도 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)은 broadnet/gemma-4-26b-a4b 모델과 Transcribe 모델 두 개에만 쓸 수 있습니다.
  • “Make sure to provide correct code blobs”. 모델의 응답에 코드 블록이 없었다는 뜻입니다. 추론도 max_tokens에 포함되므로 한도를 늘리거나 다른 모델을 써 보세요. 답변이 비어서 오는 이유를 참고하세요.
  • ToolCallingAgent가 끝나지 않음. broadnet/glm-5.3 또는 broadnet/qwen3.8-27b 모델로 바꾸세요.
  • 429. 종량제 키는 분당 30 요청까지 허용합니다. smolagents는 requests_per_minute로 스스로 속도를 제한할 수 있습니다. 오류와 재시도를 참고하세요.

자주 묻는 질문

OpenAIModel과 OpenAIServerModel 중 무엇을 써야 하나요?

smolagents 1.26 문서는 OpenAI 호환 서버용으로 OpenAIModel을 설명합니다. OpenAIServerModel도 패키지에서 여전히 내보내지만, 문서가 설명하는 것은 OpenAIModel입니다.

smolagents를 BroadNet 무제한 플랜으로 실행할 수 있나요?

플랜은 DeepSeek V4.1 Flash를 제공합니다. BroadNet은 이 모델에 도구 호출을 표기하지 않지만, CodeAgent는 네이티브 도구 호출이 필요 없고 모델에게 Python 코드를 요청합니다. 저희 모의 테스트에서 DeepSeek ID를 쓴 CodeAgent는 tools 필드 없이 일반 채팅 요청을 보냈습니다.

ToolCallingAgent에 GLM 5.3이나 Qwen3.8 27B가 필요한 이유는 무엇인가요?

ToolCallingAgent는 도구를 OpenAI 함수 스키마로 보내고 tool_choice를 required로 설정합니다. BroadNet 문서가 도구를 표기한 모델은 GLM 5.3과 Qwen3.8 27B뿐입니다.

max_tokens나 temperature는 어떻게 넘기나요?

OpenAIModel에 키워드 인수로 넘기세요. smolagents 문서에 따르면 추가 인수는 모든 completion 호출에 전달됩니다. 저희 테스트에서는 모든 요청에 max_tokens=4000이 전송되었습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기