BroadRouter

smolagents sa BroadNet Inference gamit ang OpenAIModel

Na-update

Gumawa ng OpenAIModel ng smolagents na may model_id na BroadNet ID gaya ng broadnet/glm-5.3, api_base na https://inference.broadnet.ai/v1 at api_key na BroadNet key mo, saka ipasa ito sa CodeAgent o ToolCallingAgent. Python ang isinusulat ng CodeAgent sa halip na native tool calls, kaya puwede itong tumakbo sa DeepSeek V4.1 Flash. Kailangan ng ToolCallingAgent ang GLM 5.3 o Qwen3.8 27B.

Ang smolagents ay maliit na Python library ng Hugging Face para sa mga agent. Ang OpenAIModel class nito ay “connects to an OpenAI-compatible API server” (Salin: kumokonekta sa isang OpenAI-compatible na API server), na may api_base para sa URL. Chat completions ang sine-serve ng BroadNet Inference sa https://inference.broadnet.ai/v1, kaya direkta itong gumagana. Ang BroadRouter ay sariling site ng BroadNet; sinusundan ng gabay na ito ang docs ng smolagents 1.26.0.

I-install

pip install smolagents
export BROADNET_API_KEY='your-broadnet-key'

CodeAgent

import os
from smolagents import OpenAIModel, CodeAgent

model = OpenAIModel(
    model_id="broadnet/deepseek-v4.1-flash",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)

agent = CodeAgent(tools=[], model=model)
print(agent.run("What is 6 * 7? Use Python to check."))

Hinihiling ng CodeAgent sa model na sumulat ng Python sa pagitan ng mga <code> tag at pinapatakbo ito nang lokal. Plain chat completion ang request, may stop sequence gaya ng </code>, at walang tools field. Ibig sabihin, hindi ito umaasa sa native tool calling, kaya puwede itong tumakbo sa broadnet/deepseek-v4.1-flash, ang model sa mga unlimited na plan ng BroadNet. Nag-iiba pa rin ang kalidad ng code depende sa model, kaya i-test ang sarili mong mga task.

Pinapatakbo ng CodeAgent ang code na isinusulat ng model. Basahin ang gabay ng smolagents tungkol sa ligtas na pagpapatakbo ng code bago mo ito bigyan ng tools na humahawak ng mga file, network o credentials.

ToolCallingAgent

from smolagents import ToolCallingAgent, tool

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city.

    Args:
        city: The city name.
    """
    return f"21C in {city}"

model = OpenAIModel(
    model_id="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
agent = ToolCallingAgent(tools=[get_weather], model=model)
print(agent.run("What's the weather in Riyadh?"))

Ipinapadala ng ToolCallingAgent ang tools mo, kasama ang sarili nitong final_answer tool, bilang function schema na may tool_choice: "required". Gamitin ang broadnet/glm-5.3 o broadnet/qwen3.8-27b; ang dalawang model na ito lang ang may nakalistang tools sa docs ng BroadNet.

Aling model ang pipiliin

Agent Model
CodeAgent, mahahabang run sa flat-price na plan broadnet/deepseek-v4.1-flash
ToolCallingAgent broadnet/glm-5.3
Alinmang agent na may image input broadnet/qwen3.8-27b

Isang request lang sa isang pagkakataon ang pinapatakbo ng isang plan session, at sunod-sunod na ipinapadala ng agent ang mga hakbang nito, kaya isang agent ang kasya sa isang session. Presyo ng bawat model.

Paano namin ito sinubok

Noong 2026-11-15, nag-install kami ng smolagents 1.26.0 sa isang malinis na virtual environment at pinatakbo ang dalawang agent laban sa isang lokal na mock server na sumusunod sa chat-completions na format ng BroadNet. Nakatanggap ng code reply ang CodeAgent sa DeepSeek ID, pinatakbo ito at ibinalik ang 42. May max_tokens: 4000, stop sequences at walang tools ang mga request nito. Para sa ToolCallingAgent, sinuri namin ang hugis ng request: ipinadala ang model ID nang walang pagbabago, kasama ang dalawang tool schema at tool_choice: "required". Ibinabalik ng smolagents ang mga resulta ng tool bilang user message. Hindi sinunod ng mock namin ang format na iyon, kaya hindi namin pinatakbo ang agent na iyon hanggang sa final answer. Wala kaming BroadNet key, kaya hindi namin sinubok ang totoong output ng model.

Troubleshooting

  • 401. Mali, expired o naubusan ng allowance ang key.
  • 404. Kailangang nagtatapos sa /v1 ang api_base. Suriin ang model ID. Kailangan ng top-up ang mga bayad na model; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • “Make sure to provide correct code blobs”. Walang code block ang reply ng model. Taasan ang max_tokens, dahil kasama rito ang reasoning, o sumubok ng ibang model. Bakit walang laman ang mga sagot.
  • Hindi natatapos ang ToolCallingAgent. Lumipat sa broadnet/glm-5.3 o broadnet/qwen3.8-27b.
  • 429. Ang isang pay-as-you-go key ay may 30 request kada minuto. Puwedeng limitahan ng smolagents ang sarili nito gamit ang requests_per_minute. Tingnan ang errors and retries.

Mga tanong

OpenAIModel ba o OpenAIServerModel?

Ang OpenAIModel ang dinodokumento ng smolagents 1.26 para sa kahit anong OpenAI-compatible na server. Ine-export pa rin ng package ang OpenAIServerModel, pero OpenAIModel ang inilalarawan sa docs.

Puwede bang patakbuhin ang smolagents sa unlimited na plan ng BroadNet?

Sakop ng mga plan ang DeepSeek V4.1 Flash. Walang nakalistang tool calling para dito sa BroadNet, pero hindi kailangan ng CodeAgent ang native tool calls; Python code ang hinihingi nito sa model. Sa mock test namin, plain chat request na walang tools field ang ipinadala ng CodeAgent sa DeepSeek ID.

Bakit kailangan ng ToolCallingAgent ang GLM 5.3 o Qwen3.8 27B?

Ipinapadala nito ang tools bilang OpenAI function schema na may tool_choice na required. Sa docs ng BroadNet, GLM 5.3 at Qwen3.8 27B lang ang may nakalistang tools.

Paano ko ipapasa ang max_tokens o temperature?

Bilang keyword argument sa OpenAIModel. Sabi ng docs ng smolagents, ipinapasa ang mga dagdag na argument sa bawat completion call. Sa test namin, ipinadala ang max_tokens=4000 sa bawat request.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity