BroadRouter

Usare smolagents su BroadNet Inference con OpenAIModel

Aggiornato

Crea l’OpenAIModel di smolagents con model_id impostato su un ID BroadNet come broadnet/glm-5.3, api_base su https://inference.broadnet.ai/v1 e api_key sulla tua chiave BroadNet, poi passalo a CodeAgent o ToolCallingAgent. CodeAgent scrive Python invece di usare le tool call native, quindi gira anche su DeepSeek V4.1 Flash. ToolCallingAgent richiede GLM 5.3 o Qwen3.8 27B.

smolagents è la piccola libreria Python di Hugging Face per gli agenti. La sua classe OpenAIModel “connects to an OpenAI-compatible API server” (traduzione: si collega a un server API compatibile con OpenAI), con api_base per l’URL. BroadNet Inference serve chat completions su https://inference.broadnet.ai/v1, quindi funziona direttamente. BroadRouter è il sito di BroadNet; questa guida segue la documentazione di smolagents 1.26.0.

Installazione

pip install smolagents
export BROADNET_API_KEY='your-broadnet-key'

CodeAgent

import os
from smolagents import OpenAIModel, CodeAgent

model = OpenAIModel(
    model_id="broadnet/deepseek-v4.1-flash",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)

agent = CodeAgent(tools=[], model=model)
print(agent.run("What is 6 * 7? Use Python to check."))

CodeAgent chiede al modello di scrivere Python tra tag <code> e lo esegue in locale. La richiesta è una normale chat completion con stop sequence come </code> e senza campo tools. Quindi non dipende dal tool calling nativo e può girare su broadnet/deepseek-v4.1-flash, il modello dei piani illimitati di BroadNet. La qualità del codice cambia comunque da modello a modello, quindi prova i tuoi task.

CodeAgent esegue codice scritto dal modello. Leggi le indicazioni di smolagents sull’esecuzione sicura del codice prima di dargli strumenti che toccano file, rete o credenziali.

ToolCallingAgent

from smolagents import ToolCallingAgent, tool

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city.

    Args:
        city: The city name.
    """
    return f"21C in {city}"

model = OpenAIModel(
    model_id="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
agent = ToolCallingAgent(tools=[get_weather], model=model)
print(agent.run("What's the weather in Riyadh?"))

ToolCallingAgent invia i tuoi strumenti, più il suo strumento final_answer, come schemi di funzione con tool_choice: "required". Usa broadnet/glm-5.3 o broadnet/qwen3.8-27b: la documentazione di BroadNet indica gli strumenti solo per questi due modelli.

Quale modello scegliere

Agente Modello
CodeAgent, esecuzioni lunghe con un piano a prezzo fisso broadnet/deepseek-v4.1-flash
ToolCallingAgent broadnet/glm-5.3
Entrambi gli agenti con input di immagini broadnet/qwen3.8-27b

Una sessione del piano esegue una richiesta alla volta, e un agente invia i suoi passi uno dopo l’altro, quindi una sessione basta per un agente. Prezzi di tutti i modelli.

Come l’abbiamo testato

Il 2026-11-15 abbiamo installato smolagents 1.26.0 in un ambiente virtuale pulito e abbiamo eseguito entrambi gli agenti contro un server mock locale che parla il formato di chat completions di BroadNet. Il CodeAgent sull’ID DeepSeek ha ricevuto una risposta con codice, l’ha eseguito e ha restituito 42. Le sue richieste avevano max_tokens: 4000, le stop sequence e nessun tool. Per il ToolCallingAgent abbiamo controllato la forma della richiesta: l’ID del modello è stato inviato invariato, con entrambi gli schemi degli strumenti e tool_choice: "required". smolagents rimanda i risultati degli strumenti come messaggi user. Il nostro mock non seguiva quel formato, quindi non abbiamo portato quell’agente fino alla risposta finale. Non avevamo una chiave BroadNet, quindi non abbiamo testato l’output reale del modello.

Risoluzione dei problemi

  • 401. La chiave è sbagliata, scaduta o ha esaurito la quota.
  • 404. api_base deve finire con /v1. Controlla l’ID del modello. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solo broadnet/gemma-4-26b-a4b e i due modelli Transcribe.
  • “Make sure to provide correct code blobs”. La risposta del modello non conteneva un blocco di codice. Alza max_tokens, perché il ragionamento conta in quel limite, oppure prova un altro modello. Perché le risposte arrivano vuote.
  • ToolCallingAgent non finisce mai. Passa a broadnet/glm-5.3 o broadnet/qwen3.8-27b.
  • 429. Una chiave a consumo consente 30 richieste al minuto. smolagents può limitarsi da solo con requests_per_minute. Vedi errori e retry.

Domande frequenti

Si usa OpenAIModel o OpenAIServerModel?

smolagents 1.26 documenta OpenAIModel per qualsiasi server compatibile con OpenAI. Il pacchetto esporta ancora OpenAIServerModel, ma la documentazione descrive OpenAIModel.

smolagents funziona con il piano illimitato di BroadNet?

I piani coprono DeepSeek V4.1 Flash. BroadNet non indica il tool calling per quel modello, ma CodeAgent non ha bisogno di tool call native: chiede al modello codice Python. Nel nostro test con un server mock, un CodeAgent sull’ID DeepSeek ha inviato normali richieste di chat senza campo tools.

Perché ToolCallingAgent richiede GLM 5.3 o Qwen3.8 27B?

Invia gli strumenti come schemi di funzione OpenAI con tool_choice impostato su required. La documentazione di BroadNet indica gli strumenti solo per GLM 5.3 e Qwen3.8 27B.

Come passo max_tokens o temperature?

Come argomenti keyword di OpenAIModel. La documentazione di smolagents dice che gli argomenti in più vengono inoltrati a ogni chiamata di completion. Nel nostro test max_tokens=4000 è stato inviato a ogni richiesta.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity