BroadRouter

Jalankan smolagents di BroadNet Inference dengan OpenAIModel

Dikemas kini

Cipta OpenAIModel smolagents dengan model_id ditetapkan kepada ID BroadNet seperti broadnet/glm-5.3, api_base kepada https://inference.broadnet.ai/v1 dan api_key kepada kunci BroadNet anda, kemudian hantarnya kepada CodeAgent atau ToolCallingAgent. CodeAgent menulis Python dan bukannya panggilan alatan asli, jadi ia boleh berjalan pada DeepSeek V4.1 Flash. ToolCallingAgent memerlukan GLM 5.3 atau Qwen3.8 27B.

smolagents ialah pustaka Python kecil Hugging Face untuk ejen. Kelas OpenAIModelnya “connects to an OpenAI-compatible API server” (Terjemahan: menyambung ke pelayan API yang serasi OpenAI), dengan api_base untuk URL. BroadNet Inference menyediakan chat completions di https://inference.broadnet.ai/v1, jadi ia berfungsi terus. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi smolagents 1.26.0.

Pasang

pip install smolagents
export BROADNET_API_KEY='your-broadnet-key'

CodeAgent

import os
from smolagents import OpenAIModel, CodeAgent

model = OpenAIModel(
    model_id="broadnet/deepseek-v4.1-flash",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)

agent = CodeAgent(tools=[], model=model)
print(agent.run("What is 6 * 7? Use Python to check."))

CodeAgent meminta model menulis Python di antara tag <code> dan menjalankannya secara setempat. Permintaannya ialah chat completion biasa dengan jujukan henti seperti </code>, dan tiada medan tools. Ini bermakna ia tidak bergantung pada tool calling asli, jadi ia boleh berjalan pada broadnet/deepseek-v4.1-flash, model pada pelan tanpa had BroadNet. Kualiti kod masih berbeza mengikut model, jadi uji tugas anda sendiri.

CodeAgent menjalankan kod yang ditulis oleh model. Baca panduan smolagents tentang pelaksanaan kod yang selamat sebelum anda memberinya alatan yang menyentuh fail, rangkaian atau kelayakan.

ToolCallingAgent

from smolagents import ToolCallingAgent, tool

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city.

    Args:
        city: The city name.
    """
    return f"21C in {city}"

model = OpenAIModel(
    model_id="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
agent = ToolCallingAgent(tools=[get_weather], model=model)
print(agent.run("What's the weather in Riyadh?"))

ToolCallingAgent menghantar alatan anda, serta alatan final_answernya sendiri, sebagai skema fungsi dengan tool_choice: "required". Gunakan broadnet/glm-5.3 atau broadnet/qwen3.8-27b; dokumentasi BroadNet menyenaraikan tools untuk dua model ini sahaja.

Model mana yang patut dipilih

Ejen Model
CodeAgent, larian panjang pada pelan harga tetap broadnet/deepseek-v4.1-flash
ToolCallingAgent broadnet/glm-5.3
Mana-mana ejen dengan input imej broadnet/qwen3.8-27b

Satu sesi pelan menjalankan satu permintaan pada satu masa, dan ejen menghantar langkahnya satu demi satu, jadi satu sesi sesuai untuk satu ejen. Harga setiap model.

Cara kami mengujinya

Pada 2026-11-15 kami memasang smolagents 1.26.0 dalam persekitaran maya yang bersih dan menjalankan kedua-dua ejen terhadap pelayan olok-olok tempatan yang mengikut bentuk chat completions BroadNet. CodeAgent pada ID DeepSeek menerima balasan kod, menjalankannya dan memulangkan 42. Permintaannya mempunyai max_tokens: 4000, jujukan henti dan tiada tools. Untuk ToolCallingAgent, kami menyemak bentuk permintaan: ID model dihantar tanpa diubah, dengan kedua-dua skema alatan dan tool_choice: "required". smolagents menghantar hasil alatan kembali sebagai mesej user. Pelayan olok-olok kami tidak mengikut format itu, jadi kami tidak menjalankan ejen itu sehingga jawapan akhir. Kami tiada kunci BroadNet, jadi kami tidak menguji output model sebenar.

Penyelesaian masalah

  • 401. Kunci salah, tamat tempoh atau kehabisan elaun.
  • 404. api_base mesti berakhir dengan /v1. Semak ID model. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputi broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • “Make sure to provide correct code blobs”. Balasan model tiada blok kod. Naikkan max_tokens, kerana penaakulan dikira di dalamnya, atau cuba model lain. Mengapa jawapan kosong.
  • ToolCallingAgent tidak pernah selesai. Tukar kepada broadnet/glm-5.3 atau broadnet/qwen3.8-27b.
  • 429. Kunci bayar ikut guna membenarkan 30 permintaan seminit. smolagents boleh mengehadkan dirinya sendiri dengan requests_per_minute. Lihat ralat dan cuba semula.

Soalan lazim

OpenAIModel atau OpenAIServerModel?

smolagents 1.26 mendokumentasikan OpenAIModel untuk mana-mana pelayan serasi OpenAI. OpenAIServerModel masih dieksport oleh pakej, tetapi dokumentasi menerangkan OpenAIModel.

Bolehkah smolagents berjalan pada pelan tanpa had BroadNet?

Pelan itu meliputi DeepSeek V4.1 Flash. BroadNet tidak menyenaraikan tool calling untuknya, tetapi CodeAgent tidak memerlukan panggilan alatan asli; ia meminta kod Python daripada model. Dalam ujian pelayan olok-olok kami, CodeAgent pada ID DeepSeek menghantar permintaan chat biasa tanpa medan tools.

Mengapakah ToolCallingAgent memerlukan GLM 5.3 atau Qwen3.8 27B?

Ia menghantar alatan sebagai skema fungsi OpenAI dengan tool_choice ditetapkan kepada required. Dokumentasi BroadNet menyenaraikan tools untuk GLM 5.3 dan Qwen3.8 27B sahaja.

Bagaimanakah saya menghantar max_tokens atau temperature?

Sebagai argumen kata kunci kepada OpenAIModel. Dokumentasi smolagents menyatakan argumen tambahan dihantar ke setiap panggilan completion. Dalam ujian kami, max_tokens=4000 dihantar pada setiap permintaan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity