BroadRouter

Pydantic AI sa BroadNet Inference (OpenAICompatibleProvider)

Na-update

I-install ang pydantic-ai-slim[openai], saka gawin ang OpenAIChatModel na may BroadNet model ID gaya ng broadnet/glm-5.3 at OpenAICompatibleProvider na may base URL na https://inference.broadnet.ai/v1 at BroadNet key mo bilang API key. Ipasa ang model sa Agent. OpenAIChatModel ang gamitin, hindi ang Responses model, dahil chat completions ang sine-serve ng BroadNet. Ayon sa docs ng Pydantic AI, para sa OpenAI mismo ang OpenAIProvider na may base_url.

Ang Pydantic AI ay Python agent framework mula sa Pydantic team. Para sa serbisyong walang built-in provider dito, sinasabi ng docs nito na gamitin ang OpenAICompatibleProvider na may base_url ng serbisyo. Karaniwang chat completions ang sine-serve ng BroadNet Inference sa https://inference.broadnet.ai/v1, kaya iyan ang daan. Sariling site ng BroadNet ang BroadRouter; sinusundan ng gabay na ito ang docs ng Pydantic AI sa bersyon 2.68.

I-install

pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'

Ikonekta

import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider(
        'broadnet',
        base_url='https://inference.broadnet.ai/v1',
        api_key=os.environ['BROADNET_API_KEY'],
    ),
)

agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)

Ang pagpapatakbo nito ang test: kapag may lumabas na sagot, tama ang key, URL at model ID.

  • Ang unang argument ay ang model ID na ipinapadala sa BroadNet. Gamitin ito nang eksakto, kasama ang broadnet/ prefix.
  • Ang pangalan ng provider ('broadnet' dito) ay naitatala sa bawat response. Ayon sa docs ng Pydantic AI, panatilihin itong hindi nagbabago, dahil ito ang nagpapasya kung aling data mula sa mga naunang response ang ibinabalik sa serbisyo.
  • Manatili sa OpenAIChatModel. Ayon sa docs ng Pydantic AI, gamitin lang ang OpenAIResponsesModel kung ipinapatupad ng serbisyo ang Responses API. Hindi ito nakalista sa BroadNet.

Tools at structured output

from pydantic import BaseModel

class City(BaseModel):
    name: str
    country: str

agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)

Gamitin ang broadnet/glm-5.3 o broadnet/qwen3.8-27b para sa tools at structured output; sa dalawang model na ito lang nakalista sa docs ng BroadNet ang parehong feature.

Kailan magse-set ng model profile

Pumipili ang Pydantic AI ng request profile batay sa pangalan ng model. Kung binabalewala o tinatanggihan ang isang feature, sinasabi ng docs nito na magpasa ng sarili mong OpenAIModelProfile. Dalawang setting ang dapat mong malaman para sa BroadNet:

from pydantic_ai.profiles.openai import OpenAIModelProfile

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
    profile=OpenAIModelProfile(
        openai_chat_supports_max_completion_tokens=False,  # send max_tokens, the field BroadNet documents
        openai_supports_strict_tool_definition=False,      # only if strict tool schemas are rejected
    ),
)

Ipasa ang output limit sa pamamagitan ng model settings, halimbawa agent.run_sync(prompt, model_settings={'max_tokens': 2000}). Kasama rito ang reasoning sa DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B.

Aling model ang pipiliin

Agent Model
Tools, structured output broadnet/glm-5.3
Mga larawan o Arabic na teksto, may tools broadnet/qwen3.8-27b
Mahahabang dokumento, flat-price na plan broadnet/deepseek-v4.1-flash
Libreng panimulang credit broadnet/gemma-4-26b-a4b (32,768-token na context)

Mga presyo ng bawat model.

Troubleshooting

  • 401. Mali, expired o ubos na ang allowance ng key.
  • 404 o model not found. Dapat nagtatapos sa /v1 ang base_url. Suriin ang model ID. Kailangan ng top-up para sa mga bayad na model; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • Walang lamang output o paulit-ulit na validation retry. Naubos ng reasoning ang output budget. Taasan ang max_tokens. Bakit walang laman ang mga sagot.
  • 400 sa mga tool definition. I-set ang openai_supports_strict_tool_definition=False sa profile, at gumamit ng model na nakalista sa BroadNet na may tools.
  • 429 kapag sabay-sabay ang mga agent. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay-sabay. Tingnan ang errors and retries.

Mga tanong

OpenAIProvider ba o OpenAICompatibleProvider ang dapat kong gamitin para sa BroadNet?

OpenAICompatibleProvider. Ayon sa docs ng Pydantic AI, tumatanggap din ng base_url ang OpenAIProvider, pero para ito sa OpenAI mismo o sa isang transparent proxy papunta rito, at ipinapalagay nito ang mga model at feature ng OpenAI.

Bakit OpenAIChatModel at hindi ang default na OpenAI model?

Responses API ang gamit ng default na OpenAI model ng Pydantic AI. Chat completions ang sine-serve ng BroadNet sa /v1/chat/completions, na siyang tinatawag ng OpenAIChatModel.

Gumagana ba ang tools at structured output?

Oo, sa mga model na nakalista sa BroadNet na may tools at structured output, ang GLM 5.3 at Qwen3.8 27B. Hindi nakalista sa docs ng BroadNet ang tools para sa DeepSeek V4.1 Flash, kaya subukan muna doon ang mga agent na gumagamit ng tools.

Paano ko pipigilan ang Pydantic AI sa pagpapadala ng max_completion_tokens?

Ipasa ang profile=OpenAIModelProfile(openai_chat_supports_max_completion_tokens=False) sa OpenAIChatModel. Ang mas lumang max_tokens field na ang ipapadala ng Pydantic AI, na siyang inilalarawan ng API reference ng BroadNet.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity