BroadRouter

Pydantic AI ve BroadNet Inference (OpenAICompatibleProvider)

Güncellendi

pydantic-ai-slim[openai] paketini kurun, ardından broadnet/glm-5.3 gibi bir BroadNet model kimliği ve base URL'si https://inference.broadnet.ai/v1, API anahtarı BroadNet anahtarınız olan bir OpenAICompatibleProvider ile OpenAIChatModel oluşturun. Modeli Agent'a verin. BroadNet chat completions sunduğu için Responses modelini değil OpenAIChatModel'i kullanın. Pydantic AI belgelerine göre base_url ile OpenAIProvider, OpenAI'nin kendisi içindir.

Pydantic AI, Pydantic ekibinin geliştirdiği bir Python ajan çerçevesidir. Yerleşik sağlayıcısı olmayan bir servis için belgeleri, servisin base_url değeriyle OpenAICompatibleProvider kullanmayı söyler. BroadNet Inference standart chat completions’ı https://inference.broadnet.ai/v1 adresinde sunar, dolayısıyla izlenecek yol budur. BroadRouter, BroadNet’in kendi sitesidir; bu rehber 2.68 sürümü itibarıyla Pydantic AI belgelerini izler.

Kurulum

pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'

Bağlanın

import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider(
        'broadnet',
        base_url='https://inference.broadnet.ai/v1',
        api_key=os.environ['BROADNET_API_KEY'],
    ),
)

agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)

Bunu çalıştırmak testin kendisidir: ekrana bir yanıt yazdırılıyorsa anahtar, URL ve model kimliği doğrudur.

  • İlk argüman, BroadNet’e gönderilen model kimliğidir. broadnet/ önekiyle birlikte birebir kullanın.
  • Sağlayıcı adı (burada 'broadnet') her yanıtta kaydedilir. Pydantic AI belgeleri bu adı sabit tutmanızı söyler, çünkü önceki yanıtlardan hangi verilerin servise geri gönderileceğine bu ad karar verir.
  • OpenAIChatModel’de kalın. Pydantic AI belgelerine göre OpenAIResponsesModel yalnızca servis Responses API’yi uyguluyorsa kullanılmalıdır. BroadNet bu API’yi listelemez.

Araçlar ve yapılandırılmış çıktı

from pydantic import BaseModel

class City(BaseModel):
    name: str
    country: str

agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)

Araçlar ve yapılandırılmış çıktı için broadnet/glm-5.3 veya broadnet/qwen3.8-27b kullanın; BroadNet’in belgeleri bu iki özelliği yalnızca bu iki model için listeler.

Model profili ne zaman ayarlanmalı

Pydantic AI, istek profilini model adına göre seçer. Bir özellik yok sayılıyor veya reddediliyorsa belgeleri kendi OpenAIModelProfile nesnenizi vermenizi söyler. BroadNet için bilinmesi gereken iki ayar var:

from pydantic_ai.profiles.openai import OpenAIModelProfile

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
    profile=OpenAIModelProfile(
        openai_chat_supports_max_completion_tokens=False,  # send max_tokens, the field BroadNet documents
        openai_supports_strict_tool_definition=False,      # only if strict tool schemas are rejected
    ),
)

Çıktı sınırını model ayarlarıyla verin, örneğin agent.run_sync(prompt, model_settings={'max_tokens': 2000}). DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B’de akıl yürütme bu sınıra dahildir.

Hangi modeli seçmeli

Ajan Model
Araçlar, yapılandırılmış çıktı broadnet/glm-5.3
Görseller veya Arapça metin, araçlarla broadnet/qwen3.8-27b
Uzun belgeler, sabit fiyatlı plan broadnet/deepseek-v4.1-flash
Ücretsiz başlangıç kredisi broadnet/gemma-4-26b-a4b (32.768 token’lık bağlam)

Tüm modellerin fiyatları.

Sorun giderme

  • 401. Anahtar yanlış, süresi dolmuş veya kullanım hakkı tükenmiş.
  • 404 veya model bulunamadı. base_url /v1 ile bitmelidir. Model kimliğini kontrol edin. Ücretli modeller bakiye yüklemesi gerektirir; $5 kredi yalnızca broadnet/gemma-4-26b-a4b modelini kapsar.
  • Boş çıktı veya doğrulama yeniden deneme döngüsü. Çıktı bütçesini akıl yürütme tüketmiş. max_tokens değerini yükseltin. Yanıtlar neden boş geliyor.
  • Araç tanımlarında 400. Profilde openai_supports_strict_tool_definition=False ayarlayın ve BroadNet’in araçlarla listelediği bir model kullanın.
  • Ajanları eşzamanlı çalıştırırken 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda işlemde 4 isteğe izin verir. Hatalar ve yeniden denemeler rehberine bakın.

Sık sorulan sorular

BroadNet için OpenAIProvider mı yoksa OpenAICompatibleProvider mı kullanmalıyım?

OpenAICompatibleProvider. Pydantic AI belgelerine göre OpenAIProvider da base_url alır, ancak OpenAI'nin kendisi ya da ona şeffaf bir proxy içindir ve OpenAI'nin modellerini ve özelliklerini varsayar.

Neden varsayılan OpenAI modelini değil de OpenAIChatModel'i kullanmalıyım?

Pydantic AI'ın varsayılan OpenAI modeli Responses API'yi kullanır. BroadNet ise chat completions'ı /v1/chat/completions adresinde sunar; OpenAIChatModel de tam olarak bunu çağırır.

Araçlar ve yapılandırılmış çıktı çalışır mı?

BroadNet'in araçlar ve yapılandırılmış çıktıyla listelediği GLM 5.3 ve Qwen3.8 27B modellerinde evet. BroadNet'in belgeleri DeepSeek V4.1 Flash için araçları listelemez; bu yüzden araç kullanan ajanları önce bu modelde test edin.

Pydantic AI'ın max_completion_tokens göndermesini nasıl durdururum?

OpenAIChatModel'e profile=OpenAIModelProfile(openai_chat_supports_max_completion_tokens=False) verin. Pydantic AI bu durumda BroadNet'in API referansının anlattığı eski max_tokens alanını gönderir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor