BroadRouter

CrewAI'ı özel OpenAI uç noktası olarak BroadNet Inference ile kullanın

Güncellendi

Modeli crewai'ın LLM sınıfıyla oluşturun: model olarak broadnet/glm-5.3 gibi bir BroadNet kimliği, custom_openai=True, base_url olarak https://inference.broadnet.ai/v1 ve api_key olarak BroadNet anahtarınızı verin. Sonra bu LLM'i her Agent'a atayın. CrewAI kendi yerel OpenAI istemcisini ve chat completions'ı kullanır; LiteLLM kurmanız gerekmez.

CrewAI, ajan ekipleri kurmaya yarayan bir Python çerçevesidir. Belgeleri bir özel OpenAI uyumlu uç nokta kalıbı gösterir: custom_openai=True ve base_url içeren bir LLM. BroadNet Inference https://inference.broadnet.ai/v1 adresinde standart chat completions sunduğu için tam buraya oturur. BroadRouter, BroadNet’in kendi sitesidir; bu rehber CrewAI’ın 1.15.41 sürümündeki belgelerini ve kaynak kodunu izler.

Kurulum

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

Bağlanma

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

llm.call bir yanıt yazdırıyorsa anahtar, URL ve model kimliği doğrudur.

CrewAI isteği nasıl yönlendirir

CrewAI’ın kaynak kodu bir sıra belirler: custom_openai=True ilk sırada gelir ve model adının ima ettiği her şeyi geçersiz kılarak yerel OpenAI sağlayıcısını zorunlu kılar. Ayrıca base_url, api_base, OPENAI_BASE_URL ya da OPENAI_API_BASE ile özel bir uç nokta ayarlanmadıysa hata verir. Model dizesi yazıldığı gibi gönderilir; böylece broadnet/glm-5.3 BroadNet’e değişmeden ulaşır.

custom_openai olmadan broadnet/glm-5.3 gibi bir ad, CrewAI’ın tanımadığı broadnet sağlayıcısı olarak okunur ve LiteLLM’e düşer. Belgelenmiş alternatif, bir base_url ile birlikte model="openai/broadnet/glm-5.3" yazmaktır: CrewAI openai/ önekini kaldırır ve geri kalanını gönderir.

CrewAI’ın kodundan ve belgelerinden iki nokta daha:

  • Token sınırı alanı. max_tokens verdiğinizde yerel istemci chat completions isteğinde max_tokens gönderir; BroadNet’in API referansında tanımlanan alan da budur. max_completion_tokens verirseniz onun yerine o gönderilir.
  • Chat completions’ta kalın. CrewAI’ın belgeleri Responses API’ye geçmek için api="responses" gösterir. Bunu ayarlamayın; BroadNet bu API’yi listelemez.

Hangi ajan için hangi model

Ajan Model Neden
Araç kullanan ajanlar broadnet/glm-5.3 BroadNet araçları ve yapılandırılmış çıktıyı listeler; 1M bağlam
Görsel ya da Arapça girdi, araçlarla broadnet/qwen3.8-27b Araçlar ve görseller; 262K bağlam
Uzun okuma görevleri, sabit fiyatlı plan broadnet/deepseek-v4.1-flash Sınırsız planlar; araçlar BroadNet tarafından listelenmez

Bir crew bunları karıştırabilir: her Agent’a kendi LLM’ini verin.

Sorun giderme

  • 401. Anahtar yanlış, süresi dolmuş ya da kullanım hakkı tükenmiş. api_key vermediyseniz CrewAI OPENAI_API_KEY değişkenini okumuştur; orada bir OpenAI anahtarı olabilir.
  • “custom_openai=True requires base_url”. base_url verin ya da OPENAI_BASE_URL ayarlayın.
  • Model bulunamadı. Kimliğin BroadNet’inkiyle birebir aynı olduğunu kontrol edin. Ücretli modeller bakiye yüklemesi gerektirir; $5 kredi yalnızca broadnet/gemma-4-26b-a4b modelini kapsar.
  • EmptyLLMResponseError. CrewAI boş bir yanıtı bir kez yeniden dener, sonra bu hatayı verir. max_tokens değerini artırın. Yanıtlar neden boş geliyor.
  • Birden çok ajanla 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve işlemde aynı anda 4 isteğe izin verir; bir plan oturumu ise aynı anda tek istek çalıştırır. Hatalar ve yeniden denemeler rehberine bakın.

Sık sorulan sorular

CrewAI'da custom_openai=True ne işe yarar?

CrewAI'ın kaynak koduna göre model adı nasıl görünürse görünsün yerel OpenAI sağlayıcısını zorunlu kılar ve base_url, api_base, OPENAI_BASE_URL ya da OPENAI_API_BASE ister. Model dizesi yazıldığı gibi gönderilir; yani broadnet/glm-5.3 BroadNet'e değişmeden ulaşır.

Bunun yerine model="openai/broadnet/glm-5.3" yazabilir miyim?

Evet. Özel bir base_url ile CrewAI, openai/ önekini yerel OpenAI istemcisine yönlendirir ve öneki kaldırır; BroadNet broadnet/glm-5.3 alır. Yine de custom_openai=True daha açık bir yazımdır.

Crew'um neden EmptyLLMResponseError ile başarısız oluyor?

CrewAI, ne içerik ne de araç çağrısı içeren boş bir yanıtı bir kez yeniden dener; yeniden deneme de boş dönerse bu hatayı verir. BroadNet'in akıl yürüten modellerinde bu genellikle akıl yürütmenin çıktı bütçesini tükettiği anlamına gelir. max_tokens değerini artırın.

CrewAI ajanları hangi BroadNet modelini kullanmalı?

Araç kullanan ajanlar için GLM 5.3; BroadNet onun için araçları ve yapılandırılmış çıktıyı listeler. Qwen3.8 27B de araçları destekler ve görsel kabul eder.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor