BroadRouter

LangChain'i BroadNet Inference ile kullanın

Güncellendi

langchain-openai paketini kurun ve ChatOpenAI'yi base_url değeri https://inference.broadnet.ai/v1, api_key değeri BroadNet anahtarınız ve broadnet/glm-5.3 gibi bir BroadNet model kimliğiyle oluşturun. invoke, stream ve araç çağırma zincirleri chat completions üzerinden çalışır. Yalnızca Responses API'de olan özelliklerden kaçının ve max_tokens içinde akıl yürütmeye yer bırakın.

LangChain’in ChatOpenAI sınıfı, base_url ile herhangi bir uç noktayı kabul eder. BroadNet Inference standart chat completions yapısını kullandığı için bu yöntem onunla da çalışır. API’yi doğrudan çağırmak istiyorsanız Python SDK rehberine bakın.

Kurulum

Güncel langchain-openai sürümleri (1.x) Python 3.11 veya daha yenisini gerektirir.

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

Bağlantı

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

openai_api_base, base_url için bir takma addır. İkisi de verilmezse LangChain OPENAI_API_BASE değişkenini okur, ardından alttaki openai istemcisi OPENAI_BASE_URL değişkenini okur. (Koddaki yorum, akıl yürütmenin bu sınıra dahil olduğunu söylüyor.)

Bilmeniz gerekenler

  • Akıl yürütme metni saklanmaz. LangChain’in belgelerine göre ChatOpenAI resmi OpenAI spesifikasyonunu izler ve reasoning_content gibi standart dışı alanları tutmaz. Nihai yanıtı alırsınız; bir zincirin ihtiyaç duyduğu da genellikle budur.
  • Akıl yürütmeye yer bırakın. GLM 5.3, DeepSeek V4.1 Flash ve Qwen3.8 27B önce akıl yürütür. Küçük bir max_tokens boş bir yanıt döndürebilir. Yanıtlar neden boş geliyor.
  • Akışta kullanım bilgisi. Uç noktayı OPENAI_BASE_URL ile yapılandırdığınızda LangChain stream_usage seçeneğini varsayılan olarak kapatır. Akış sırasında token sayılarını görmek istiyorsanız stream_usage=True verin. BroadNet’in belgelerine göre kullanım bilgisi istendiğinde son parçada gelir.
  • Chat completions’ta kalın. BroadNet, Responses API’yi değil /v1/chat/completions uç noktasını sunar. LangChain’in belgelerine göre ChatOpenAI; OpenAI’nin yerleşik araçlarını (web araması, dosya araması, kod yorumlayıcı ve benzerleri), konuşma durumunu veya reasoning parametresini kullandığınızda Responses API’ye geçer. Bunları kullanmayın ve use_responses_api=True ayarlamayın.
  • Token sınırının adı. LangChain’in belgelerine göre max_tokens dahili olarak max_completion_tokens alanına dönüştürülür. BroadNet’in belgeleri max_tokens alanını anlatır. Bir sınır yok sayılıyor gibi görünüyorsa uygulamanızın gönderdiği isteği kontrol edin.

Hangi zincir için hangi model

Zincir Model
Araç çağırma ve yapılandırılmış çıktı broadnet/glm-5.3
Uzun belgeler ve ajanlar, sınırsız plan broadnet/deepseek-v4.1-flash
Arapça metin veya görseller broadnet/qwen3.8-27b

Tüm modellerin fiyatlarını görün.

Sorun giderme

  • 401. Anahtar yanlış, süresi dolmuş ya da kullandıkça öde kullanım hakkı tükenmiş. Hiç api_key vermediyseniz LangChain, bir OpenAI anahtarı içerebilecek OPENAI_API_KEY değişkenini kullanmıştır.
  • 404 veya “not found”. base_url değerinin /v1 ile bittiğini ve çağrıyı hiçbir şeyin Responses API’ye yönlendirmediğini kontrol edin (yukarıya bakın). Ardından model kimliğinin broadnet/ önekiyle birlikte BroadNet’tekiyle birebir aynı olduğunu doğrulayın. Ücretli modeller için bakiye yüklemeniz gerekir; $5 kredi yalnızca broadnet/gemma-4-26b-a4b modelini kapsar.
  • Boş content. Akıl yürütme bütçeyi tüketmiş. max_tokens değerini artırın. Yanıtlar neden boş geliyor.
  • Araç çağrıları hiç gerçekleşmiyor. broadnet/glm-5.3 veya broadnet/qwen3.8-27b kullanın. BroadNet’in belgeleri araç desteğini yalnızca bu ikisi için listeler.
  • Toplu veya paralel zincirlerde 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 isteğe izin verir. batch() için runnable yapılandırmasında max_concurrency ayarlayın. Hata kodları ve yeniden denemeler rehberine bakın.

Sık sorulan sorular

ChatOpenAI'de base_url mi kullanmalıyım, openai_api_base mi?

İkisi de olur. openai_api_base, base_url için bir takma addır. İkisi de verilmezse LangChain OPENAI_API_BASE değişkenine bakar, ardından openai istemcisi OPENAI_BASE_URL değişkenini okur.

BroadNet uç noktasını yalnızca ortam değişkenleriyle ayarlayabilir miyim?

Evet. OPENAI_BASE_URL değişkenini https://inference.broadnet.ai/v1, OPENAI_API_KEY değişkenini de BroadNet anahtarınız olarak ayarlayın; ardından ChatOpenAI'yi yalnızca model kimliğiyle oluşturun. Akış sırasında token sayılarını görmek istiyorsanız stream_usage=True verin.

LangChain, BroadNet yanıtlarındaki reasoning_content alanını neden atıyor?

LangChain'in belgelerine göre ChatOpenAI resmi OpenAI spesifikasyonunu izler ve reasoning_content gibi standart dışı alanları çıkarmaz. Nihai yanıtı yine content içinde alırsınız.

BroadNet ile ChatOpenAI araç çağırmayı destekliyor mu?

Evet, bind_tools üzerinden; BroadNet'in araç desteğiyle listelediği modellerde. Araç çağırma ve with_structured_output için broadnet/glm-5.3 veya broadnet/qwen3.8-27b kullanın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor