LLM sağlayıcılarının çoğu artık OpenAI API biçimini konuşuyor. Bu, geçişi tek satırlık bir değişiklik gibi gösterir; ilk yanıtı almak için gerçekten de öyledir. Üretim trafiği çalıştırmak içinse bu listeyi baştan sona uygulayın. Her madde, geçişlerin gerçekte bozulduğu bir yoldan geliyor.
0. Uygulamanız bugün neleri kullanıyor?
Herhangi bir şeyi değiştirmeden önce uygulamanızın nelere bağlı olduğunu yazın. Kodda SDK’ya yapılan her çağrıyı arayın ve listeleyin. OpenAI’ın Whisper API’sini çağırıyorsanız, OpenAI’ın whisper-1 modelini 26 Şubat 2027’de kapanacak olarak listelediğini not edin; ses tarafı için Whisper API alternatifleri yazısına bakın.
| Özellik | Nereye bakmalı | Geçişten sonra test |
|---|---|---|
| Chat completions | Her chat.completions.create |
Aynı istemler, yanıtları karşılaştırın |
| Akış (streaming) | stream=True |
Parçalar geliyor, [DONE] ile bitiyor, kullanım bilgisi var |
| Araç çağırma | tools= |
Araç çağrıları ayrıştırılıyor ve çalışıyor |
| Yapılandırılmış çıktı | response_format= |
JSON şemanıza göre doğrulanıyor |
| Görseller | Mesajlardaki görsel parçaları | Model kabul ediyor |
| Ses transkripsiyonu | audio.transcriptions |
Metin ve dil doğru |
| Embedding, dosyalar, toplu işler | Diğer uç noktalar | Sağlayıcının bunları sunup sunmadığını kontrol edin |
Son satır önemli. “OpenAI uyumlu” genellikle önce chat completions’ı kapsar. BroadNet Inference’ın kataloğu sohbet modellerini /v1/chat/completions, konuşmadan metne modellerini /v1/audio/transcriptions üzerinde listeler; başka uç noktalar kullanıyorsanız onları mevcut sağlayıcınızda tutun veya bir alternatif bulun.
1. Hangi üç ayar değişir?
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
Temel URL (base URL) ayarının adı kütüphaneye göre değişir: Python SDK’da ve LangChain’in ChatOpenAI’ında base_url, Node.js SDK’da baseURL. README dosyasına göre Python SDK ayrıca OPENAI_BASE_URL ortam değişkenini okur. Ortamınızda eski bir değer kalıp kalmadığını kontrol edin; yoksa istekler hiçbir hata vermeden eski sağlayıcıya gidebilir.
API anahtarlarını kodda değil, ortam değişkenlerinde veya bir gizli bilgi yöneticisinde (secret manager) tutun. Her SDK için kurulum: Python, Node.js, LangChain. İlk isteği elle oluşturup test etmek için API istek oluşturucuyu kullanın. Temel URL, anahtar ve model değişikliklerini mevcut kodunuza uygulamak için kodu OpenAI’dan BroadNet’e geçiş yardımcısına yapıştırın; araç kontrol edilecekleri de listeler.
2. Yeni model kimlikleri neler?
Her sağlayıcı modelleri kendi yöntemiyle adlandırır. BroadNet Inference’ta:
| Model | Kimlik |
|---|---|
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
| GLM 5.3 | broadnet/glm-5.3 |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
| Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
Model kimliğini koda değil yapılandırmaya koyun; böylece ileride değiştirmek bir yeniden yazım değil, bir dağıtım olur. Her modelin sınırları ve fiyatları kendi sayfasında: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B ve Gemma 4 VL 26B.
3. Geçişten sonra yanıtlar neden boş geliyor?
En yaygın sürpriz budur. DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve akıl yürütme token’ları max_tokens sınırına sayılır. Akıl yürütmeyen bir modelde işe yarayan 256’lık bir sınır tamamen düşünmeye harcanabilir; yanıt boş döner. 1.000 veya daha fazla token bırakın ya da basit işler için reasoning_effort değerini low yapın. Ayrıntılı açıklama.
4. Akış hâlâ kullanım bilgisini raporluyor mu?
Akışlar Server-Sent Events kullanır ve data: [DONE] ile biter. Token kullanımı yalnızca isterseniz son parçada gelir:
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash", messages=messages,
stream=True, stream_options={"include_usage": True},
)
Bu olmadan maliyet panonuz sıfır gösterir. Bir akış [DONE] gelmeden biterse onu eksik sayın. Akış rehberi.
5. Hangi hataları yeniden denemelisiniz?
| Durum | Anlamı | Yapılacak |
|---|---|---|
| 401 | Hatalı veya iptal edilmiş anahtar ya da tükenmiş kullandıkça öde kullanım hakkı | Düzeltin, yeniden denemeyin |
| 402 | Bakiye veya bütçe | Bakiye yükleyin, yeniden denemeyin |
| 403 | Model, rota veya IP politikası nedeniyle reddedildi | Uyuşmazlığı düzeltin |
| 413 | İstek çok büyük | Küçültün, yeniden denemeyin |
| 429 | Hız, eşzamanlılık veya harcama sınırı | Geri çekilin ve yeniden deneyin |
| 5xx | Sunucu tarafı | Sınırlı geri çekilmeyle yeniden deneyin |
Resmi Python SDK bazı hataları zaten yeniden dener: README’sine göre bağlantı hataları, 408, 409, 429 ve 5xx yanıtları varsayılan olarak kısa bir üstel geri çekilmeyle iki kez yeniden denenir. Bu davranış bir varsayılan değil bir karar olsun diye max_retries değerini açıkça ayarlayın. Destek ekibinin bir sorunu izleyebilmesi için her yanıttaki istek kimliğini kaydedin. Tüm kodlar.
6. Yeni hız sınırları neler?
Trafik gelmeden yeni sınırları bilin. BroadNet’te kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 uçuştaki isteğe izin verir. Sınırsız planlar oturum başına aynı anda tek istek çalıştırır. İşçi havuzunuzu buna göre boyutlandırın, yoksa ilk gün 429 görürsünüz; boyutlandırmayı hız sınırı hesaplayıcısı yapar. Paralel ajanlar için boyutlandırma.
7. İstemleriniz hâlâ sığacak mı?
Bağlam pencerelerini kontrol edin: DeepSeek V4.1 Flash ve GLM 5.3’te 1.048.576 token, Qwen3.8 27B’de 262.144, Gemma 4 VL 26B’de 32.768. Eski modelinize sığan bir istem daha küçük bir pencereye sığmayabilir; bağlam penceresi hesaplayıcısıyla kontrol edin. Önbellekli girdi fiyatından yararlanmak için istemin değişmeyen kısmını başa koyun.
8. Anahtarlar ve veri saklama ne olacak?
Üretim anahtarlarını bir IP izin listesiyle sunucularınızın IP’lerine kilitleyin. Yeni sağlayıcıya neyi sakladığını sorun; ZDR kontrol listesine bakın.
9. Geçişi güvenle nasıl tamamlarsınız?
- Bir günlük gerçek isteklerin bir kopyasını iki sağlayıcıya da gönderin.
- Bir örneklem üzerinde yanıtları; ayrıca gecikmeyi, hataları ve istek başına maliyeti karşılaştırın.
- Trafiğin %10’unu taşıyın, bir gün izleyin, sonra kalanını taşıyın.
- Eski sağlayıcıyı bir hafta boyunca yedek olarak yapılandırılmış halde tutun.
Çok sayıda servis çalıştırıyorsanız LiteLLM gibi bir proxy, sağlayıcıyı her uygulamada ayrı ayrı değil tek bir yerde değiştirmenizi sağlar.
Yaygın geçiş hataları neler?
- Temel URL’de eksik
/v1. İstekler 404 döndürür. Eksiksiz URL’yi kullanın. - Yapılandırmada eski model adları. Yeni sağlayıcı bunları tanımaz.
- İsteklerde kalan sağlayıcıya özgü alanlar. Yalnızca eski sağlayıcının anladığı alanlar reddedilebilir veya yok sayılabilir. Bunları genel istemcilerden kaldırın.
- Yalnızca tek bir istemi test etmek. 0. adımdaki envanteri özellik özellik uygulayın.
- Geçişi cuma günü yapmak. Gerçek trafiğin tam bir gününü izlemeye zaman bırakın.
BroadNet Inference nereye oturuyor?
BroadNet Inference, OpenAI SDK’ları üzerinden chat completions ve ses transkripsiyonu kullanan uygulamalar için doğrudan yerine geçebilen bir hedeftir: üç ayarı değiştirin ve yukarıdaki listeyi uygulayın. Kataloğunda yalnızca sohbet ve konuşmadan metne modelleri var; embedding veya dosya depolama gibi başka uç noktalara bağlıysanız onları başka bir sağlayıcıda tutun. Yeni hesaplar $5 kredisiyle başlar. Sohbet modellerinden yalnızca Gemma 4 VL 26B bu krediyle çalışır (kredi iki Transcribe modelini de kapsar); bu yüzden DeepSeek, GLM veya Qwen üzerinde bir gölge test için bakiye yüklemeniz gerekir.
