BroadRouter
Başlayın

Eşzamanlılık (concurrency)

Güncellendi

Eşzamanlılık (concurrency), bir istemcinin aynı anda işlemde olan istek sayısıdır. LLM API'leri bunu genellikle dakikadaki istek sayısından ayrı olarak anahtar veya plan başına sınırlar, çünkü açık her istek yanıtı bitene kadar GPU kapasitesi tutar.

Diğer adları: eşzamanlılık, eşzamanlı istekler, paralel istekler, eşzamanlılık sınırı, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

Hız sınırları zaman içindeki istekleri sayar. Eşzamanlılık ise tek bir andaki istekleri sayar. LLM istekleri saniyelerce sürebildiği için çoğu zaman ilk devreye giren ikinci sınırdır.

Nasıl çalışır

Little yasası üç sayıyı birbirine bağlar:

requests in flight = request rate × average time per request

Yani: işlemdeki istekler = istek hızı × istek başına ortalama süre. Aynı anda 5 isteğe ve dakikada 60 isteğe izin veren varsayımsal bir anahtar düşünün; her istek 20 saniye sürsün. Eşzamanlılık sınırı en fazla saniyede 5 ÷ 20 = 0,25 isteğe, yani dakikada 15 isteğe izin verir. Dakikada 60’a hiçbir zaman ulaşamazsınız, çünkü bağlayıcı sınır eşzamanlılıktır. 2 saniyelik isteklerde aynı sınır dakikada 150 isteğe izin verir ve bu kez bağlayıcı olan hız sınırıdır. Hız sınırı hesaplayıcısı bu hesabı kendi sayılarınızla yapar.

Uzun çıktılar, akıl yürütme token’ları ve uzun istemler isteklerin daha uzun sürmesine neden olur, dolayısıyla eşzamanlılığı daha hızlı tüketir. Akışla gelen bir yanıt, bitene kadar yuvasını tutar.

Neden önemli

Sağlayıcılar eşzamanlılığı sınırlar, çünkü GPU belleği ve işlem gücü paylaşılır. NVIDIA’nın kıyaslamaları, bir sunucudaki eşzamanlılık arttıkça toplam çıktının yükseldiğini, ancak her isteğin saniyedeki token değerinin düştüğünü gösterir. Anahtar başına sınır, tek bir istemcinin herkesi yavaşlatmasını önler.

Uygulamanız için eşzamanlılık, işçi havuzlarının boyutunu ve kaç ajanın yan yana çalışabileceğini belirler. Havuzunuzu sınırın üzerinde değil, sınıra göre boyutlandırın; aksi halde fazladan işçiler yalnızca 429 hatası toplar.

BroadNet Inference’ta

Erişim Eşzamanlılık
Kullandıkça öde anahtarı Aynı anda 4 istek, ayrıca dakikada 30 istek
Saatlik anahtar Tek akış
Sınırsız plan Oturum başına aynı anda tek istek

Planlar doğrudan eşzamanlılık satar. Bir oturumun token sayacı yoktur ve tıpkı tek bir ajanın çalıştığı gibi aynı anda tek istek çalıştırır. Aynı oturumdaki istekler birbirinin arkasında sıraya girer. Ajanları paralel çalıştırmak için ajan başına bir oturum satın alın: bir orkestratör ve üç alt ajan dört oturum gerektirir. Tek bir anahtar birden fazla oturum barındırabilir.

Sınırsız oturumların nasıl çalıştığını ve sabit fiyatla paralel kodlama ajanlarının nasıl çalıştırılacağını okuyun. Ajanlar zamanlarının büyük kısmını araç çalıştırarak geçirir; bu yüzden daha fazla oturum almadan önce gerçek örtüşmeyi ölçün.

Sık yapılan hatalar

  • Havuz olmadan her görev için bir işçi başlatmak. 100 görevlik bir toplu iş, aynı anda 100 isteğe dönüşür.
  • İstemci zaman aşımlarını uzun bir akıl yürütme yanıtından kısa ayarlamak. İstemci vazgeçer, ama yuva hâlâ meşguldür.

Sık sorulan sorular

Eşzamanlılık sınırını aşarsam ne olur?

Sağlayıcıya göre fazladan gelen istek ya reddedilir, çoğu zaman 429 ile, ya da bir yuva boşalana kadar kuyrukta bekler.

Akış (streaming) bir eşzamanlılık yuvası kullanır mı?

Evet. Akışla gelen bir yanıt, son parça gelene kadar yuvasını tutar; bu yüzden uzun çıktılar bir yuvayı daha uzun süre meşgul eder.

Bir yapay zeka kodlama ajanının kaç eşzamanlı isteğe ihtiyacı var?

Bir ajan genellikle bir isteğe ihtiyaç duyar, çünkü bir sonraki adımından önce her yanıtı bekler. Aynı anda çalışan üç alt ajanı olan bir orkestratör en fazla dört isteğe ihtiyaç duyar. Orkestratör alt ajanlar çalışırken istek gönderiyorsa dört, onları bekliyorsa üç gerekir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor