BroadRouter
Başlayın

Çok modlu yapay zeka (multimodal AI)

Güncellendi

Çok modlu yapay zeka, metin, görsel, video ve ses gibi birden fazla veri türüyle çalışan bir model veya sistemdir. Çok modlu bir model bir fotoğrafı ve bir soruyu birlikte okuyabilir ya da konuşmayı girdi olarak alıp metinle yanıt verebilir. En yaygın türü görsel-dil modelidir.

Diğer adları: çok modlu model, çok modlu yapay zeka, multimodal model, multimodal yapay zeka, çok modlu girdi, multimodal AI, multimodal AI model, multimodal input, multi-modal, modalities

“Çok modlu” ifadesi bir modelin neleri girdi olarak alabildiğini söyler. Kesin listeyi her zaman kontrol edin; çünkü ikisi de çok modlu diye anılan iki model oldukça farklı girdiler kabul edebilir.

Nasıl çalışır

Her girdi türü, dil modelinin zaten okuduğu şeye dönüştürülür: bağlam penceresindeki bir vektör dizisine. Metin tokenizer’dan geçer. Görsel bir görüntü kodlayıcıdan geçer ve bir görsel token bloğuna dönüşür. Video genellikle bir kare dizisi olarak, ses ise bir ses kodlayıcıyla işlenir.

Model kartları, aynı aile içinde bile işin ne kadar ayrıntılı olduğunu gösterir:

Model Model kartında listelenen girdiler Çıktı
Gemma 4 26B A4B metin, görsel, kare olarak video; ses yok (Google sesi yalnızca E2B, E4B ve 12B boyutları için listeler) metin
Qwen3.8 27B metin, görsel, video metin

API’ler işi uç noktalara göre de böler. Örneğin OpenAI’nin ses rehberi, dosya transkripsiyonunu bir konuşmadan metne uç noktasına gönderir ve ses gerektiren sohbet uygulamalarını ayrı bir sohbette ses özelliğine yönlendirir.

Metin artı görsel için daha dar terim görsel-dil modeli terimidir.

Neden önemli

  • Maliyet. Metin dışı girdiler token’a dönüştürülür ya da medya birimi başına faturalandırılır. BroadNet’te daha büyük bir görsel daha fazla girdi token’ı kullanır; bu yüzden görseli ihtiyacınız olan ayrıntıya göre yeniden boyutlandırın.
  • Mimari. Elinizdeki tüm girdileri kabul eden tek bir model yoksa modelleri zincirleyin: önce konuşmadan metne, sonra bir metin veya görsel model.
  • Kalite kontrolleri. Basılı bir faturayı, bir grafiği veya el yazısı bir notu okumak farklı becerilerdir. Modaliteyi yalnızca bir demo görselde değil, kendi belgelerinizde test edin.

BroadNet Inference’ta

BroadNet’in belgeleri model başına şu girdileri listeler:

Model Girdi
DeepSeek V4.1 Flash metin ve görseller
GLM 5.3 metin
Qwen3.8 27B metin ve görsel (vision)
BroadNet Gemma 4 VL 26B metin ve görseller
BroadNet Transcribe Arabic / BroadNet Transcribe ses, /v1/audio/transcriptions üzerinde

Görseller, mesaj içerik listesinde bir data: URL’si olarak /v1/chat/completions adresine gider; Arapça fatura rehberinde tam bir örnek var. Ses ayrı bir istektir: language ayarlanmış, en fazla 26.214.400 bayt WAV veya MP3; WhatsApp sesli mesaj rehberinde olduğu gibi. Dolayısıyla bir sesli mesaj asistanı iki çağrı yapar: önce transkripsiyon, sonra sohbet.

Sık sorulan sorular

Görsel-dil modeli çok modlu mudur?

Evet. Görsel-dil modeli, metin ve görsel alan en yaygın çok modlu model türüdür. Çok modlu daha geniş bir terimdir ve ses ile videoyu da kapsar.

BroadNet'te bir sohbet modeline ses gönderebilir miyim?

BroadNet'in belgeleri sesi yalnızca transkripsiyon uç noktasında listeler. Önce sesi metne çevirin, ardından metni bir sohbet modeline gönderin.

Görseller metinden daha mı pahalı?

BroadNet kullandıkça öde anahtarlarında bir görsel, modelin girdi fiyatından girdi token'ı olarak faturalandırılır ve daha büyük bir görsel daha fazla token kullanır. Planlarda görseller sabit fiyata dahildir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor