“Çok modlu” ifadesi bir modelin neleri girdi olarak alabildiğini söyler. Kesin listeyi her zaman kontrol edin; çünkü ikisi de çok modlu diye anılan iki model oldukça farklı girdiler kabul edebilir.
Nasıl çalışır
Her girdi türü, dil modelinin zaten okuduğu şeye dönüştürülür: bağlam penceresindeki bir vektör dizisine. Metin tokenizer’dan geçer. Görsel bir görüntü kodlayıcıdan geçer ve bir görsel token bloğuna dönüşür. Video genellikle bir kare dizisi olarak, ses ise bir ses kodlayıcıyla işlenir.
Model kartları, aynı aile içinde bile işin ne kadar ayrıntılı olduğunu gösterir:
| Model | Model kartında listelenen girdiler | Çıktı |
|---|---|---|
| Gemma 4 26B A4B | metin, görsel, kare olarak video; ses yok (Google sesi yalnızca E2B, E4B ve 12B boyutları için listeler) | metin |
| Qwen3.8 27B | metin, görsel, video | metin |
API’ler işi uç noktalara göre de böler. Örneğin OpenAI’nin ses rehberi, dosya transkripsiyonunu bir konuşmadan metne uç noktasına gönderir ve ses gerektiren sohbet uygulamalarını ayrı bir sohbette ses özelliğine yönlendirir.
Metin artı görsel için daha dar terim görsel-dil modeli terimidir.
Neden önemli
- Maliyet. Metin dışı girdiler token’a dönüştürülür ya da medya birimi başına faturalandırılır. BroadNet’te daha büyük bir görsel daha fazla girdi token’ı kullanır; bu yüzden görseli ihtiyacınız olan ayrıntıya göre yeniden boyutlandırın.
- Mimari. Elinizdeki tüm girdileri kabul eden tek bir model yoksa modelleri zincirleyin: önce konuşmadan metne, sonra bir metin veya görsel model.
- Kalite kontrolleri. Basılı bir faturayı, bir grafiği veya el yazısı bir notu okumak farklı becerilerdir. Modaliteyi yalnızca bir demo görselde değil, kendi belgelerinizde test edin.
BroadNet Inference’ta
BroadNet’in belgeleri model başına şu girdileri listeler:
| Model | Girdi |
|---|---|
| DeepSeek V4.1 Flash | metin ve görseller |
| GLM 5.3 | metin |
| Qwen3.8 27B | metin ve görsel (vision) |
| BroadNet Gemma 4 VL 26B | metin ve görseller |
| BroadNet Transcribe Arabic / BroadNet Transcribe | ses, /v1/audio/transcriptions üzerinde |
Görseller, mesaj içerik listesinde bir data: URL’si olarak /v1/chat/completions adresine gider; Arapça fatura rehberinde tam bir örnek var. Ses ayrı bir istektir: language ayarlanmış, en fazla 26.214.400 bayt WAV veya MP3; WhatsApp sesli mesaj rehberinde olduğu gibi. Dolayısıyla bir sesli mesaj asistanı iki çağrı yapar: önce transkripsiyon, sonra sohbet.