BroadRouter
Başlayın

Görsel-dil modeli (VLM)

Güncellendi

Görsel-dil modeli (vision-language model, VLM), girdi olarak görselleri ve metni birlikte alıp metin üreten bir modeldir; böylece resimleri betimleyebilir, onlarla ilgili soruları yanıtlayabilir, belgeleri, grafikleri veya ekran görüntülerini okuyabilir. VLM'lere görselden metne (image-text-to-text) veya çok kipli (multimodal) model de denir.

Diğer adları: görsel-dil modeli, görsel dil modeli, görüntü-dil modeli, görsel model, çok kipli LLM, multimodal LLM, görsel API, VLM, vision-language model, vision model, image-text-to-text model, vision API

Görsel-dil modeli, bir görsel hakkında metin hakkında sorar gibi soru sormanızı sağlar.

Nasıl çalışır

Hugging Face bu modelleri basitçe tanımlar: “take in an image and text prompt and output text.” (çeviri: bir görsel ve metin istemi alır, metin üretir.) Görsel-metin çiftleriyle eğitildikleri için gördüklerini dille ilişkilendirmeyi öğrenirler.

OpenAI uyumlu bir API’de görsel, mesajın içinde bir içerik parçası (content part) olarak gider. Herkese açık bir URL veya base64 veri URL’si olabilir:

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

Model görseli girdi token’larına dönüştürür, bunları metninizle birlikte okur ve bir yanıt yazar.

Neden önemli

  • Belgeler. Faturalar, fişler, formlar ve kimlikler doğrudan bir modele gönderilebilir; alanları JSON olarak almak için çoğu zaman yapılandırılmış çıktıyla birlikte.
  • Ekranlar ve grafikler. Ajanlar ekran görüntülerini ve panoları okuyabilir; destek araçları kullanıcıların gönderdiği fotoğrafları okuyabilir.
  • Maliyet ve sınırlar. Her görsel girdi token’ı ekler ve bağlam penceresinin bir kısmını doldurur. Tek istekteki çok sayıda görsel hızla birikir.

Sonucu kontrol edin. VLM’ler küçük veya bulanık metni yanlış okuyabilir ve yanlış sayıları kendinden emin biçimde söyleyebilir. Para hareketi içeren her şeyde toplamları kodla doğrulayın.

BroadNet Inference’ta

Üç sohbet modeli görsel kabul ediyor:

Model Girdi Bağlam
DeepSeek V4.1 Flash Metin ve görsel 1.048.576 token
Qwen3.8 27B Metin ve görsel 262.144 token
BroadNet Gemma 4 VL 26B Metin ve görsel 32.768 token

GLM 5.3 yalnızca metin alır. BroadNet Gemma 4 VL 26B, 1M girdi token’ı başına $0.10 tutar ve ücretsiz $5 başlangıç kredisiyle çalışır. Qwen3.8 27B, BroadNet tarafından Arapçada test edildi ve yapılandırılmış çıktıyı da destekliyor. Kullandıkça öde planında bir görsel girdi token’ı olarak sayılır ve büyük görseller daha fazla token kullanır.

Arapça fatura rehberi eksiksiz bir veri çıkarma akışını adım adım anlatıyor. Veri URL’sindeki MIME türünü doğru tutun ve akıl yürütme modellerinde max_tokens için pay bırakın.

Sık sorulan sorular

Görsel-dil modeli OCR ile aynı şey mi?

Hayır. OCR, görseldeki basılı metni karakterlere dönüştürür. Bir VLM de metni okuyabilir ama düzeni ve içeriği anlar; bu yüzden hangi satırın toplam olduğu veya bir grafiğin ne gösterdiği gibi soruları yanıtlayabilir.

Görseller token tüketir mi?

Evet. Görseller girdi token'larına dönüştürülür. Büyük görseller genellikle daha fazla token kullanır; bu yüzden onları ihtiyaç duyduğunuz ayrıntıyı koruyan en küçük boyuta indirin.

Hangi BroadNet modelleri görsel kabul ediyor?

DeepSeek V4.1 Flash, Qwen3.8 27B ve BroadNet Gemma 4 VL 26B metin ve görsel girdi alır. GLM 5.3 yalnızca metin alır.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor