BroadRouter
Inizia

Modello vision-language (VLM)

Aggiornato

Un modello vision-language (VLM) è un modello che riceve in input immagini e testo insieme e produce testo, quindi può descrivere foto, rispondere a domande su di esse e leggere documenti, grafici o screenshot. I VLM sono chiamati anche modelli image-text-to-text o multimodali.

Detto anche: modello di visione, LLM con visione, LLM multimodale, modello visione-linguaggio, VLM, vision model, multimodal LLM, image-text-to-text model, vision API

Un modello vision-language ti permette di fare domande su un’immagine nello stesso modo in cui le fai su un testo.

Come funziona

Hugging Face descrive questi modelli in modo semplice: “take in an image and text prompt and output text” (traduzione: ricevono un’immagine e un prompt testuale e producono testo). Sono addestrati su coppie immagine-testo, quindi imparano a collegare ciò che vedono con il linguaggio.

Con un’API compatibile OpenAI, l’immagine va dentro il messaggio come content part. Può essere un URL pubblico o un data URL in base64:

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

Il modello trasforma l’immagine in token di input, li legge insieme al tuo testo e scrive una risposta.

Perché è importante

  • Documenti. Fatture, scontrini, moduli e documenti d’identità possono andare direttamente a un modello, spesso con l’output strutturato per riavere i campi in JSON.
  • Schermate e grafici. Gli agenti possono leggere screenshot e dashboard; gli strumenti di assistenza possono leggere le foto inviate dagli utenti.
  • Costi e limiti. Ogni immagine aggiunge token di input e occupa parte della finestra di contesto. Molte immagini in una richiesta si sommano in fretta.

Controlla il risultato. I VLM possono leggere male testo piccolo o sfocato e possono indicare numeri sbagliati con sicurezza. Per tutto ciò che muove denaro, verifica i totali nel codice.

Su BroadNet Inference

Tre modelli di chat accettano immagini:

Modello Input Contesto
DeepSeek V4.1 Flash Testo e immagini 1.048.576 token
Qwen3.8 27B Testo e immagini 262.144 token
BroadNet Gemma 4 VL 26B Testo e immagini 32.768 token

GLM 5.3 è solo testo. BroadNet Gemma 4 VL 26B costa $0.10 per 1M di token di input e funziona con il credito iniziale gratuito di $5. Qwen3.8 27B è stato testato da BroadNet in arabo e supporta anche l’output strutturato. Con il pagamento a consumo, un’immagine conta come token di input, e le immagini più grandi ne usano di più.

La guida alle fatture in arabo mostra un’estrazione completa. Tieni corretto il MIME type nel data URL e lascia margine in max_tokens sui modelli di ragionamento.

Domande frequenti

Un modello vision-language è la stessa cosa dell’OCR?

No. L’OCR converte in caratteri il testo stampato in un’immagine. Anche un VLM sa leggere il testo, ma capisce layout e contenuto, quindi può rispondere a domande come quale riga è il totale o cosa mostra un grafico.

Le immagini consumano token?

Sì. Le immagini vengono convertite in token di input. Le immagini più grandi di solito ne usano di più, quindi ridimensionale alla dimensione minima che conserva i dettagli che ti servono.

Quali modelli di BroadNet accettano immagini?

DeepSeek V4.1 Flash, Qwen3.8 27B e BroadNet Gemma 4 VL 26B accettano input di testo e immagini. GLM 5.3 è solo testo.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity