Un modello vision-language ti permette di fare domande su un’immagine nello stesso modo in cui le fai su un testo.
Come funziona
Hugging Face descrive questi modelli in modo semplice: “take in an image and text prompt and output text” (traduzione: ricevono un’immagine e un prompt testuale e producono testo). Sono addestrati su coppie immagine-testo, quindi imparano a collegare ciò che vedono con il linguaggio.
Con un’API compatibile OpenAI, l’immagine va dentro il messaggio come content part. Può essere un URL pubblico o un data URL in base64:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
Il modello trasforma l’immagine in token di input, li legge insieme al tuo testo e scrive una risposta.
Perché è importante
- Documenti. Fatture, scontrini, moduli e documenti d’identità possono andare direttamente a un modello, spesso con l’output strutturato per riavere i campi in JSON.
- Schermate e grafici. Gli agenti possono leggere screenshot e dashboard; gli strumenti di assistenza possono leggere le foto inviate dagli utenti.
- Costi e limiti. Ogni immagine aggiunge token di input e occupa parte della finestra di contesto. Molte immagini in una richiesta si sommano in fretta.
Controlla il risultato. I VLM possono leggere male testo piccolo o sfocato e possono indicare numeri sbagliati con sicurezza. Per tutto ciò che muove denaro, verifica i totali nel codice.
Su BroadNet Inference
Tre modelli di chat accettano immagini:
| Modello | Input | Contesto |
|---|---|---|
| DeepSeek V4.1 Flash | Testo e immagini | 1.048.576 token |
| Qwen3.8 27B | Testo e immagini | 262.144 token |
| BroadNet Gemma 4 VL 26B | Testo e immagini | 32.768 token |
GLM 5.3 è solo testo. BroadNet Gemma 4 VL 26B costa $0.10 per 1M di token di input e funziona con il credito iniziale gratuito di $5. Qwen3.8 27B è stato testato da BroadNet in arabo e supporta anche l’output strutturato. Con il pagamento a consumo, un’immagine conta come token di input, e le immagini più grandi ne usano di più.
La guida alle fatture in arabo mostra un’estrazione completa. Tieni corretto il MIME type nel data URL e lascia margine in max_tokens sui modelli di ragionamento.