Um modelo de visão e linguagem permite fazer perguntas sobre uma imagem do mesmo jeito que você faz sobre um texto.
Como funciona
O Hugging Face descreve esses modelos de forma simples: eles “take in an image and text prompt and output text” (tradução: recebem uma imagem e um prompt de texto e produzem texto). São treinados com pares de imagem e texto, então aprendem a ligar o que veem à linguagem.
Por uma API compatível com OpenAI, a imagem vai dentro da mensagem como um content part. Pode ser uma URL pública ou uma data URL em base64:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
O modelo transforma a imagem em tokens de entrada, lê esses tokens junto com o seu texto e escreve uma resposta.
Por que isso importa
- Documentos. Notas fiscais, recibos, formulários e documentos de identidade podem ir direto para um modelo, muitas vezes com saída estruturada para receber os campos de volta em JSON.
- Telas e gráficos. Agentes conseguem ler capturas de tela e dashboards; ferramentas de suporte conseguem ler fotos que os usuários enviam.
- Custo e limites. Cada imagem adiciona tokens de entrada e ocupa parte da janela de contexto. Muitas imagens em uma requisição somam rápido.
Confira o resultado. VLMs podem ler errado texto pequeno ou borrado e podem afirmar números errados com confiança. Para qualquer coisa que movimente dinheiro, valide os totais no código.
Na BroadNet Inference
Três modelos de chat aceitam imagens:
| Modelo | Entrada | Contexto |
|---|---|---|
| DeepSeek V4.1 Flash | Texto e imagem | 1.048.576 tokens |
| Qwen3.8 27B | Texto e imagem | 262.144 tokens |
| BroadNet Gemma 4 VL 26B | Texto e imagem | 32.768 tokens |
O GLM 5.3 é só texto. O BroadNet Gemma 4 VL 26B custa $0.10 por 1M de tokens de entrada e funciona com o crédito inicial gratuito de $5. O Qwen3.8 27B foi testado pela BroadNet em árabe e também suporta saída estruturada. No pagamento por uso, uma imagem conta como tokens de entrada, e imagens maiores usam mais.
O guia de notas fiscais em árabe mostra uma extração completa. Mantenha correto o MIME type na data URL e deixe folga em max_tokens nos modelos de raciocínio.