Un modelo de visión y lenguaje le permite preguntar sobre una imagen igual que pregunta sobre un texto.
Cómo funciona
Hugging Face describe estos modelos de forma sencilla: “take in an image and text prompt and output text.” (traducción: reciben una imagen y un prompt de texto y devuelven texto). Se entrenan con pares de imagen y texto, así que aprenden a relacionar lo que ven con el lenguaje.
Con una API compatible con OpenAI, la imagen va dentro del mensaje como una parte de contenido (content part). Puede ser una URL pública o una data URL en base64:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
El modelo convierte la imagen en tokens de entrada, los lee junto con su texto y escribe una respuesta.
Por qué importa
- Documentos. Facturas, recibos, formularios e identificaciones pueden ir directo a un modelo, a menudo con salida estructurada para obtener los campos en JSON.
- Pantallas y gráficos. Los agentes pueden leer capturas de pantalla y dashboards; las herramientas de soporte pueden leer las fotos que envían los usuarios.
- Costo y límites. Cada imagen añade tokens de entrada y ocupa parte de la ventana de contexto. Muchas imágenes en una sola solicitud suman rápido.
Revise el resultado. Los VLM pueden leer mal texto pequeño o borroso y pueden dar cifras equivocadas con total seguridad. En todo lo que mueva dinero, valide los totales en código.
En BroadNet Inference
Tres modelos de chat aceptan imágenes:
| Modelo | Entrada | Contexto |
|---|---|---|
| DeepSeek V4.1 Flash | Texto e imagen | 1,048,576 tokens |
| Qwen3.8 27B | Texto e imagen | 262,144 tokens |
| BroadNet Gemma 4 VL 26B | Texto e imagen | 32,768 tokens |
GLM 5.3 es solo texto. BroadNet Gemma 4 VL 26B cuesta $0.10 por 1M de tokens de entrada y funciona con el crédito inicial gratuito de $5. BroadNet probó Qwen3.8 27B en árabe, y también admite salida estructurada. En pago por uso, una imagen cuenta como tokens de entrada, y las imágenes más grandes consumen más.
La guía de facturas en árabe recorre una extracción completa. Mantenga correcto el tipo MIME en la data URL y deje margen en max_tokens con los modelos de razonamiento.