BroadRouter
Comenzar

Modelo de visión y lenguaje (VLM)

Actualizado

Un modelo de visión y lenguaje (VLM) es un modelo que recibe imágenes y texto a la vez y produce texto, por lo que puede describir imágenes, responder preguntas sobre ellas y leer documentos, gráficos o capturas de pantalla. También se les llama modelos image-text-to-text o multimodales.

También llamado: modelo de visión, modelo de lenguaje con visión, LLM multimodal, IA que lee imágenes, API de visión, VLM, vision-language model, vision model, multimodal LLM, image-text-to-text model, vision API

Un modelo de visión y lenguaje le permite preguntar sobre una imagen igual que pregunta sobre un texto.

Cómo funciona

Hugging Face describe estos modelos de forma sencilla: “take in an image and text prompt and output text.” (traducción: reciben una imagen y un prompt de texto y devuelven texto). Se entrenan con pares de imagen y texto, así que aprenden a relacionar lo que ven con el lenguaje.

Con una API compatible con OpenAI, la imagen va dentro del mensaje como una parte de contenido (content part). Puede ser una URL pública o una data URL en base64:

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

El modelo convierte la imagen en tokens de entrada, los lee junto con su texto y escribe una respuesta.

Por qué importa

  • Documentos. Facturas, recibos, formularios e identificaciones pueden ir directo a un modelo, a menudo con salida estructurada para obtener los campos en JSON.
  • Pantallas y gráficos. Los agentes pueden leer capturas de pantalla y dashboards; las herramientas de soporte pueden leer las fotos que envían los usuarios.
  • Costo y límites. Cada imagen añade tokens de entrada y ocupa parte de la ventana de contexto. Muchas imágenes en una sola solicitud suman rápido.

Revise el resultado. Los VLM pueden leer mal texto pequeño o borroso y pueden dar cifras equivocadas con total seguridad. En todo lo que mueva dinero, valide los totales en código.

En BroadNet Inference

Tres modelos de chat aceptan imágenes:

Modelo Entrada Contexto
DeepSeek V4.1 Flash Texto e imagen 1,048,576 tokens
Qwen3.8 27B Texto e imagen 262,144 tokens
BroadNet Gemma 4 VL 26B Texto e imagen 32,768 tokens

GLM 5.3 es solo texto. BroadNet Gemma 4 VL 26B cuesta $0.10 por 1M de tokens de entrada y funciona con el crédito inicial gratuito de $5. BroadNet probó Qwen3.8 27B en árabe, y también admite salida estructurada. En pago por uso, una imagen cuenta como tokens de entrada, y las imágenes más grandes consumen más.

La guía de facturas en árabe recorre una extracción completa. Mantenga correcto el tipo MIME en la data URL y deje margen en max_tokens con los modelos de razonamiento.

Preguntas frecuentes

¿Un modelo de visión y lenguaje es lo mismo que un OCR?

No. El OCR convierte el texto impreso de una imagen en caracteres. Un VLM también puede leer texto, pero entiende la disposición y el contenido, así que responde preguntas como cuál línea es el total o qué muestra un gráfico.

¿Las imágenes consumen tokens?

Sí. Las imágenes se convierten en tokens de entrada. Las imágenes más grandes suelen consumir más, así que redúzcalas al tamaño mínimo que conserve el detalle que necesita.

¿Qué modelos de BroadNet aceptan imágenes?

DeepSeek V4.1 Flash, Qwen3.8 27B y BroadNet Gemma 4 VL 26B aceptan entrada de texto e imagen. GLM 5.3 es solo texto.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity