BroadRouter
Начать

Визуально-языковая модель (VLM)

Обновлено

Визуально-языковая модель (vision-language model, VLM) — это модель, которая принимает на вход изображения вместе с текстом и выдаёт текст, поэтому может описывать картинки, отвечать на вопросы о них и читать документы, графики и скриншоты. VLM также называют моделями image-text-to-text или мультимодальными моделями.

Также называют: визуально-языковая модель, VLM, мультимодальная LLM, нейросеть для распознавания изображений, модель компьютерного зрения, vision-модель, vision-language model, vision model, multimodal LLM, image-text-to-text model, vision API

Визуально-языковая модель позволяет задавать вопросы об изображении так же, как о тексте.

Как это работает

Hugging Face описывает такие модели просто: они “take in an image and text prompt and output text” (перевод: «принимают изображение и текстовый промпт и выдают текст»). Их обучают на парах «изображение — текст», так что они учатся связывать увиденное с языком.

В OpenAI-совместимом API изображение передаётся внутри сообщения как часть контента. Это может быть публичный URL или data URL в base64:

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

Модель превращает изображение во входные токены, читает их вместе с вашим текстом и пишет ответ.

Почему это важно

  • Документы. Счета, чеки, анкеты и удостоверения можно отправлять прямо в модель, часто вместе со структурированным выводом, чтобы получить поля в виде JSON.
  • Экраны и графики. Агенты могут читать скриншоты и дашборды, а инструменты поддержки — фотографии, которые присылают пользователи.
  • Стоимость и лимиты. Каждое изображение добавляет входные токены и занимает часть контекстного окна. Много изображений в одном запросе быстро складываются.

Проверяйте результат. VLM могут неверно прочитать мелкий или размытый текст и уверенно назвать неправильные числа. Если от результата зависят деньги, проверяйте итоговые суммы в коде.

В BroadNet Inference

Изображения принимают три чат-модели:

Модель Вход Контекст
DeepSeek V4.1 Flash Текст и изображения 1 048 576 токенов
Qwen3.8 27B Текст и изображения 262 144 токена
BroadNet Gemma 4 VL 26B Текст и изображения 32 768 токенов

GLM 5.3 работает только с текстом. BroadNet Gemma 4 VL 26B стоит $0.10 за 1M входных токенов и доступна на бесплатном стартовом гранте $5. Qwen3.8 27B BroadNet тестировала на арабском, и она также поддерживает структурированный вывод. При оплате по факту изображение считается входными токенами, и крупные изображения занимают больше.

Руководство по арабским счетам разбирает извлечение данных целиком. Указывайте в data URL правильный MIME-тип и оставляйте запас в max_tokens у моделей с рассуждением.

Вопросы и ответы

Визуально-языковая модель — это то же самое, что OCR?

Нет. OCR превращает напечатанный на изображении текст в символы. VLM тоже умеет читать текст, но при этом понимает макет и содержание, поэтому может ответить, например, в какой строке итоговая сумма или что показывает график.

Тратят ли изображения токены?

Да. Изображения превращаются во входные токены. Крупные изображения обычно занимают больше, поэтому уменьшайте их до минимального размера, при котором сохраняются нужные детали.

Какие модели BroadNet принимают изображения?

DeepSeek V4.1 Flash, Qwen3.8 27B и BroadNet Gemma 4 VL 26B принимают на вход текст и изображения. GLM 5.3 работает только с текстом.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity