«Мультимодальная» говорит о том, что модель умеет принимать на вход. Всегда проверяйте точный список: две модели, которые обе называют мультимодальными, могут принимать совсем разные входные данные.
Как это работает
Каждый тип входа превращается в то же, что языковая модель уже читает: последовательность векторов в её контекстном окне. Текст проходит через токенизатор. Изображение проходит через визуальный энкодер и становится блоком токенов изображения. Видео обычно обрабатывается как серия кадров, а аудио — через аудиоэнкодер.
Карточки моделей показывают, насколько это конкретно, даже внутри одного семейства:
| Модель | Входы по карточке модели | Выход |
|---|---|---|
| Gemma 4 26B A4B | текст, изображения, видео в виде кадров; без аудио (Google указывает аудио только для размеров E2B, E4B и 12B) | текст |
| Qwen3.8 27B | текст, изображения, видео | текст |
API тоже разделяют работу по эндпоинтам. Например, руководство OpenAI по аудио отправляет транскрибацию файлов на эндпоинт распознавания речи, а чат-приложениям, которым нужно аудио, предлагает отдельную функцию аудио в чате.
Более узкий термин для текста с изображениями — визуально-языковая модель.
Почему это важно
- Стоимость. Нетекстовые входы переводятся в токены или тарифицируются за единицу медиа. В BroadNet изображение побольше занимает больше входных токенов, поэтому уменьшайте его до нужной детализации.
- Архитектура. Если ни одна модель не принимает все ваши типы входа, свяжите модели в цепочку: сначала распознавание речи, затем текстовая или визуальная модель.
- Проверка качества. Прочитать печатный счёт, график или рукописную заметку — разные навыки. Тестируйте модальность на своих документах, а не только на демонстрационной картинке.
В BroadNet Inference
Документация BroadNet указывает такие входы для каждой модели:
| Модель | Вход |
|---|---|
| DeepSeek V4.1 Flash | текст и изображения |
| GLM 5.3 | текст |
| Qwen3.8 27B | текст и изображения (vision) |
| BroadNet Gemma 4 VL 26B | текст и изображения |
| BroadNet Transcribe Arabic / BroadNet Transcribe | аудио, через /v1/audio/transcriptions |
Изображения отправляются на /v1/chat/completions как data: URL в списке содержимого сообщения; полный пример — в руководстве по арабским счетам. Аудио — отдельный запрос: WAV или MP3 размером до 26 214 400 байт с заданным language, как в руководстве по голосовым сообщениям WhatsApp. Поэтому ассистент для голосовых сообщений делает два вызова: транскрибация, затем чат.