---
title: "AI đa phương thức là gì? Văn bản, hình ảnh và audio | BroadRouter"
description: "Model đa phương thức nhận nhiều loại đầu vào: văn bản, hình ảnh, video hoặc audio. Chi phí từng loại qua API, và cách nối nhiều model khi một model không đủ."
url: https://broadrouter.com/vi/glossary/multimodal/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/multimodal/) (cập nhật ngày 2026-11-16).

# AI đa phương thức (multimodal AI)

Cập nhật 2026-11-16

AI đa phương thức là model hoặc hệ thống làm việc với nhiều loại dữ liệu, như văn bản, hình ảnh, video và audio. Một model đa phương thức có thể đọc ảnh cùng câu hỏi, hoặc nhận giọng nói và trả lời bằng văn bản. Vision-language model là loại phổ biến nhất.

Còn gọi là: multimodal, đa phương thức, model đa phương thức, multimodal AI, đầu vào đa phương thức, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

“Đa phương thức” cho bạn biết model nhận được những gì. Luôn kiểm tra danh sách chính xác, vì hai model cùng được gọi là đa phương thức có thể nhận đầu vào khá khác nhau.

## Cách hoạt động

Mỗi loại đầu vào được chuyển thành cùng một thứ mà language model vốn đã đọc: một chuỗi vector trong [context window](https://broadrouter.com/vi/glossary/context-window/) của nó. Văn bản đi qua [tokenizer](https://broadrouter.com/vi/glossary/tokenizer/). Hình ảnh đi qua bộ mã hóa thị giác (vision encoder) và trở thành một khối token hình ảnh. Video thường được xử lý như một chuỗi khung hình, còn audio đi qua bộ mã hóa audio.

Model card cho thấy mức độ cụ thể này, ngay cả trong cùng một họ model:

| Model | Đầu vào ghi trên model card | Đầu ra |
| --- | --- | --- |
| Gemma 4 26B A4B | văn bản, hình ảnh, video dạng khung hình; không có audio (Google chỉ ghi audio cho các kích thước E2B, E4B và 12B) | văn bản |
| Qwen3.8 27B | văn bản, hình ảnh, video | văn bản |

Các API cũng chia việc theo endpoint. Ví dụ, hướng dẫn audio của OpenAI gửi việc chép lời tệp tới endpoint speech-to-text, và hướng các ứng dụng chat cần audio sang một tính năng audio-trong-chat riêng.

Thuật ngữ hẹp hơn cho văn bản cộng hình ảnh là [vision-language model](https://broadrouter.com/vi/glossary/vision-language-model/).

## Vì sao quan trọng

-   **Chi phí.** Đầu vào không phải văn bản được chuyển thành token hoặc tính phí theo đơn vị media. Trên BroadNet, ảnh lớn hơn dùng nhiều token đầu vào hơn, nên hãy thu nhỏ ảnh về mức chi tiết bạn cần.
-   **Kiến trúc.** Nếu không có model nào nhận được mọi đầu vào bạn có, hãy nối các model: speech-to-text trước, rồi tới model văn bản hoặc model vision.
-   **Kiểm tra chất lượng.** Đọc hóa đơn in, biểu đồ hay ghi chú viết tay là những kỹ năng khác nhau. Hãy kiểm thử phương thức đó trên tài liệu của chính bạn, không chỉ trên ảnh demo.

## Trên BroadNet Inference

Tài liệu BroadNet liệt kê đầu vào theo từng model:

| Model | Đầu vào |
| --- | --- |
| DeepSeek V4.1 Flash | văn bản và hình ảnh |
| GLM 5.3 | văn bản |
| [Qwen3.8 27B](https://broadrouter.com/vi/models/qwen3.8-27b/) | văn bản và vision |
| [BroadNet Gemma 4 VL 26B](https://broadrouter.com/vi/models/gemma-4-vl-26b/) | văn bản và hình ảnh |
| BroadNet Transcribe Arabic / BroadNet Transcribe | audio, trên `/v1/audio/transcriptions` |

Hình ảnh được gửi tới `/v1/chat/completions` dưới dạng URL `data:` trong danh sách nội dung của message; [hướng dẫn đọc hóa đơn tiếng Ả Rập](https://broadrouter.com/vi/guides/read-arabic-invoices-with-vision/) có ví dụ đầy đủ. Audio là một request riêng: WAV hoặc MP3 tối đa 26.214.400 byte, có đặt `language`, như trong [hướng dẫn chép lời tin nhắn thoại WhatsApp](https://broadrouter.com/vi/guides/transcribe-whatsapp-voice-notes/). Vì vậy một trợ lý xử lý tin nhắn thoại sẽ gọi hai lần: chép lời, rồi chat.

## Câu hỏi thường gặp

### Vision-language model có phải là đa phương thức không?

Có. Vision-language model là loại model đa phương thức phổ biến nhất, nhận văn bản và hình ảnh. Đa phương thức là thuật ngữ rộng hơn, bao gồm cả audio và video.

### Tôi có gửi audio cho model chat trên BroadNet được không?

Tài liệu BroadNet chỉ liệt kê audio ở endpoint chép lời. Hãy chép lời audio trước, rồi gửi văn bản cho model chat.

### Hình ảnh có đắt hơn văn bản không?

Với key trả theo mức dùng của BroadNet, hình ảnh được tính là token đầu vào theo giá đầu vào của model, và ảnh lớn hơn dùng nhiều token hơn. Với gói, hình ảnh nằm trong giá cố định.

## Xem thêm

-   [Vision-language model (VLM, mô hình thị giác-ngôn ngữ)](https://broadrouter.com/vi/glossary/vision-language-model/) (thuật ngữ)
-   [Nhận dạng ký tự quang học (OCR)](https://broadrouter.com/vi/glossary/ocr/) (thuật ngữ)
-   [Chuyển giọng nói thành văn bản (speech-to-text)](https://broadrouter.com/vi/glossary/speech-to-text/) (thuật ngữ)
-   [Token](https://broadrouter.com/vi/glossary/token/) (thuật ngữ)
-   [Context window (cửa sổ ngữ cảnh)](https://broadrouter.com/vi/glossary/context-window/) (thuật ngữ)
-   [Đọc hóa đơn và biên lai tiếng Ả Rập bằng model thị giác](https://broadrouter.com/vi/guides/read-arabic-invoices-with-vision/) (hướng dẫn)
-   [Chép lời tin nhắn thoại WhatsApp thành văn bản bằng API](https://broadrouter.com/vi/guides/transcribe-whatsapp-voice-notes/) (hướng dẫn)
-   [Trích xuất hóa đơn, biên lai, biểu mẫu sang JSON bằng LLM vision](https://broadrouter.com/vi/blog/extract-data-from-documents-with-vision-llm/) (bài viết)
-   [API LLM vision rẻ nhất: chi phí mỗi ảnh và mỗi trang, tính cụ thể](https://broadrouter.com/vi/blog/cheapest-vision-llm-api/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-multimodal&utm_content=page-cta) ·

**Nguồn**

-   [Model card Hugging Face, google/gemma-4-26B-A4B-it (phương thức theo kích thước model) (kiểm tra ngày 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Model card Hugging Face, Qwen/Qwen3.8-27B (đầu vào hình ảnh và video) (kiểm tra ngày 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [OpenAI, hướng dẫn audio và giọng nói (chép lời và audio trong chat) (kiểm tra ngày 2026-11-16)](https://developers.openai.com/api/docs/guides/audio)
-   [Tài liệu tham chiếu API BroadNet Inference, model và phương thức (kiểm tra ngày 2026-11-16) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-multimodal&utm_content=sources)
