“Đa phương thức” cho bạn biết model nhận được những gì. Luôn kiểm tra danh sách chính xác, vì hai model cùng được gọi là đa phương thức có thể nhận đầu vào khá khác nhau.
Cách hoạt động
Mỗi loại đầu vào được chuyển thành cùng một thứ mà language model vốn đã đọc: một chuỗi vector trong context window của nó. Văn bản đi qua tokenizer. Hình ảnh đi qua bộ mã hóa thị giác (vision encoder) và trở thành một khối token hình ảnh. Video thường được xử lý như một chuỗi khung hình, còn audio đi qua bộ mã hóa audio.
Model card cho thấy mức độ cụ thể này, ngay cả trong cùng một họ model:
| Model | Đầu vào ghi trên model card | Đầu ra |
|---|---|---|
| Gemma 4 26B A4B | văn bản, hình ảnh, video dạng khung hình; không có audio (Google chỉ ghi audio cho các kích thước E2B, E4B và 12B) | văn bản |
| Qwen3.8 27B | văn bản, hình ảnh, video | văn bản |
Các API cũng chia việc theo endpoint. Ví dụ, hướng dẫn audio của OpenAI gửi việc chép lời tệp tới endpoint speech-to-text, và hướng các ứng dụng chat cần audio sang một tính năng audio-trong-chat riêng.
Thuật ngữ hẹp hơn cho văn bản cộng hình ảnh là vision-language model.
Vì sao quan trọng
- Chi phí. Đầu vào không phải văn bản được chuyển thành token hoặc tính phí theo đơn vị media. Trên BroadNet, ảnh lớn hơn dùng nhiều token đầu vào hơn, nên hãy thu nhỏ ảnh về mức chi tiết bạn cần.
- Kiến trúc. Nếu không có model nào nhận được mọi đầu vào bạn có, hãy nối các model: speech-to-text trước, rồi tới model văn bản hoặc model vision.
- Kiểm tra chất lượng. Đọc hóa đơn in, biểu đồ hay ghi chú viết tay là những kỹ năng khác nhau. Hãy kiểm thử phương thức đó trên tài liệu của chính bạn, không chỉ trên ảnh demo.
Trên BroadNet Inference
Tài liệu BroadNet liệt kê đầu vào theo từng model:
| Model | Đầu vào |
|---|---|
| DeepSeek V4.1 Flash | văn bản và hình ảnh |
| GLM 5.3 | văn bản |
| Qwen3.8 27B | văn bản và vision |
| BroadNet Gemma 4 VL 26B | văn bản và hình ảnh |
| BroadNet Transcribe Arabic / BroadNet Transcribe | audio, trên /v1/audio/transcriptions |
Hình ảnh được gửi tới /v1/chat/completions dưới dạng URL data: trong danh sách nội dung của message; hướng dẫn đọc hóa đơn tiếng Ả Rập có ví dụ đầy đủ. Audio là một request riêng: WAV hoặc MP3 tối đa 26.214.400 byte, có đặt language, như trong hướng dẫn chép lời tin nhắn thoại WhatsApp. Vì vậy một trợ lý xử lý tin nhắn thoại sẽ gọi hai lần: chép lời, rồi chat.