“멀티모달”은 모델이 무엇을 입력으로 받을 수 있는지 알려 줍니다. 그래도 정확한 목록은 항상 확인하세요. 똑같이 멀티모달이라고 불리는 두 모델이 받는 입력은 꽤 다를 수 있습니다.
작동 방식
각 입력 유형은 언어 모델이 이미 읽는 형태, 즉 컨텍스트 윈도우 안의 벡터 시퀀스로 변환됩니다. 텍스트는 토크나이저를 거칩니다. 이미지는 비전 인코더를 거쳐 이미지 토큰 묶음이 됩니다. 영상은 보통 프레임의 연속으로 처리하고, 오디오는 오디오 인코더를 거칩니다.
모델 카드를 보면 같은 계열 안에서도 얼마나 세세하게 갈리는지 알 수 있습니다.
| 모델 | 모델 카드에 표기된 입력 | 출력 |
|---|---|---|
| Gemma 4 26B A4B | 텍스트, 이미지, 프레임 단위 영상. 오디오 없음(Google은 E2B, E4B, 12B 크기에만 오디오를 표기) | 텍스트 |
| Qwen3.8 27B | 텍스트, 이미지, 영상 | 텍스트 |
API도 엔드포인트별로 작업을 나눕니다. 예를 들어 OpenAI의 오디오 가이드는 파일 전사는 음성 인식(speech-to-text) 엔드포인트로 보내고, 오디오가 필요한 채팅 앱은 별도의 채팅 내 오디오 기능을 안내합니다.
텍스트와 이미지만 다루는 좁은 의미의 용어는 비전-언어 모델입니다.
왜 중요한가
- 비용. 텍스트가 아닌 입력은 토큰으로 변환되거나 미디어 단위로 과금됩니다. BroadNet에서는 이미지가 클수록 입력 토큰을 더 쓰므로, 필요한 정도의 해상도로 줄이세요.
- 아키텍처. 가진 입력을 모두 받는 단일 모델이 없다면 모델을 연결하세요. 먼저 음성 인식을 하고, 그다음 텍스트 모델이나 비전 모델을 씁니다.
- 품질 확인. 인쇄된 청구서, 차트, 손글씨 메모를 읽는 것은 서로 다른 능력입니다. 데모 이미지만이 아니라 자신의 문서로 해당 모달리티를 테스트하세요.
BroadNet Inference에서는
BroadNet 문서에 표기된 모델별 입력은 다음과 같습니다.
| 모델 | 입력 |
|---|---|
| DeepSeek V4.1 Flash | 텍스트와 이미지 |
| GLM 5.3 | 텍스트 |
| Qwen3.8 27B | 텍스트와 비전 |
| BroadNet Gemma 4 VL 26B | 텍스트와 이미지 |
| BroadNet Transcribe Arabic / BroadNet Transcribe | 오디오, /v1/audio/transcriptions |
이미지는 메시지 콘텐츠 목록에 data: URL로 넣어 /v1/chat/completions로 보냅니다. 전체 예시는 아랍어 청구서 가이드에 있습니다. 오디오는 별도 요청입니다. 최대 26,214,400바이트의 WAV 또는 MP3를 language를 지정해 보내며, WhatsApp 음성 메시지 가이드에 예시가 있습니다. 따라서 음성 메시지 어시스턴트는 전사, 채팅의 두 번 호출을 합니다.