BroadRouter
시작하기

비전-언어 모델(VLM)

업데이트

비전-언어 모델(VLM)은 이미지와 텍스트를 함께 입력받아 텍스트를 출력하는 모델입니다. 그래서 그림을 설명하고, 그림에 관한 질문에 답하고, 문서, 차트, 스크린샷을 읽을 수 있습니다. VLM은 image-text-to-text 모델 또는 멀티모달 모델이라고도 합니다.

다른 이름: 비전-언어 모델, 비전 언어 모델, 시각-언어 모델, 비전 모델, 멀티모달 LLM, 이미지 인식 API, VLM, vision-language model, vision model, multimodal LLM, image-text-to-text model, vision API

비전-언어 모델을 쓰면 텍스트에 질문하듯 이미지에 대해 질문할 수 있습니다.

작동 방식

Hugging Face는 이 모델들을 간단히 이렇게 설명합니다. “take in an image and text prompt and output text.”(번역: 이미지와 텍스트 프롬프트를 받아 텍스트를 출력한다) 이미지-텍스트 쌍으로 학습하기 때문에, 눈에 보이는 것과 언어를 연결하는 법을 익힙니다.

OpenAI 호환 API에서는 이미지가 메시지 안에 콘텐츠 파트로 들어갑니다. 공개 URL이나 base64 데이터 URL을 쓸 수 있습니다.

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

모델은 이미지를 입력 토큰으로 바꾸고, 텍스트와 함께 읽은 뒤 답을 작성합니다.

왜 중요한가

  • 문서. 청구서, 영수증, 양식, 신분증을 모델에 바로 넘길 수 있고, 필드를 JSON으로 돌려받기 위해 구조화된 출력과 함께 쓰는 경우가 많습니다.
  • 화면과 차트. 에이전트는 스크린샷과 대시보드를 읽을 수 있고, 고객 지원 도구는 사용자가 보낸 사진을 읽을 수 있습니다.
  • 비용과 한도. 이미지마다 입력 토큰이 늘고 컨텍스트 윈도우의 일부를 차지합니다. 한 요청에 이미지를 여러 장 넣으면 금세 불어납니다.

결과는 반드시 확인하세요. VLM은 작거나 흐릿한 글자를 잘못 읽을 수 있고, 틀린 숫자를 자신 있게 말하기도 합니다. 돈이 오가는 작업이라면 합계를 코드로 검증하세요.

BroadNet Inference에서는

이미지를 받는 채팅 모델은 세 가지입니다.

모델 입력 컨텍스트
DeepSeek V4.1 Flash 텍스트와 이미지 1,048,576 토큰
Qwen3.8 27B 텍스트와 이미지 262,144 토큰
BroadNet Gemma 4 VL 26B 텍스트와 이미지 32,768 토큰

GLM 5.3은 텍스트 전용입니다. BroadNet Gemma 4 VL 26B는 입력 100만 토큰당 $0.10 요금이며, 무료 초기 크레딧($5)으로도 쓸 수 있습니다. Qwen3.8 27B는 BroadNet이 아랍어로 테스트했고 구조화된 출력도 지원합니다. 종량제에서는 이미지가 입력 토큰으로 계산되며, 이미지가 클수록 토큰을 더 씁니다.

아랍어 청구서 가이드에서 추출 전체 과정을 단계별로 볼 수 있습니다. 데이터 URL의 MIME 타입은 정확하게 지정하고, 추론 모델에서는 max_tokens에 여유를 두세요.

자주 묻는 질문

비전-언어 모델과 OCR은 같은 건가요?

아닙니다. OCR은 이미지 속 인쇄된 텍스트를 문자로 바꿉니다. VLM도 텍스트를 읽을 수 있지만 레이아웃과 내용까지 이해하므로, 어느 줄이 합계인지, 차트가 무엇을 보여 주는지 같은 질문에도 답할 수 있습니다.

이미지도 토큰으로 과금되나요?

네. 이미지는 입력 토큰으로 변환됩니다. 이미지가 클수록 보통 토큰을 더 쓰므로, 필요한 디테일이 유지되는 가장 작은 크기로 줄여서 보내세요.

이미지를 받는 BroadNet 모델은 무엇인가요?

DeepSeek V4.1 Flash, Qwen3.8 27B, BroadNet Gemma 4 VL 26B가 텍스트와 이미지 입력을 받습니다. GLM 5.3은 텍스트 전용입니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기