Mit einem Vision-Language-Modell stellen Sie Fragen zu einem Bild genauso wie zu einem Text.
So funktioniert es
Hugging Face beschreibt diese Modelle schlicht: Sie „take in an image and text prompt and output text“ (Übersetzung: „nehmen ein Bild und einen Text-Prompt entgegen und geben Text aus“). Sie werden mit Bild-Text-Paaren trainiert und lernen so, das Gesehene mit Sprache zu verbinden.
Über eine OpenAI-kompatible API steckt das Bild als Content-Part in der Nachricht. Das kann eine öffentliche URL oder eine Base64-Data-URL sein:
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
Das Modell wandelt das Bild in Input-Tokens um, liest sie zusammen mit Ihrem Text und schreibt eine Antwort.
Warum es wichtig ist
- Dokumente. Rechnungen, Belege, Formulare und Ausweise können direkt an ein Modell gehen, oft mit Structured Output, um Felder als JSON zurückzubekommen.
- Bildschirme und Diagramme. Agenten können Screenshots und Dashboards lesen; Support-Tools können Fotos lesen, die Nutzer schicken.
- Kosten und Limits. Jedes Bild fügt Input-Tokens hinzu und füllt einen Teil des Kontextfensters. Viele Bilder in einem Request summieren sich schnell.
Prüfen Sie das Ergebnis. VLMs können kleinen oder unscharfen Text falsch lesen und falsche Zahlen selbstsicher angeben. Bei allem, was Geld bewegt, validieren Sie Summen im Code.
Bei BroadNet Inference
Drei Chat-Modelle akzeptieren Bilder:
| Modell | Eingabe | Kontext |
|---|---|---|
| DeepSeek V4.1 Flash | Text und Bild | 1.048.576 Tokens |
| Qwen3.8 27B | Text und Bild | 262.144 Tokens |
| BroadNet Gemma 4 VL 26B | Text und Bild | 32.768 Tokens |
GLM 5.3 verarbeitet nur Text. BroadNet Gemma 4 VL 26B kostet $0.10 pro 1 Mio. Input-Tokens und funktioniert mit dem kostenlosen Startguthaben von $5. Qwen3.8 27B wurde von BroadNet auf Arabisch getestet und unterstützt außerdem Structured Output. Bei Pay-as-you-go zählt ein Bild als Input-Tokens, und größere Bilder verbrauchen mehr.
Die Anleitung zu arabischen Rechnungen zeigt eine vollständige Extraktion. Halten Sie den MIME-Typ in der Data-URL korrekt, und lassen Sie bei Reasoning-Modellen Spielraum in max_tokens.