Wenn ein Open-Weight-Modell veröffentlicht wird, muss es noch jemand betreiben. Inferenz-Anbieter sind die Unternehmen, die das tun.
So funktioniert es
Ein Anbieter lädt Modellgewichte auf GPUs, betreibt Serving-Software, die Anfragen bündelt und den Speicher verwaltet, und stellt eine API davor. Die meisten bieten eine OpenAI-kompatible API an. Den Anbieter wechseln Sie also, indem Sie Basis-URL, Schlüssel und Modell-ID ändern.
Der Begriff umfasst mehrere Geschäftsmodelle:
- Modell-Labs, die ihre eigenen Modelle anbieten.
- Unabhängige Hoster, die Open-Weight-Modelle vieler Labs anbieten.
- Clouds, die GPUs oder verwaltete Endpoints vermieten, teils abgerechnet pro GPU-Stunde.
- Aggregatoren. Die Inference Providers von Hugging Face geben Zugang zu „hundreds of machine learning models, powered by world-class inference providers“ (Übersetzung: „Hunderten von Machine-Learning-Modellen, betrieben von erstklassigen Inferenz-Anbietern“) über ein einziges Token. Ein LLM-Router funktioniert genauso.
Weil das API-Format geteilt ist, läuft derselbe Code bei jedem von ihnen. Nur drei Werte ändern sich, im Code kommentiert als Anbieter, dessen Schlüssel und dessen Modell-ID:
import os
from openai import OpenAI
msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
base_url="https://inference.broadnet.ai/v1", # the provider
api_key=os.environ["BROADNET_API_KEY"], # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs) # its model ID
Auch die Preismodelle unterscheiden sich: pro Token, pro Audiominute, pro Stunde oder pauschal pro Session.
Warum es wichtig ist
Einen Anbieter wählen heißt vor allem, Kompromisse zu wählen, die man dem Modellnamen nicht ansieht:
- Umgang mit Daten. Speicherung, Logging und Nutzung für Training unterscheiden sich. Achten Sie auf eine schriftliche Richtlinie zu Zero Data Retention.
- Wo es läuft. Region und Unterauftragsverarbeiter sind für die Compliance wichtig.
- Limits. Parallelität, Rate Limits und Kontextlänge können unter dem Maximum des Modells liegen.
- Serving-Entscheidungen. Präzision und Serving-Einstellungen beeinflussen die Geschwindigkeit und manchmal die Ausgabe.
- Preismodell. Welches passt, hängt von Ihrem Traffic ab; siehe den Preisvergleich der Anbieter.
- Preisniveau. Dasselbe offene Modell kann bei einem Anbieter ein Mehrfaches dessen kosten, was ein anderer verlangt. Siehe gleiches Modell, anderer Host.
Bei BroadNet Inference
BroadNet Inference ist ein Inferenz-Anbieter. Laut seiner Datenschutzerklärung laufen die eigenen Modelle und die gehosteten Open-Weight-Modelle „run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup“ (Übersetzung: „auf Hardware in den USA, die BroadNet gehört oder von BroadNet geleast ist, mit Partnerkapazität als Reserve“), und von Partnern bediente Modelle laufen unter Zero-Data-Retention-Bedingungen bei Inferenzpartnern in den USA. Inhalte von Anfragen und Antworten werden nicht gespeichert.
BroadNet bietet Chatmodelle, darunter DeepSeek V4.1 Flash und GLM 5.3, und zwei Speech-to-Text-Modelle über eine OpenAI-kompatible API unter https://inference.broadnet.ai/v1. Abgerechnet wird per Pay-as-you-go pro Token oder pro Audiominute, über einen Stundenschlüssel oder mit Flatrate-Plänen für DeepSeek V4.1 Flash. Mit der Checkliste zur Anbieterwahl vergleichen Sie BroadNet nach Ihren eigenen Kriterien mit anderen.