BroadRouter

Welche Modelle BroadNet getestet und aussortiert hat, und warum

Vom Team von BroadNet Inference · 4 Min. Lesezeit · Veröffentlicht · Aktualisiert

Der Modellkatalog von BroadNet markiert rund 30 Modelle und Methoden nach Tests in seinem Labor als aussortiert. Die Gründe fallen meist in fünf Gruppen: ein stärkeres Modell für dieselbe Aufgabe, ein Credential-Safety-Test, eine Lizenz, die den Betrieb per API verhindert, ein Quantisierungsformat, das im direkten Vergleich verlor, und Rückschritte beim Arabischen. Alle Ergebnisse sind eigene Messungen von BroadNet aus dem September 2026.

Der Modellkatalog von BroadNet listet jedes Modell, das BroadNet nach eigenen Angaben auf eigener Hardware betrieben, gebenchmarkt, quantisiert oder feingetunt hat, und markiert die abgelehnten mit einem Grund. Rund 30 Modelle und Methoden tragen das Label RULED OUT. Die folgenden Zahlen wurden im September 2026 im Labor von BroadNet gemessen; es sind Ergebnisse von BroadNet, nicht unsere.

Der Katalog verwendet sechs Labels: PROD (hat Live-Traffic verarbeitet), SERVED (in den Worten des Katalogs „ran on our fleet“, Übersetzung: „lief auf unserer Flotte“), BENCH (gebenchmarkt), QUANT (BroadNet hat die Quantisierung erstellt), FT (von BroadNet feingetunt) und RULED OUT (aussortiert).

Welche Chat-Modelle hat BroadNet aussortiert?

Modell Was BroadNet getan hat Warum es aussortiert wurde
Qwen3.5 35B A3B (AWQ 4-bit) Als Geschwindigkeitsstufe betrieben, etwa 164 Tokens/s Credential-Safety-Testreihe von BroadNet für sicherheitsrelevante Aufgaben nicht bestanden
GLM 4.7 Flash (AWQ) Experimentell betrieben Label SERVED, nicht RULED OUT: Laut BroadNet durch die Credential-Safety-Testreihe für sicherheitsrelevante Aufgaben ausgeschlossen und unterhalb der Produktion gehalten
Nemotron 3 Nano 30B A3B (NVFP4) Mit eigenem Reasoning-Parser betrieben Label SERVED, nicht RULED OUT: Laut BroadNet durch die Credential-Safety-Testreihe für sicherheitsrelevante Aufgaben ausgeschlossen und unterhalb der Produktion gehalten
Qwen3.6 35B A3B Auf RTX 5090 und GB10 betrieben Chatbot-Platz an Gemma 4 26B verloren
Gemma 4 E4B (AWQ INT4) Auf GB10 als Co-Tenant betrieben, etwa 94 Tokens/s Chatbot-Platz an Gemma 4 26B verloren
Gemma 4 26B A4B NVFP4 (drei Herausgeber) Quantisierung evaluiert Nach direktem Vergleich auf sm_120- und sm_121-GPUs zugunsten von AWQ ausgemustert
EAGLE3 Speculative Decoding Für ausgelastetes Serving getestet Kostete bei 32 gleichzeitigen Anfragen 69 % des Durchsatzes; Drafter mit Multi-Token-Prediction beibehalten

Das Muster ist für alle wichtig, die ein offenes Modell auswählen. Drei der Ablehnungen betreffen Sicherheit, nicht Qualität: Die Modelle waren schnell genug, wiederholten aber Zugangsdaten. Genau diesen Fehler fand die Safety-Map-Studie von BroadNet am häufigsten bei Mixture-of-Experts-Modellen mit wenigen aktiven Parametern. Das Modell, das den Chatbot-Platz gewann, Gemma 4 26B A4B, verkauft BroadNet als Gemma 4 VL 26B.

Welche Sprachmodelle wurden aussortiert?

Modell Warum es aussortiert wurde
Gemma 4 E2B, Gemma 4 12B (als Transkriptionsmodelle) Stattdessen wurde die Audio-Variante von E4B behalten
Omnilingual ASR 300M, 1B, 3B und CTC-Varianten (Meta) Die 7B-Variante bekam den Platz
Voxtral Mini 3B / 4B Realtime (Mistral) Für Arabisch aussortiert
ArTSTv3 (aus der MBZUAI-Linie) Für den arabischen Platz aussortiert; Cohere Transcribe Arabic behalten
FireRedVAD, DeepFilterNet, BNR (Vorverarbeitung) Nach direktem Vergleich wurde Silero für die Sprachaktivitätserkennung übernommen

BroadNet berichtet, dass das behaltene Modell, Cohere Transcribe Arabic 07-2026, in eigenen Tests auf MASC-Dialektsprache eine Wortfehlerrate von 21,1 erreicht, gegenüber 22,3 für ElevenLabs Scribe v2 und 31,5 für Whisper large-v3. BroadNet bietet dieses Modell als BroadNet Transcribe Arabic an. Laut Katalog wurde Whisper large-v3 außerdem als Fallback gebenchmarkt.

Welche Dokument-, Embedding- und Bildmodelle haben verloren?

OCR und Dokumenten-Parsing

  • LlamaParse, die bisher genutzte API, erreichte 16,6 auf dem OmniDocBench-Ausschnitt von BroadNet. BroadNet sortierte es aus, weil „it loses tables, and self-hosting is 98% cheaper per 1,000 pages“ (Übersetzung: „es verliert Tabellen, und Self-Hosting ist pro 1.000 Seiten 98 % günstiger“).
  • olmOCR-2, HunyuanOCR, GOT-OCR 2.0 und Nanonets OCR2 wurden evaluiert und aussortiert, Nanonets wegen der Lizenzbedingungen. dots.mocr blieb die Wahl für die Produktion, weil es Abbildungen sowohl parst als auch beschreibt, obwohl PaddleOCR-VL 1.6 besser abschnitt (94,74 gegenüber 86,81).

Embeddings

  • gemini-embedding-2 wurde für Arabisch aussortiert, nachdem es gegenüber gemini-embedding-001 zurückfiel (0,767 gegenüber 0,824 im Retrieval-Benchmark von BroadNet).
  • nomic-embed-text v1.5, die frühere Standardlösung, erreichte insgesamt 0,468 und bei Arabisch 0,130 und wurde ausgemustert.
  • Octen 8B, Harrier 0.6B und Nemotron Embed 1B wurden betrieben und auf echtem arabischem Traffic aussortiert, „where our podium held despite their public-board wins“ (Übersetzung: „wo unser Podium trotz ihrer Siege auf öffentlichen Ranglisten hielt“).

BroadNet nennt einen Befund, der die Modellwahl übertraf: Eine auf den Workload zugeschnittene Query-Anweisung verbesserte die Retrieval-Qualität (nDCG) um 0,048, mehr als der Wechsel von einem 4B- zu einem 8B-Embedding-Modell.

Bildgenerierung und Sicherheit

  • Cosmos3 Super 64B und HunyuanImage 3.0 80B wurden wegen Hardware-Passung und Lizenzbedingungen aussortiert.
  • openai/privacy-filter 1.5B erkannte im Leak-Korpus von BroadNet 100 % der Zugangsdaten, aber 0 % der Gehaltsangaben, und wurde deshalb als Firewall aussortiert.

Was lässt sich aus den Ablehnungen lernen?

Vier Lehren gelten auch über den Stack von BroadNet hinaus:

  1. Testen Sie die Aufgabe, nicht das Leaderboard. Mehrere Embedding-Modelle mit Siegen auf öffentlichen Ranglisten verloren auf echtem arabischem Traffic.
  2. Sicherheit ist eine eigene Hürde. Ein schnelles, fähiges Modell kann trotzdem einen Test mit Zugangsdaten nicht bestehen. Führen Sie einen solchen Test durch, bevor ein Modell Secrets zu sehen bekommt; die Evaluationsmethode von BroadNet ist ein Ausgangspunkt.
  3. Lizenzen entscheiden, was angeboten werden kann. Nicht-kommerzielle Modelle wie Voxtral 4B TTS und Higgs Audio v3 erscheinen im Katalog nur als Qualitätsobergrenze.
  4. Auch Serving-Entscheidungen werden gemessen. Quantisierungsformate und Drafting-Methoden wurden anhand von Zahlen aus direkten Vergleichen aussortiert, nicht pauschal. Siehe GPU-Hardware und Serving bei BroadNet.

Jede Zahl hier stammt aus dem Labor und dem Traffic eines einzigen Unternehmens. Nutzen Sie sie als Vorauswahl dessen, was Sie testen sollten, und evaluieren Sie dann mit Ihren eigenen Daten, bevor Sie wechseln. Eine aussortierte oder nur gebenchmarkte Zeile können Sie außerdem nicht aufrufen; einen Modellkatalog lesen erklärt, wie Sie Live-, Auf-Anfrage- und Forschungseinträge unterscheiden.

Häufige Fragen

Warum veröffentlicht BroadNet die Modelle, die es ablehnt?

Laut Katalog veröffentlicht BroadNet „what we rule out as carefully as what we ship“ (Übersetzung: „was wir aussortieren, genauso sorgfältig wie das, was wir ausliefern“), damit Käufer die Gründe hinter jeder Empfehlung sehen. Eine begründete Ablehnung ist ein Befund, den Sie an Ihrem eigenen Workload überprüfen können.

Heißt „aussortiert“, dass das Modell schlecht ist?

Nein. Die meisten Ablehnungen betreffen eine bestimmte Rolle in der eigenen Pipeline von BroadNet, mit dem Setup und dem Traffic, die BroadNet angibt. Qwen3.6 35B A3B und Gemma 4 E4B verloren den Chatbot-Platz an Gemma 4 26B; für Ihre Aufgabe können sie trotzdem passen.

Was ist die Credential-Safety-Testreihe?

Der Test von BroadNet, ob ein Modell Zugangsdaten wiederholt, die es sieht, auf Basis der veröffentlichten Evaluationsmethode für sensible Daten. Modelle, die durchfallen, bleiben für sicherheitsrelevante Aufgaben unterhalb der Produktion.

Warum schließen Lizenzen Modelle aus?

Einige starke Modelle wie Voxtral 4B TTS und Higgs Audio v3 sind nur für nicht-kommerzielle Nutzung lizenziert. BroadNet benchmarkt sie deshalb nur als Qualitätsobergrenze und kann sie nicht über eine kostenpflichtige API anbieten.

Sind die aussortierten Modelle bei BroadNet Inference verfügbar?

Nein. Die API verkauft sechs Modelle, drei weitere gibt es auf Anfrage. Als aussortiert markierte Modelle werden nicht angeboten.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen