BroadRouter

Modelos que BroadNet evaluó y descartó, y por qué

Por el equipo de BroadNet Inference · 4 min de lectura · Publicado · Actualizado

El catálogo de modelos de BroadNet marca unos 30 modelos y métodos como descartados tras probarlos en su laboratorio. Los motivos suelen ser cinco: un modelo perdió ante otro más fuerte para la misma tarea, un control de seguridad de credenciales, una licencia que impide servirlo por API, un formato de cuantización que perdió una comparación directa y retrocesos en árabe. Todo son mediciones propias de BroadNet de septiembre de 2026.

El catálogo de modelos de BroadNet enumera cada modelo que dice haber ejecutado, medido, cuantizado o ajustado en su propio hardware, y marca los que rechazó junto con el motivo. Unos 30 modelos y métodos llevan la etiqueta RULED OUT (descartado). Las cifras de abajo se midieron en el laboratorio de BroadNet en septiembre de 2026; son resultados de BroadNet, no nuestros.

El catálogo usa seis etiquetas: PROD (atendió tráfico real), SERVED (en palabras del catálogo, “ran on our fleet” (Traducción: se ejecutó en nuestra flota)), BENCH (se midió con benchmarks), QUANT (BroadNet produjo la cuantización), FT (BroadNet lo ajustó) y RULED OUT.

¿Qué modelos de chat descartó BroadNet?

Modelo Qué hizo BroadNet Por qué se descartó
Qwen3.5 35B A3B (AWQ 4-bit) Se sirvió como nivel de velocidad, unos 164 tokens/s No superó la batería de seguridad de credenciales de BroadNet para roles de seguridad
GLM 4.7 Flash (AWQ) Se sirvió de forma experimental Etiquetado SERVED, no RULED OUT: BroadNet dice que su batería de seguridad de credenciales lo descartó para roles de seguridad y que quedó por debajo de producción
Nemotron 3 Nano 30B A3B (NVFP4) Se sirvió con un analizador de razonamiento propio Etiquetado SERVED, no RULED OUT: BroadNet dice que su batería de seguridad de credenciales lo descartó para roles de seguridad y que quedó por debajo de producción
Qwen3.6 35B A3B Se sirvió en RTX 5090 y GB10 Perdió el puesto de chatbot ante Gemma 4 26B
Gemma 4 E4B (AWQ INT4) Se sirvió en GB10 compartiendo el equipo, unos 94 tokens/s Perdió el puesto de chatbot ante Gemma 4 26B
Gemma 4 26B A4B NVFP4 (tres publicadores) Se evaluó la cuantización Retirado en favor de AWQ tras una comparación directa en GPU sm_120 y sm_121
Decodificación especulativa EAGLE3 Se probó para servicio saturado Costó el 69 % del rendimiento con 32 solicitudes concurrentes; se mantuvieron los borradores de predicción de múltiples tokens

El patrón importa para cualquiera que elija un modelo abierto. Tres de los rechazos tienen que ver con la seguridad, no con la calidad: modelos lo bastante rápidos que, sin embargo, repetían credenciales. Ese es el modo de fallo que el estudio Safety Map de BroadNet encontró con más frecuencia en los modelos de mezcla de expertos con pocos parámetros activos. El modelo que ganó el puesto de chatbot, Gemma 4 26B A4B, es el que BroadNet vende como Gemma 4 VL 26B.

¿Qué modelos de voz se descartaron?

Modelo Por qué se descartó
Gemma 4 E2B, Gemma 4 12B (como transcriptores) Se mantuvo en su lugar la variante de audio E4B
Omnilingual ASR 300M, 1B, 3B y variantes CTC (Meta) La variante 7B se ganó el puesto
Voxtral Mini 3B / 4B Realtime (Mistral) Descartado para árabe
ArTSTv3 (linaje MBZUAI) Descartado para el puesto de árabe; se mantuvo Cohere Transcribe Arabic
FireRedVAD, DeepFilterNet, BNR (preprocesamiento) Se adoptó la detección de actividad de voz de Silero tras una comparación directa

BroadNet informa que el modelo que conservó, Cohere Transcribe Arabic 07-2026, obtiene una tasa de error de palabras de 21.1 en el habla dialectal de MASC, frente a 22.3 de ElevenLabs Scribe v2 y 31.5 de Whisper large-v3, en su propia prueba. Lo sirve como BroadNet Transcribe Arabic. El catálogo también indica que Whisper large-v3 se midió como respaldo.

¿Qué modelos de documentos, embeddings e imagen perdieron?

OCR y análisis de documentos

  • LlamaParse, la API vigente hasta entonces, obtuvo 16.6 en el subconjunto de OmniDocBench de BroadNet. BroadNet lo descartó porque “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (Traducción: pierde tablas, y alojarlo por cuenta propia es un 98 % más barato por cada 1,000 páginas).
  • olmOCR-2, HunyuanOCR, GOT-OCR 2.0 y Nanonets OCR2 se evaluaron y descartaron; Nanonets, por las condiciones de su licencia. Se mantuvo dots.mocr como elección de producción porque analiza documentos y además describe figuras, aunque PaddleOCR-VL 1.6 obtuvo una puntuación más alta (94.74 frente a 86.81).

Embeddings

  • gemini-embedding-2 se descartó para árabe tras retroceder frente a gemini-embedding-001 (0.767 frente a 0.824 en el benchmark de recuperación de BroadNet).
  • nomic-embed-text v1.5, la solución vigente anterior, obtuvo 0.468 en general y 0.130 en árabe, y se retiró.
  • Octen 8B, Harrier 0.6B y Nemotron Embed 1B se sirvieron y se descartaron con tráfico real en árabe, “where our podium held despite their public-board wins” (Traducción: donde nuestro podio se mantuvo pese a sus victorias en los rankings públicos).

BroadNet añade un hallazgo que pesó más que la elección del modelo: una instrucción de consulta específica para la carga de trabajo mejoró la calidad de recuperación (nDCG) en 0.048, más que pasar de un modelo de embeddings de 4B a uno de 8B.

Generación de imágenes y seguridad

  • Cosmos3 Super 64B y HunyuanImage 3.0 80B se descartaron por adecuación al hardware y condiciones de licencia.
  • openai/privacy-filter 1.5B detectó el 100 % de las credenciales pero el 0 % de las cifras salariales en el corpus de fugas de BroadNet, así que se descartó como cortafuegos.

¿Qué se aprende de los rechazos?

Cuatro lecciones valen más allá de la infraestructura de BroadNet:

  1. Pruebe la tarea, no el ranking. Varios modelos de embeddings con victorias en rankings públicos perdieron con tráfico real en árabe.
  2. La seguridad es un filtro aparte. Un modelo rápido y capaz puede fallar una prueba de credenciales. Ejecute una antes de que un modelo vea secretos; el método de evaluación de BroadNet es un punto de partida.
  3. Las licencias deciden qué se puede servir. Los modelos no comerciales como Voxtral 4B TTS e Higgs Audio v3 aparecen en el catálogo solo como techos de calidad.
  4. Las decisiones de servicio también se miden. Los formatos de cuantización y los métodos de borrador se descartaron según cifras de comparaciones directas, no por defecto. Vea el hardware GPU de BroadNet y su forma de servir modelos.

Cada cifra de este artículo proviene del laboratorio y del tráfico de una sola empresa. Úsela como lista corta de lo que conviene probar y luego evalúe con sus propios datos antes de cambiar. Además, una fila descartada o solo medida no es algo que usted pueda llamar; cómo leer un catálogo de modelos explica cómo distinguir las entradas disponibles, las disponibles a pedido y las de investigación.

Preguntas frecuentes

¿Por qué BroadNet publica los modelos que rechaza?

Su catálogo dice que publica "what we rule out as carefully as what we ship" (Traducción: lo que descartamos con el mismo cuidado que lo que lanzamos), para que los compradores vean el razonamiento detrás de cada recomendación. Un rechazo con su motivo es evidencia que usted puede contrastar con su propia carga de trabajo.

¿"Descartado" significa que el modelo es malo?

No. La mayoría de los rechazos corresponden a un puesto concreto en el flujo de BroadNet, con la configuración y el tráfico que declara BroadNet. Qwen3.6 35B A3B y Gemma 4 E4B perdieron el puesto de chatbot ante Gemma 4 26B; aun así pueden servir para su tarea.

¿Qué es la batería de seguridad de credenciales?

Es la prueba de BroadNet para saber si un modelo repite las credenciales que ve, basada en su método publicado de evaluación de datos sensibles. Los modelos que no la superan quedan por debajo de producción para roles de seguridad.

¿Por qué las licencias descartan modelos?

Algunos modelos potentes, como Voxtral 4B TTS e Higgs Audio v3, tienen licencia no comercial, así que BroadNet solo los mide como techo de calidad y no puede servirlos mediante una API de pago.

¿Los modelos descartados están disponibles en BroadNet Inference?

No. La API vende seis modelos, y otros tres están disponibles a pedido. Los modelos marcados como descartados no se ofrecen.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity