BroadRouter

Os modelos que a BroadNet avaliou e descartou, e por quê

Pela equipe da BroadNet Inference · 4 min de leitura · Publicado em · Atualizado em

O catálogo de modelos da BroadNet marca cerca de 30 modelos e métodos como descartados depois de testes no laboratório dela. Os motivos caem quase todos em cinco grupos: um modelo mais forte para a mesma tarefa, um teste de segurança de credenciais, uma licença que impede servir via API, um formato de quantização derrotado num confronto direto e regressões em árabe. Todos os resultados são medições da BroadNet de setembro de 2026.

O catálogo de modelos da BroadNet lista todos os modelos que ela diz ter rodado, medido, quantizado ou ajustado no próprio hardware, e marca os rejeitados com o motivo. Cerca de 30 modelos e métodos têm o rótulo RULED OUT (descartado). Os números abaixo foram medidos no laboratório da BroadNet em setembro de 2026; são resultados da BroadNet, não nossos.

O catálogo usa seis rótulos: PROD (atendeu tráfego real), SERVED (nas palavras do catálogo, “ran on our fleet”, ou seja, rodou na frota da BroadNet), BENCH (passou por benchmark), QUANT (a BroadNet produziu a quantização), FT (a BroadNet fez o fine-tune) e RULED OUT.

Quais modelos de chat a BroadNet descartou?

Modelo O que a BroadNet fez Por que foi descartado
Qwen3.5 35B A3B (AWQ 4-bit) Servido como camada rápida, cerca de 164 tokens/s Reprovado na bateria de segurança de credenciais da BroadNet para funções de segurança
GLM 4.7 Flash (AWQ) Servido em caráter experimental Rotulado SERVED, não RULED OUT: a BroadNet diz que foi barrado de funções de segurança pela bateria de credenciais e mantido abaixo da produção
Nemotron 3 Nano 30B A3B (NVFP4) Servido com um parser de raciocínio próprio Rotulado SERVED, não RULED OUT: a BroadNet diz que foi barrado de funções de segurança pela bateria de credenciais e mantido abaixo da produção
Qwen3.6 35B A3B Servido em RTX 5090 e GB10 Perdeu a vaga de chatbot para o Gemma 4 26B
Gemma 4 E4B (AWQ INT4) Servido no GB10 dividindo a máquina, cerca de 94 tokens/s Perdeu a vaga de chatbot para o Gemma 4 26B
Gemma 4 26B A4B NVFP4 (três publicadores) Quantização avaliada Aposentado em favor do AWQ após confronto direto em GPUs sm_120 e sm_121
Speculative decoding EAGLE3 Testado para serving saturado Custou 69% do throughput com 32 requisições simultâneas; drafters de multi-token prediction mantidos

O padrão importa para quem escolhe um modelo aberto. Três das rejeições são de segurança, não de qualidade: modelos rápidos o bastante, mas que repetiam credenciais. É o tipo de falha que o estudo Safety Map da BroadNet encontrou com mais frequência em modelos mixture of experts com poucos parâmetros ativos. O modelo que ganhou a vaga de chatbot, Gemma 4 26B A4B, é o que a BroadNet vende como Gemma 4 VL 26B.

Quais modelos de voz foram descartados?

Modelo Por que foi descartado
Gemma 4 E2B, Gemma 4 12B (como transcritores) A variante de áudio E4B foi mantida no lugar
Omnilingual ASR 300M, 1B, 3B e variantes CTC (Meta) A variante 7B ficou com a vaga
Voxtral Mini 3B / 4B Realtime (Mistral) Descartado para árabe
ArTSTv3 (linhagem MBZUAI) Descartado para a vaga de árabe; Cohere Transcribe Arabic mantido
FireRedVAD, DeepFilterNet, BNR (front-ends) Detecção de atividade de voz do Silero adotada após confronto direto

A BroadNet informa que o modelo mantido, Cohere Transcribe Arabic 07-2026, tem taxa de erro de palavras de 21,1 em fala dialetal do MASC, contra 22,3 do ElevenLabs Scribe v2 e 31,5 do Whisper large-v3, no teste dela. Ela serve esse modelo como BroadNet Transcribe Arabic. O catálogo também diz que o Whisper large-v3 foi medido como alternativa de reserva.

Quais modelos de documentos, embeddings e imagens perderam?

OCR e parsing de documentos

  • LlamaParse, a API em uso até então, marcou 16,6 no subconjunto do OmniDocBench da BroadNet. A BroadNet o descartou porque “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (tradução: perde tabelas, e hospedar por conta própria é 98% mais barato a cada 1.000 páginas).
  • olmOCR-2, HunyuanOCR, GOT-OCR 2.0 e Nanonets OCR2 foram avaliados e descartados; o Nanonets por termos de licença. O dots.mocr foi mantido como escolha de produção porque faz o parsing e também descreve figuras, embora o PaddleOCR-VL 1.6 tenha marcado mais (94,74 contra 86,81).

Embeddings

  • gemini-embedding-2 foi descartado para árabe depois de regredir em relação ao gemini-embedding-001 (0,767 contra 0,824 no benchmark de recuperação da BroadNet).
  • nomic-embed-text v1.5, o modelo em uso anteriormente, marcou 0,468 no geral e 0,130 em árabe, e foi aposentado.
  • Octen 8B, Harrier 0.6B e Nemotron Embed 1B foram servidos e descartados no tráfego real em árabe, “where our podium held despite their public-board wins” (tradução: onde nosso pódio se manteve apesar das vitórias deles nos rankings públicos).

A BroadNet acrescenta um resultado que pesou mais que a escolha do modelo: uma instrução de consulta específica para a carga de trabalho mudou a qualidade de recuperação (nDCG) em 0,048, mais do que passar de um modelo de embedding de 4B para um de 8B.

Geração de imagens e segurança

  • Cosmos3 Super 64B e HunyuanImage 3.0 80B foram descartados por compatibilidade de hardware e termos de licença.
  • openai/privacy-filter 1.5B pegou 100% das credenciais, mas 0% dos valores de salário no corpus de vazamentos da BroadNet, então foi descartado como firewall.

O que dá para aprender com as rejeições?

Quatro lições valem além da stack da BroadNet:

  1. Teste a tarefa, não o ranking. Vários modelos de embedding vencedores em rankings públicos perderam no tráfego real em árabe.
  2. Segurança é uma etapa à parte. Um modelo rápido e capaz ainda pode ser reprovado num teste de credenciais. Rode um antes de um modelo ver segredos; o método de avaliação da BroadNet é um ponto de partida.
  3. Licenças decidem o que pode ser servido. Modelos não comerciais como Voxtral 4B TTS e Higgs Audio v3 aparecem no catálogo só como teto de qualidade.
  4. Escolhas de serving também são medidas. Formatos de quantização e métodos de drafting foram descartados com base em números de confronto direto, não por padrão. Veja o hardware de GPU e a abordagem de serving da BroadNet.

Todos os números aqui vêm do laboratório e do tráfego de uma única empresa. Use-os como uma lista do que testar e depois avalie com os seus dados antes de trocar. Uma linha descartada ou só medida também não é algo que você pode chamar pela API; como ler um catálogo de modelos explica como diferenciar entradas ativas, sob consulta e de pesquisa.

Perguntas frequentes

Por que a BroadNet publica os modelos que rejeita?

O catálogo diz que publica “what we rule out as carefully as what we ship” (tradução: o que descartamos com o mesmo cuidado do que colocamos em produção), para que quem compra veja o raciocínio por trás de cada recomendação. Uma rejeição com motivo é uma evidência que você pode testar na sua própria carga de trabalho.

"Descartado" quer dizer que o modelo é ruim?

Não. A maioria das rejeições vale para uma única função no pipeline da própria BroadNet, na configuração e no tráfego que a BroadNet informa. Qwen3.6 35B A3B e Gemma 4 E4B perderam a vaga de chatbot para o Gemma 4 26B; eles ainda podem servir para o seu caso.

O que é a bateria de testes de segurança de credenciais?

É o teste da BroadNet que verifica se um modelo repete credenciais que vê, com base no método publicado dela para avaliar dados sensíveis. Modelos reprovados ficam abaixo da produção em funções de segurança.

Por que licenças descartam modelos?

Alguns modelos fortes, como Voxtral 4B TTS e Higgs Audio v3, são não comerciais, então a BroadNet só os mede como teto de qualidade e não pode servi-los em uma API paga.

Os modelos descartados estão disponíveis na BroadNet Inference?

Não. A API vende seis modelos, e mais três estão disponíveis sob consulta. Modelos marcados como descartados não são oferecidos.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity