Quando um modelo open-weight é lançado, alguém ainda precisa rodá-lo. Os provedores de inferência são as empresas que fazem isso.
Como funciona
Um provedor carrega os pesos do modelo em GPUs, roda um software de serving que agrupa requisições em lotes e gerencia a memória, e coloca uma API na frente. A maioria expõe uma API compatível com a OpenAI, então você troca de provedor mudando a base URL, a chave e o ID do modelo.
O termo cobre alguns modelos de negócio:
- Laboratórios de modelos que servem os próprios modelos.
- Hosts independentes que servem modelos open-weight de vários laboratórios.
- Nuvens que alugam GPUs ou endpoints gerenciados, às vezes cobrados por hora de GPU.
- Agregadores. Os Inference Providers da Hugging Face dão acesso a “hundreds of machine learning models, powered by world-class inference providers” (tradução: centenas de modelos de machine learning, servidos por provedores de inferência de primeira linha) com um único token. Um roteador de LLM funciona do mesmo jeito.
Como o formato da API é compartilhado, o mesmo código roda em qualquer um deles. Só três valores mudam, indicados pelos comentários no código: o provedor (a base URL), a chave dele e o ID de modelo dele.
import os
from openai import OpenAI
msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
base_url="https://inference.broadnet.ai/v1", # the provider
api_key=os.environ["BROADNET_API_KEY"], # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs) # its model ID
Os preços também variam: por token, por minuto de áudio, por hora ou fixo por sessão.
Por que importa
Escolher um provedor é, na maior parte, escolher concessões que o nome do modelo não mostra:
- Tratamento de dados. Retenção, logs e uso para treinamento variam. Procure uma política escrita de retenção zero de dados.
- Onde roda. Região e suboperadores importam para a conformidade.
- Limites. Simultaneidade, limites de taxa e tamanho de contexto podem ficar abaixo do máximo do modelo.
- Escolhas de serving. Precisão numérica e configurações de serving afetam a velocidade e, às vezes, a saída.
- Formato do preço. O formato certo depende do seu tráfego; veja a comparação de preços entre provedores.
- Nível de preço. O mesmo modelo aberto pode custar várias vezes mais em um provedor do que em outro. Veja mesmo modelo, host diferente.
Na BroadNet Inference
A BroadNet Inference é um provedor de inferência. A declaração de privacidade dela diz que os modelos próprios e os modelos open-weight que ela hospeda “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (tradução: rodam em hardware próprio ou arrendado pela BroadNet nos Estados Unidos, com capacidade de parceiros como reserva), e que os modelos atendidos por parceiros rodam sob termos de retenção zero de dados com parceiros de inferência nos EUA. O conteúdo de requisições e respostas não é retido.
Ela oferece modelos de chat, incluindo o DeepSeek V4.1 Flash e o GLM 5.3, e dois modelos de fala para texto por uma API compatível com a OpenAI em https://inference.broadnet.ai/v1. A cobrança é por uso, por token ou por minuto de áudio, por uma chave por hora ou por planos de preço fixo para o DeepSeek V4.1 Flash. Use o checklist de provedores para compará-la com outros pelos seus próprios critérios.