Cuando se publica un modelo de pesos abiertos, alguien tiene que ejecutarlo. Los proveedores de inferencia son las empresas que lo hacen.
Cómo funciona
Un proveedor carga los pesos del modelo en GPUs, ejecuta software de servicio que agrupa solicitudes en lotes y administra la memoria, y pone una API delante. La mayoría ofrece una API compatible con OpenAI, así que usted cambia de proveedor modificando la URL base, la clave y el ID del modelo.
El término abarca varios tipos de negocio:
- Laboratorios de modelos que sirven sus propios modelos.
- Hosts independientes que sirven modelos de pesos abiertos de muchos laboratorios.
- Nubes que alquilan GPUs o endpoints administrados, a veces cobrados por hora de GPU.
- Agregadores. Inference Providers de Hugging Face da acceso a “hundreds of machine learning models, powered by world-class inference providers” (traducción: cientos de modelos de aprendizaje automático, impulsados por proveedores de inferencia de primer nivel) con un solo token. Un router de LLM funciona de la misma manera.
Como el formato de la API es común, el mismo código funciona con cualquiera de ellos. Solo cambian tres valores:
import os
from openai import OpenAI
msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
base_url="https://inference.broadnet.ai/v1", # the provider
api_key=os.environ["BROADNET_API_KEY"], # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs) # its model ID
Los precios también varían: por token, por minuto de audio, por hora o una tarifa fija por sesión.
Por qué importa
Elegir un proveedor es, sobre todo, elegir compromisos que no se ven en el nombre del modelo:
- Manejo de datos. La retención, los logs y el uso para entrenamiento varían. Busque una política escrita de retención cero de datos.
- Dónde se ejecuta. La región y los subencargados importan para el cumplimiento normativo.
- Límites. La concurrencia, los límites de frecuencia y la longitud de contexto pueden ser menores que el máximo del modelo.
- Decisiones de servicio. La precisión numérica y los ajustes de servicio afectan la velocidad y, a veces, la salida.
- Forma de precio. La forma adecuada depende de su tráfico; consulte la comparación de precios de proveedores.
- Nivel de precio. El mismo modelo abierto puede costar varias veces más en un proveedor que en otro. Consulte mismo modelo, distinto host.
En BroadNet Inference
BroadNet Inference es un proveedor de inferencia. Su declaración de privacidad indica que sus propios modelos y los modelos de pesos abiertos que aloja “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (traducción: se ejecutan en hardware propio o arrendado por BroadNet en Estados Unidos, con capacidad de socios como respaldo), y que los modelos servidos por socios se ejecutan bajo términos de retención cero de datos con socios de inferencia en Estados Unidos. El contenido de las solicitudes y respuestas no se conserva.
Ofrece modelos de chat, entre ellos DeepSeek V4.1 Flash y GLM 5.3, y dos modelos de voz a texto a través de una API compatible con OpenAI en https://inference.broadnet.ai/v1. La facturación es por pago por uso por token o por minuto de audio, con una clave por hora o con planes de tarifa plana para DeepSeek V4.1 Flash. Use la lista de verificación de proveedores para compararlo con otros según sus propios criterios.