Con el prompt, usted le dice al modelo qué hacer cada vez. El fine-tuning cambia el modelo para que ya lo sepa.
Cómo funciona
Se parte de un modelo entrenado y se le aplica más entrenamiento con sus propios ejemplos. En el fine-tuning supervisado (SFT), cada ejemplo es una conversación con la respuesta que usted quiere. La guía de OpenAI usa JSONL, “one complete JSON structure on every line” (traducción: una estructura JSON completa en cada línea), con el formato de chat:
{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}
El trabajo de entrenamiento ajusta los pesos para que esas respuestas sean más probables y devuelve un nuevo ID de modelo. OpenAI fija el mínimo en 10 ejemplos y recomienda empezar con 50 y evaluar antes de añadir más.
El fine-tuning completo actualiza todos los pesos, lo que resulta costoso en modelos grandes. El artículo de LoRA de Hu y sus colegas califica de prohibitivamente caro desplegar copias ajustadas independientes de GPT-3, “each with 175B parameters” (traducción: cada una con 175B parámetros). Los métodos eficientes en parámetros, como LoRA, entrenan en cambio un pequeño complemento. La destilación es una idea relacionada: ajustar un modelo pequeño con las salidas de uno más grande.
Por qué importa
- Prompts más cortos. Un comportamiento que necesitaba un prompt few-shot largo puede pasar a los pesos, lo que reduce los tokens de entrada por llamada.
- Consistencia. Encaja bien en clasificación, un estilo de salida fijo, traducción de dominio y la corrección de fallos al seguir instrucciones.
- Mantenimiento. Un modelo ajustado queda atado a un modelo base. Cuando el base se retira, hay que volver a entrenar. La guía de OpenAI dice ahora que está cerrando gradualmente su plataforma de fine-tuning, que ya no admite usuarios nuevos, y que los modelos ajustados se seguirán sirviendo hasta que se retiren sus modelos base.
- Primero, medir. Cree una evaluación antes de entrenar o no podrá saber si el modelo ajustado es mejor.
El fine-tuning es una mala forma de añadir datos que cambian. La recuperación los mantiene al día.
En BroadNet Inference
La referencia de la API de BroadNet no documenta una API de fine-tuning, trabajos de entrenamiento ni la carga de pesos propios. Sí dice que a “our Arabic fine-tunes and other models on request” (traducción: nuestros fine-tunes para árabe y otros modelos bajo solicitud) se accede con un ID de modelo privado que se emite junto con el endpoint. BroadNet ofrece un modelo de este tipo bajo solicitud: un fine-tune de Cohere Transcribe Arabic para números, fechas y nombres en audio con ruido. Para el modelo público de transcripción en árabe, consulte la guía de voz a texto en árabe. Si necesita entrenar el suyo, un modelo de pesos abiertos es el punto de partida habitual; los compromisos se explican en modelos de pesos abiertos frente a cerrados.