BroadRouter
Начать

Дообучение (fine-tuning)

Обновлено

Дообучение (fine-tuning) — это продолжение обучения предобученной языковой модели на меньшем наборе данных под конкретную задачу, например на примерах диалогов. Веса модели меняются, и она надёжнее выполняет эту задачу или держит стиль без длинных инструкций и примеров в каждом промпте.

Также называют: дообучение, файнтюнинг, файн-тюнинг, тонкая настройка, дообучение LLM, дообучение модели, SFT, fine-tuning, finetuning, supervised fine-tuning, model fine-tuning

Промпт каждый раз объясняет модели, что делать. Дообучение меняет саму модель, чтобы она это уже знала.

Как это работает

Вы берёте обученную модель и продолжаете обучение на своих примерах. При supervised fine-tuning (SFT, обучение с учителем) каждый пример — это диалог с нужным вам ответом. Руководство OpenAI использует JSONL, “one complete JSON structure on every line” (перевод: «одна полная JSON-структура в каждой строке»), в формате чата:

{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}

Задача обучения подстраивает веса так, чтобы эти ответы стали вероятнее, и возвращает новый ID модели. OpenAI устанавливает минимум в 10 примеров и рекомендует начать с 50 и оценить результат, прежде чем добавлять ещё.

Полное дообучение обновляет все веса, а для больших моделей это дорого. В статье о LoRA Hu и соавторы называют развёртывание отдельных дообученных копий GPT-3, “each with 175B parameters” (перевод: «каждая со 175 млрд параметров»), непомерно дорогим. Параметрически эффективные методы, такие как LoRA, вместо этого обучают небольшую надстройку. Родственная идея — дистилляция: дообучение маленькой модели на выходах большой.

Почему это важно

  • Более короткие промпты. Поведение, для которого требовался длинный few-shot промпт, можно перенести в веса и сократить число входных токенов на вызов.
  • Стабильность. Хорошо подходят классификация, фиксированный стиль ответа, перевод в предметной области и исправление сбоев в следовании инструкциям.
  • Поддержка. Дообученная модель привязана к одной базовой модели. Когда базовую модель выводят из эксплуатации, приходится обучать заново. В руководстве OpenAI теперь сказано, что компания сворачивает платформу дообучения: новым пользователям она закрыта, а дообученные модели обслуживаются, пока не отключат их базовые модели.
  • Сначала измерения. Соберите eval до обучения, иначе вы не поймёте, стала ли дообученная модель лучше.

Дообучение плохо подходит для добавления меняющихся фактов. Поиск (retrieval) поддерживает их актуальными.

В BroadNet Inference

Справочник API BroadNet не описывает API дообучения, задачи обучения или загрузку собственных весов. Зато в нём сказано, что “our Arabic fine-tunes and other models on request” (перевод: «наши дообученные арабские модели и другие модели по запросу») доступны через приватный ID модели, который выдаётся вместе с эндпоинтом. BroadNet указывает одну такую модель по запросу: дообученную версию Cohere Transcribe Arabic для чисел, дат и имён в зашумлённом аудио. О публичной модели распознавания арабской речи читайте в руководстве по распознаванию арабской речи. Если вам нужно обучать собственную модель, обычно начинают с модели с открытыми весами; компромиссы разобраны в статье открытые и закрытые модели.

Вопросы и ответы

Сколько примеров нужно, чтобы дообучить LLM?

Руководство OpenAI устанавливает минимум в 10 примеров и советует начать с 50 качественных, а затем измерить результат. Если 50 хороших примеров ничего не меняют, пересмотрите задачу, прежде чем добавлять новые.

Дообучение или RAG для корпоративных знаний?

Обычно поиск (retrieval). Дообучение хорошо учит поведению и формату, но меняющиеся факты проще поддерживать актуальными в документах, которые извлекаются в момент запроса.

Можно ли дообучить модель в BroadNet Inference?

В документации BroadNet нет API для дообучения. В ней упомянуты собственные дообученные арабские модели BroadNet, доступные как приватные эндпоинты по запросу.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity