BroadRouter

Перед дообучением LLM: сформулируйте, какую проблему решаете

Команда BroadNet Inference · 7 мин чтения · Опубликовано · Обновлено

Дообучайте модель только после того, как оценка показала повторяющийся сбой, который не исправили лучшие промпты, примеры, поиск по документам и валидация. Недостающие знания обычно требуют RAG, а ошибки формата — структурированного вывода и проверок. Прежде чем заказывать свою модель, соберите размеченные примеры, которые вправе использовать, отложите тестовый набор и запишите результат, который нужно превзойти.

Дообучение (fine-tuning) — часто первое средство, за которое хватаются, когда модель ошибается, и часто неверное. Оно стоит сбора данных, разметки, обучающих прогонов и модели, которую теперь нужно поддерживать. Многие сбои исчезают с более чётким промптом, поиском нужного документа или проверкой ответа в коде. Эта статья о том, как понять, какой у вас случай, и что подготовить, если своя модель действительно нужна.

Какую проблему вы пытаетесь решить?

Назовите сбой, прежде чем называть лекарство. Большинство сбоев LLM укладываются в несколько шаблонов, и у каждого есть более дешёвый первый шаг:

Симптом Сначала попробуйте Дообучение помогает, когда
Неверные или устаревшие факты Поиск по документам (RAG) Редко; меняющимся фактам поиск нужен в любом случае
Неверный формат, сломанный JSON Структурированный вывод, проверка по схеме, один повтор Формат необычный, и примеров в промпте недостаточно
Непоследовательные метки или категории Чёткие определения и few-shot примеры Набор меток большой или тонкий, и примеры не помещаются в промпт
Неверный тон или стиль Руководство по стилю в системном промпте с примерами Фирменный стиль должен выдерживаться в тысячах ответов
Предметные слова неверно расслышаны или написаны Список терминов в промпте, исправление в коде после ответа Модель распознавания речи раз за разом ошибается в одних и тех же именах, кодах или числах
Слишком медленно или дорого в масштабе Модель поменьше, кэширование промптов, более короткие промпты Маленькая дообученная модель может сравняться с большой на узкой задаче
Не тот язык или диалект Инструкции на нужном языке; см. промпт-инжиниринг на арабском Модель понимает, но не пишет на нужном вам диалекте

Собственное руководство OpenAI описывает тот же порядок: сначала напишите оценки, затем итерируйте промпты, а для некоторых сценариев дообучайте. В нём сказано, что процесса промпт-инжиниринга «may be all you need in order to get great results» (перевод: «может оказаться достаточно для отличных результатов»). Там же перечислено, что дообучение даёт сверх промптов: больше примеров, чем помещается в один промпт, более короткие промпты, экономящие токены, обучение на данных, которые вы не хотите отправлять в каждом запросе, и возможность сделать модель поменьше хорошей в одной задаче.

Как доказать, что сбой повторяется?

С помощью набора для оценки. Соберите 100–200 реальных входных данных с заведомо правильными ответами, как в статье оценка LLM перед переходом. Оцените текущий промпт. Затем пометьте каждый сбой короткой категорией: wrong_label, missing_field, dialect, hallucinated_fact и так далее.

Шаблон — кандидат на дообучение, только если верны все три условия:

  1. Он частый. На него приходится заметная доля сбоев, а не один-два странных случая.
  2. Он переживает дешёвые исправления. Вы попробовали более чёткие инструкции, примеры, поиск и валидацию, а категория никуда не делась.
  3. Он согласован. Люди сходятся в том, какой ответ правильный. Если двое ваших проверяющих размечают один и тот же случай по-разному, модель, обученная на их разметке, выучит это разногласие.

Запишите результат коротким утверждением, как в этом выдуманном примере: «На нашем наборе из 200 случаев арабской поддержки лучший промпт помечает 18% обращений об оплате как доставку; few-shot примеры снижают это до 15%». Это предложение — техническое задание для дообучения и число, которое нужно превзойти.

Какие простые изменения проверить сначала?

Проверяйте их в порядке стоимости и переоценивайте после каждого:

  1. Инструкции. Определите каждую метку или поле. Скажите, что делать при неуверенности.
  2. Примеры. Добавьте от трёх до десяти реальных примеров, включая сложные случаи.
  3. Поиск. Если ответам нужны факты, находите нужный фрагмент. Варианты разобраны в статьях поиск RAG на арабском и длинный контекст или RAG.
  4. Ограничения. Используйте структурированный вывод, где модель его поддерживает, и проверяйте ответ в коде. Переспросите один раз, указав ошибку.
  5. Другая модель. Другая базовая модель, возможно, уже делает то, что нужно. Тот же набор для оценки покажет это за час.

Каждый шаг стоит часов, а не недель, и каждый оставляет более высокий исходный результат, который дообучению придётся превзойти, если оно всё же понадобится.

Какие данные нужны и есть ли у вас право их использовать?

Прежде чем думать о качестве, проверьте права. Обучающие данные часто берутся из переписки с клиентами, документов или записей звонков. Нужно правовое основание и часто согласие или условие договора, которое покрывает обучение. Проверьте собственное уведомление о конфиденциальности и договоры с клиентами и удалите ненужные персональные данные. Не рассчитывайте, что их собирает за вас провайдер API: например, заявление BroadNet о конфиденциальности говорит, что она не хранит содержимое запросов к инференсу и не использует данные инференса для обучения, дообучения или оценки моделей.

Затем проверьте качество. Этот скрипт читает обучающий файл и файл для оценки в распространённом формате chat JSONL (по одному {"messages": [...]} на строку, последним идёт ответ ассистента) и сообщает о проблемах, которые незаметно портят дообучение: сломанные строки, дубликаты, один и тот же вход с разными ответами, элементы оценки, утёкшие в обучение, баланс меток и возможные персональные данные.

import json, re, sys
from collections import Counter

DIAC = re.compile(r"[ً-ٰٟـ]")          # tashkeel, dagger alef, tatweel
PII = {"email": re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+"),
       "phone": re.compile(r"(?:\+|00)\d[\d\s-]{7,}\d")}

def norm(s: str) -> str:
    s = DIAC.sub("", s.lower())
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي")
    return " ".join(s.split())

def load(path):
    rows, errors = [], []
    for i, line in enumerate(open(path, encoding="utf-8"), 1):
        try:
            ex = json.loads(line)
            roles = [m["role"] for m in ex["messages"]]
            if roles[-1] != "assistant" or "user" not in roles:
                raise ValueError(f"roles {roles}")
            rows.append(ex)
        except (ValueError, KeyError, IndexError, TypeError) as e:
            errors.append(f"line {i}: {e}")
    return rows, errors

def key(ex):     # the input side, normalised: what the model sees
    return norm(" ".join(m["content"] for m in ex["messages"] if m["role"] != "assistant"))

def check(train_path, eval_path):
    train, errs = load(train_path)
    evals, eval_errs = load(eval_path)
    keys = Counter(key(e) for e in train)
    labels = Counter(e["messages"][-1]["content"].strip() for e in train)
    leaked = {key(e) for e in evals} & set(keys)
    pii = Counter(k for e in train for m in e["messages"] for k, rx in PII.items() if rx.search(m["content"]))
    conflicts = Counter()
    seen = {}
    for e in train:
        k, a = key(e), e["messages"][-1]["content"].strip()
        if k in seen and seen[k] != a:
            conflicts[k] += 1
        seen.setdefault(k, a)
    return {"train_examples": len(train), "parse_errors": errs + eval_errs,
            "duplicate_inputs": sum(n - 1 for n in keys.values() if n > 1),
            "same_input_different_answer": len(conflicts),
            "eval_items_also_in_train": len(leaked),
            "answer_distribution": labels.most_common(5),
            "examples_with_possible_pii": dict(pii)}

if __name__ == "__main__":
    print(json.dumps(check(sys.argv[1], sys.argv[2]), ensure_ascii=False, indent=1))

Мы запустили его на игрушечном файле из семи строк с обращениями в поддержку на арабском, английском и испанском. Он нашёл одну строку без ответа ассистента, два дублирующихся входа (один отличался только диакритикой, которую нормализатор удаляет, как в статье нормализация арабского текста), один вход с метками и billing, и other, один элемент оценки, который встречался и в обучении, и один номер телефона. Любая из этих проблем заставила бы дообучение выглядеть лучше или хуже, чем оно есть.

Для арабского нормализация важна. Без неё «متأخر» и «متأخِّر» считаются разными входами, и почти точная копия тестового элемента может проскочить в обучение.

Как честно оценить дообученную модель?

Используйте тот же отложенный тестовый набор, что и для исходного результата, и не допускайте его в обучение. Затем сравнивайте:

  • С лучшим промптом, а не с первым. Дообучение, которое побеждает слабый промпт, ничего не доказывает.
  • По категориям и по языкам. Общий прирост может скрывать падение на арабском при улучшении на английском. Показывайте каждое.
  • По общему поведению. Добавьте 20–50 обычных запросов, с которыми модель раньше справлялась. Узкое обучение может ухудшить поведение за пределами задачи.
  • По стоимости и задержке. Дообучение часто оправдано тем, что работу делает модель поменьше. Измеряйте и токены, и время на запрос.

Решите, каким будет правило прохождения, прежде чем увидите числа, как в статье об оценке: например, «минимум на 5 пунктов лучше на метках оплаты, ни одна категория не хуже больше чем на 2 пункта, арабский и английский проходят оба».

Что меняется, если дообучать хостируемые модели нельзя?

Самообслуживаемое дообучение предлагает меньше хостируемых API, чем можно ожидать. Страница устареваний OpenAI фиксирует изменения в её платформе самообслуживаемого дообучения: с 7 мая 2026 года организации, которые ещё не запускали дообучение, больше не могут создавать задания; с 2 июля 2026 года — и организации, которые за последние 60 дней не запускали инференс на дообученной модели; а с 6 января 2027 года и активные существующие клиенты больше не смогут создавать новые задания на дообучение. Уже дообученные модели остаются доступны для инференса, пока их базовые модели не будут выведены из эксплуатации.

Обычная альтернатива — модель с открытыми весами, обученная параметрически эффективным методом, например LoRA. Статья о LoRA (Hu et al.) сообщает, что по сравнению с полным дообучением GPT-3 175B с Adam LoRA может сократить число обучаемых параметров в 10 000 раз, а требования к памяти GPU — в 3 раза. Затем результат нужно где-то запускать — на своём оборудовании или у провайдера, который хостит собственные веса клиентов. Этот компромисс разобран в статье модели с открытыми весами или закрытые.

Где здесь BroadNet Inference

BroadRouter — собственный сайт BroadNet. В самообслуживаемом API BroadNet Inference нет эндпоинта для дообучения: её справочник API описывает только chat completions и транскрибацию аудио. На той же странице сказано: «private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint» (перевод: «приватные эндпоинты, наши арабские fine-tune-модели и другие модели по запросу доступны по приватному ID, выдаваемому вместе с эндпоинтом»). Страницы моделей BroadNet указывают дообученную BroadNet версию Cohere Transcribe Arabic для чисел, дат и имён в зашумлённом аудио как модель по запросу с приватным ID для каждого клиента и сообщают, что Gemma 4 VL 26B доступна на приватном эндпоинте «including our Arabic fine-tunes» (перевод: «включая наши арабские fine-tune-модели»). Это запросы через страницу контактов, а не то, что можно купить или обучить самостоятельно; что отправить, описано в статье планирование приватного эндпоинта.

Для всего, что предшествует этому шагу, публичных моделей достаточно, чтобы собрать набор для оценки и исходный результат: у Qwen3.8 27B и GLM 5.3 задокументирован структурированный вывод, Gemma 4 VL 26B работает на стартовом гранте $5, а BroadNet Transcribe Arabic распознаёт речь по цене $0.0042 за минуту. Содержимое запросов к инференсу не хранится; необходимые метаданные аккаунта, оплаты и безопасности хранятся, как описано в заявлении BroadNet о конфиденциальности.

Вопросы и ответы

Что выбрать — дообучение или RAG?

Используйте поиск по документам (RAG), когда модели не хватает фактов, особенно меняющихся: документов, цен, правил. Дообучение стоит рассматривать, когда информация у модели есть, но она стабильно ведёт себя неправильно — в формате, тоне, метках или предметной лексике, — а промпты с примерами это не исправили.

Как понять, хватит ли промпт-инжиниринга?

Измерьте. Соберите набор для оценки из реальных входных данных, оцените текущий промпт, затем попробуйте более чёткие инструкции, few-shot примеры, структурированный вывод и валидацию. Если результат достиг цели, остановитесь. Если один тип сбоя сохраняется после всех этих изменений, это кандидат на дообучение.

Сколько данных нужно для дообучения?

Универсальной цифры нет. Всё зависит от задачи, базовой модели и метода. Соберите достаточно размеченных согласованных примеров, чтобы покрыть каждый важный для вас случай, плюс отдельный отложенный тестовый набор, и проверяйте, растёт ли результат по мере добавления данных.

Можно ли дообучить модель в BroadNet Inference?

Не в режиме самообслуживания. Справочник API BroadNet описывает chat completions и транскрибацию аудио, эндпоинта для обучения нет. Арабские fine-tune-модели, например дообученную Cohere Transcribe Arabic, BroadNet указывает как модели по запросу, которые работают на приватном эндпоинте с приватным ID модели.

Обучает ли BroadNet модели на моём трафике через API?

В заявлении BroadNet о конфиденциальности сказано, что она не использует данные инференса для обучения, дообучения или оценки моделей и не хранит содержимое запросов. Если вы хотите дообучить модель на своём трафике, собирайте и храните эти данные сами, имея право их использовать.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity