BroadRouter
Начать

Галлюцинация (hallucination)

Обновлено

Галлюцинация — это ответ языковой модели, который звучит правдоподобно, но ложен, выдуман или не подкреплён переданными ей данными: например, несуществующая ссылка на источник, неверное число или выдуманный метод API. Она возникает потому, что модель предсказывает вероятный текст, а не проверяет факты.

Также называют: галлюцинации нейросети, галлюцинации ИИ, галлюцинации LLM, конфабуляция, выдумки модели, hallucination, AI hallucination, LLM hallucination, confabulation

Галлюцинация читается точно так же, как правильный ответ. Именно поэтому она обходится дорого.

Как это работает

Языковая модель пишет самые правдоподобные следующие токены с учётом обучения и промпта. Ничто в этом цикле не сверяет факты с реальностью. Если у модели нет ответа, правдоподобный на вид ответ у неё всё равно найдётся.

Kalai с соавторами в статье 2025 года утверждают, что галлюцинации сохраняются, потому что “training and evaluation procedures reward guessing over acknowledging uncertainty” (перевод: «процедуры обучения и оценки поощряют угадывание, а не признание неуверенности»). Большинство бенчмарков засчитывают верную догадку и ничего не дают за отказ отвечать, поэтому модели настраиваются хорошо сдавать тесты. Авторы также выводят ошибки из статистической причины: если модель не может надёжно отличать истинные утверждения от ложных, предобучение будет порождать ложные.

Частые формы в работе с API:

  • выдуманные ссылки на источники, URL или цитаты;
  • неверные цифры в кратком изложении правильного документа;
  • несуществующие методы или параметры API;
  • ответы на вопросы, которые переданный контекст не покрывает.

Почему это важно

Цена проявляется дальше по цепочке: бот поддержки, который выдумывает правила возврата денег, отчёт с неверной итоговой суммой, код, вызывающий несуществующую функцию. По сравнению с этим исправления дешёвые:

  • Опирайте ответ на источники. Положите исходный текст в промпт или найдите его через RAG. Lewis с соавторами обнаружили, что генерация, дополненная поиском, более “factual” (перевод: «фактологична»), чем базовая модель, опирающаяся только на параметры. См. заземление (grounding).
  • Разрешите отвечать «не знаю». Anthropic называет явное разрешение признавать неуверенность базовым шагом.
  • Просите цитаты, затем проверяйте. Пусть модель приводит подтверждающую цитату для каждого утверждения, а утверждения без цитаты отбрасывайте.
  • Измеряйте. Соберите набор для оценки (eval) с вопросами, ответа на которые в контексте нет, и отслеживайте, как часто модель его выдумывает. Logprobs, если API их возвращает, помогают отмечать ответы с низкой уверенностью.
  • Проверяйте в коде. Итоговые суммы, даты и ID можно проверить без модели.

Снижение температуры помогает против дрейфа в длинном тексте, но не против уверенных ошибок.

В BroadNet Inference

Документация BroadNet не публикует долю галлюцинаций для своих моделей и не указывает функций ограничителей (guardrails) или проверки фактов, поэтому эти меры остаются на стороне вашего приложения. Опоре на источники помогает большой контекст: DeepSeek V4.1 Flash и GLM 5.3 принимают 1 048 576 токенов на запрос — достаточно, чтобы включить исходные документы целиком. О поисковых конвейерах для арабского — в статье RAG на арабском; о проверке извлечённых полей по изображению — в руководстве по счетам.

Вопросы и ответы

Почему нейросети галлюцинируют?

Они обучены выдавать вероятный текст, а Kalai с соавторами утверждают, что обучение и бенчмарки поощряют уверенную догадку, а не признание неуверенности. Догадка может принести баллы, а «не знаю» — ни одного.

Можно ли полностью избавиться от галлюцинаций?

Ни один метод не устраняет их полностью. Их уменьшают опора на документы, разрешение отвечать «не знаю», цитаты и проверки в коде. В руководстве Anthropic сказано, что эти приёмы уменьшают галлюцинации, но не устраняют их.

Убирает ли галлюцинации низкая температура?

Она уменьшает случайный выбор слов, но не уверенные ошибки. При температуре 0 модель может каждый раз давать один и тот же неверный ответ.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity