Что такое галлюцинация нейросети
Галлюцинация — это неверный ответ, поданный так же уверенно, как верный. Нейросеть выдумывает факт, цитату, дело в суде или ссылку и никак не показывает, что сомневается.
Главная опасность в этой уверенности. Обычный сотрудник часто выдаёт сомнение голосом или формулировкой, а в ответе модели выдуманный факт выглядит точно так же, как настоящий.
Почему это происходит
- Модель предсказывает текст. Она выбирает правдоподобное продолжение, а не ищет факт в базе. Правдоподобное обычно совпадает с верным, но не всегда.
- Её приучили отвечать. Как объясняют исследователи OpenAI и их соавторы, обучение и оценка моделей поощряют догадку больше, чем честное «не знаю»: она иногда попадает. Поэтому модель чаще ответит, чем признается, что не знает. А в споре она ведёт себя по-разному: может упереться, а может извиниться и согласиться с неверным.
- У неё нет нужных данных. Она не знает ваших документов и сегодняшней даты, если их не передали, и закрывает пробел тем, что кажется вероятным.
- Систему построили неудачно. Модели передали только начало длинного документа, и она честно сообщает, что нужной позиции нет. Это выглядит как галлюцинация, но причина в обрезке текста.
Кстати, человеческий мозг тоже дорисовывает. Сигналу от глаза нужно время, чтобы дойти до мозга, и картинку мира он отчасти предсказывает. А воспоминания при обращении мы отчасти восстанавливаем заново, и они могут искажаться. Это не повод оправдывать ошибки ИИ, но вывод отсюда полезный.
Как и с людьми, надёжность достигается не верой в исполнителя, а проверкой.
Как это выглядит на практике
В одном из наших проектов ИИ проверяет закупочную документацию. Вот какие ошибки нашлись на настоящих документах:
- считал 2026 год будущим и предлагал заменить верную ставку НДС;
- ссылался на постановления, которых нет в приложении;
- делал вывод, что ГОСТ отменён, только потому, что не нашёл его в базе;
- сообщал, что позиций нет в каталоге, хотя длинный перечень просто не поместился целиком.
Как мы это чинили, подробно написано в статье про ИИ в госуправлении.
Как бороться с галлюцинациями в рабочей системе
Промпт «не выдумывай» помогает мало. Работает устройство самой системы.
Как система ловит выдумку
- Дать данныеОтвет только по найденным документам
- Показать источникДокумент и раздел к каждому выводу
- Проверить кодомЦитата сверяется с оригиналом
- Разрешить «не знаю»Нет основания — нет ответа
- Человек решаетТам, где ошибка дорого стоит
- Отвечать по документам. Это подход RAG: сначала система находит нужный фрагмент, потом модель отвечает по нему. Простое объяснение есть в статье что такое RAG.
- Показывать источник. Если рядом с ответом видно документ и раздел, человек проверит его за секунды. Так устроен наш Flex Ассистент.
- Проверять программой, а не моделью. Есть ли такая цитата в документе, можно проверить без всякого ИИ. В закупочном проекте вся цитата сверяется с оригиналом, а цены в нашем ассистенте продаж берутся только из настроек, и суммы не из прайса ловит простая проверка.
- Считать кодом. Арифметику и формулы лучше считать программой. Когда мы перевели оценку в одном из наших ботов на расчёт по формулам, ответы стали стабильными: те же данные завтра дают те же цифры.
- Передавать контекст. Текущая дата, единицы измерения, тип документа. Значительная часть странных ошибок идёт отсюда.
- Проверять второй моделью. В автоматическом режиме нашего ассистента продаж черновик перед отправкой проверяет другая модель. Это не гарантия, но ещё один фильтр.
- Собирать контрольные примеры. Каждую найденную ошибку стоит превращать в автотест, чтобы при следующих правках она не вернулась.
Где это опасно, а где нет
Что делать с ответом ИИ
Легко проверить
Трудно проверить
Ошибка стоит дорого
ИИ готовит, человек проверяетДоговоры, документы, закупки
Не отдавать ИИ решениеДиагнозы, решения о людях, право
Ошибка стоит мало
Можно на автоматЧерновики, сводки, сортировка
Использовать как идеюВарианты, мозговой штурм
Как проверить ответ нейросети самому
- Откройте источник. Не верьте ссылке на слово, а откройте её и найдите фразу. Выдуманные ссылки встречаются часто.
- Спросите иначе и в новом чате. Если факт настоящий, ответ обычно повторяется. Если выдуманный, он часто меняется.
- Проверьте цифры отдельно. Пересчитайте на калькуляторе или в таблице.
- Не спорьте. В споре модель либо упрётся, либо извинится и придумает новое. Лучше дать ей документ и попросить ответить только по нему.
- Покажите тому, кто разбирается. Заметить ошибку может только человек, понимающий тему. Поэтому мы и нанимаем тех, кому есть на чём проверять.
