Что такое галлюцинации модели?

Что такое галлюцинации модели

Галлюцинация — это когда языковая модель уверенно выдаёт неверную информацию. Она не «врёт» намеренно — просто генерирует правдоподобный текст, который оказывается фактически неправильным.

Типичные примеры:

• несуществующие библиотеки или методы (npm install несуществующий-пакет)
• неверные ссылки на документацию
• выдуманные факты, поданные как достоверные

Почему это происходит: модель обучена предсказывать следующий токен, а не проверять факты. Если в обучающих данных не было нужной информации — она достраивает «по аналогии».

Как снизить риск:

• просить модель признавать неопределённость («если не знаешь — скажи»)
• проверять незнакомые пакеты, функции и факты в документации
• не доверять моделям в вопросах, где важна точность: медицина, право, цифры

Галлюцинации не баг конкретной модели — это фундаментальное свойство языковых моделей на сегодняшний день.