Почему ИИ уверенно отвечает неправильно?

Почему ИИ уверенно отвечает неправильно

Одна из самых раздражающих особенностей языковых моделей: они не говорят «не знаю». Вместо этого генерируют убедительный, хорошо структурированный, абсолютно неверный ответ.

Почему так происходит

Языковая модель не ищет истину — она предсказывает наиболее вероятный следующий токен. С её точки зрения нет разницы между «правдой» и «правдоподобным текстом». Оба варианта выглядят одинаково с позиции предсказания токенов.

Представьте человека, который прочитал миллион книг, но никогда ничего не проверял на практике. Он может уверенно рассуждать обо всём, при этом иногда смешивать факты, выдумывать детали и не подозревать об этом.

Где модели ошибаются чаще всего

Конкретные цифры и даты. «Библиотека X выпустила версию 3.2 в марте 2023» — звучит конкретно, но может быть полностью выдумано.

Несуществующие методы и API. Модель знает, как должна выглядеть функция в этой библиотеке, и генерирует правдоподобное название — которого не существует.

Ссылки на источники. Просите модель дать ссылку — она часто выдаёт правдоподобный URL, которого нет.

Недавние события. Знания модели ограничены датой обучения. Всё что после — она не знает, но может «додумать».

Узкоспециализированные темы. В медицине, праве, нишевых технологиях — данных меньше, ошибок больше.

Почему модель не говорит «не знаю»

RLHF-обучение: разметчики оценивали ответы, и уверенные полные ответы исторически получали более высокие оценки, чем честное «не уверен». Модель выучила: признавать неопределённость = получить низкую оценку.

Современные модели стали лучше в этом — Claude и GPT-4 чаще признают неопределённость, чем ранние версии. Но проблема не исчезла.

Как снизить риск

Просите указывать уверенность:

Проверяйте конкретику: любые версии, даты, названия методов — проверяйте в официальной документации. Модель хороша для направления поиска, но не для точных фактов.

Используйте модели с поиском (web search) для вопросов, где важна актуальность.

Задавайте уточняющие вопросы:

Иногда модель сразу поправляет себя.

Если коротко: модель уверена не потому что права, а потому что обучена генерировать уверенный текст. Относитесь к её ответам как к очень умному коллеге, который иногда что-то придумывает — полезно, но требует проверки.