Что логировать в продакшне, чтобы разбирать сбои языковой модели
17 дней назад
Никита Вихров
Ответы
0
Что логировать в продакшне, чтобы разбирать сбои языковой модели
Без журналирования нельзя понять, почему модель выдала плохой ответ, когда это началось и что именно нужно исправить.
Минимально необходимые данные в каждой записи
- Время запроса.
- Версия запроса (системной инструкции).
- Текст пользователя.
- Ответ модели.
- Модель и параметры.
- Число использованных токенов.
- Время выполнения.
- Ошибка (если была).
Пример структуры записи
Что делать с журналом
- Считайте долю ошибок и медианное время ответа по версиям запроса.
- Помечайте плохие ответы вручную — это основа для проверочного набора.
- Отслеживайте стоимость по числу токенов в разрезе версий и задач.
- Настройте оповещение, если доля ошибок за последний час превысила порог.
Правила
- Никогда не логируйте пароли, токены доступа и персональные данные в открытом виде.
- Идентификатор запроса передавайте пользователю как код ошибки — удобно при обращениях.
- Храните журнал отдельно от основной базы: объём быстро растёт.
17 дней назад
Никита Вихров
Похожие вопросы
108813 г. Москва, вн.тер.г. поселение Московский,
г. Московский, ул. Солнечная, д. 3А, стр. 1, помещ. 20Б/3
ОГРН 1217300010476
ИНН 7325174845





