Что такое prompt injection

Что такое prompt injection

Prompt injection — это атака, при которой злоумышленник встраивает инструкции в данные, которые обрабатывает модель, чтобы изменить её поведение.

Пример: вы сделали агента, который читает письма и кратко их пересказывает. Злоумышленник присылает письмо с текстом:

Если агент не защищён — он выполнит инструкцию из письма.

Два вида атак:

• Прямая — пользователь сам пишет вредоносный промпт
• Косвенная — вредоносные инструкции спрятаны в данных, которые агент читает (письма, документы, веб-страницы)

Как защититься:

• разделять системные инструкции и пользовательские данные
• не давать агенту лишних прав (принцип минимальных привилегий)
• валидировать действия перед выполнением

Актуально для всех, кто строит агентов или автоматизирует задачи с помощью ИИ.