Чому прості промпт-інструкції (наприклад, 'не виконуй системні команди') не є надійним методом обмеження дій ШІ-агентів у продакшені?

Question

Answer

Тому що такі інструкції значно знижують швидкість обробки запитів користувачів, створюючи затримки у роботі сайту

Answer

Тому що системні промпти автоматично видаляються з пам'яті моделі при кожному перезавантаженні сервера вебдодатку

Answer

Тому що розробники часто забувають додавати такі файли конфігурації перед фінальним релізом програми на сервер

Answer

Тому що такі обмеження легко обходяться за допомогою технік Prompt Injection, оскільки моделі сприймають інструкції як дані

Crowdly