Статья
Практический разбор: prompt injection, лишняя автономия, опасные ответы, evals и внятные границы для LLM-продукта.
Большинство LLM-продуктов ломается вовсе не оттого, что про безопасность забыли произнести вслух. Просто разговор о ней так и остался слайдом, пока система жила своей жизнью.
Одни услышат слово safety и потянутся за папками с правилами. Другие услышат и подумают про цензуру. Ни то, ни другое здесь не работа.
В продуктовых терминах список длиннее и должен быть длиннее. Что системе позволено видеть. Что ей позволено делать. Что ей позволено утверждать. От чего обязана отказаться. Как ошибки наблюдаются и локализуются. Каждый пункт — место, где надо что-то конкретное написать.
Хорошая работа по безопасности в коде выглядит скучно. Узкие права. Понятные точки согласования. Безопасные значения по умолчанию. Трассируемые действия. Релизные гейты вокруг редкого действия, которое умеет дорого сломать. В этой скуке весь смысл.
OWASP по-прежнему открывает свой LLM-список с prompt injection. Так и должно быть. Слишком многие системы доверяют тексту, который читает модель, больше, чем стоило бы.
Правило короткое.
Недоверенный контент не имеет права переопределять инструкции системы или её права.
Подгруженные документы, письма, веб-страницы, любой внешний источник. В чувствительных сценариях по умолчанию — враждебны. Модель имеет право прочитать документ. Документ не имеет права переписывать политику.
OWASP теперь называет excessive agency прямо. Давно пора.
Дело никогда не было в самой агентности. Дело в широких правах рядом с расплывчатыми границами и слабым контролем. Эта тройка ломает даже там, где с моделью всё в порядке.
Здоровый контур уже. Узкие права у инструментов. Типизированные контракты. Явные согласования для необратимых действий. Обратимые операции, где такой выбор есть. Телеметрия на каждое внешнее действие.
Если система умеет отправлять письма, покупать, удалять, деплоить или менять записи, модель прав — это инфраструктура продукта. Не приписка к промпту.
Опасный ответ — не только грубый или токсичный текст. Это и кривой JSON, ушедший в рабочий контур. Совет по коду или SQL, попавший в путь исполнения без проверок. Уверенное юридическое или медицинское утверждение без основания. Ссылка или команда, получившая слишком много доверия из-за интерфейса.
Поэтому категории OWASP про insecure output handling и sensitive information disclosure остаются практичными. Ответ — место, где расплывчатая модель встречается с буквальной системой. У этой встречи должен быть надзиратель.
Не вся защита должна жить на критическом пути.
Здесь то, что предотвращает немедленный вред. Границы прав. Проверка схемы ответа. Согласование для опасных действий. Жёсткие блоки на известные запрещённые паттерны.
Сюда — то, что медленнее или шумнее. Глубокий red-team анализ. Трендовый мониторинг. Judge-модельные оценки. Широкий разбор аномалий.
Команды часто соединяют это наоборот. Либо забивают критический путь дорогими проверками, либо оставляют опасное поведение тихо ждать постмортема.
История про безопасность должна выдерживать встречу с настоящим набором evals.
Полезные кейсы. Попытки prompt injection. Сценарии необоснованных утверждений. Опасные предложения вызова инструментов. Попытки вытащить чувствительные данные. Отказные сценарии по правилам. Границы эскалации.
Свежие тексты Anthropic про evals для агентов возвращаются к одной дисциплине. Описать задачу, описать грейдинг, мерить регулярно. Безопасность сильно улучшается в момент, когда перестаёт звучать как ритуал и начинает выглядеть как дизайн проверок.
Панель, которая сообщает, что случилось что-то плохое, лучше, чем ничего. Панель, которая объясняет почему — то, что хочется иметь в два часа ночи.
Что хочется видеть про реальный инцидент. Какой запрос вызвал поведение. Какой контекст был у модели. Какой инструмент система пыталась вызвать. Какое правило или точка согласования сработали. Что в итоге увидел пользователь или внешняя система.
Без этого разбор превращается в археологию с худшим настроением.
Системы, которым я доверяю, не выглядят параноидально. Выглядят дисциплинированно.
Они не обещают невозможного. Не рассказывают, что модель теперь «безопасна» в каком-то мистическом смысле. Просто уменьшают число способов, которыми система умеет дорого сломаться. Это и есть большая часть работы.
Если бы пришлось ужесточать LLM-продукт в этом месяце, порядок такой.
Церемония подождёт. Контроль — нет.
