Когда-то с промптами обращались как с копирайтингом на кофеине. Сейчас это ближе к проектированию правил. Задать задачу, обозначить границы, показать образец, сверить результат с реальностью. Магическая формулировка так и не пришла.
Промпт перестал быть продуктом сам по себе
В современной системе промпт — один слой среди нескольких. Системная инструкция. Постановка пользовательской задачи. Найденный контекст. Примеры. Настройка инструментов. Схема ответа. Evals и внешние проверки.
Поэтому работа с промптами всё меньше напоминает подбор красивых слов. Скорее она похожа на эксплуатацию многослойного контракта.
Промпт как подбор слов
Команда крутит формулировки, пока ответ не начинает звучать лучше.
- стиль доминирует над обсуждением
- примеры считают опциональными
- форма ответа размыта
- регрессии ловят слишком поздно
Промпт как рабочие правила
Промпт становится одним из управляемых слоёв в более широкой системе.
- инструкции узкие и явные
- примеры показывают целевое поведение
- схемы делают ответ проверяемым
- evals решают, помогло ли изменение
Ясные инструкции по-прежнему выигрывают
Самый живучий совет в этой области и самый скучный. Инструкции должны быть ясными и конкретными.
Модель должна понимать, какую роль играет, в чём задача, какие ограничения важны, как должен выглядеть ответ, что делать, если задача сформулирована недостаточно точно. Ясность переживает остроумие.
Хороший пример полезнее ещё одного абзаца
Сильные примеры сжимают желаемое поведение в нечто видимое. Они показывают формат, нужную краткость, манеру отказа, способ цитирования, границы стиля.
Если примеры хороши, часть инструкций можно сократить.
Структура сильнее вайба
Документация Anthropic про промпты раз за разом советует одну и ту же скучную подборку. Ясность. Примеры. Явная структура. Ролевой prompt. Размышление. Prompt chaining там, где это действительно помогает.
Я предпочитаю промпты, в которых каждый слой видно отдельно.
<role>You are a grounded assistant for production AI operations.</role>
<constraints>
- Use only retrieved context for factual claims.
- If support is missing, say so directly.
</constraints>
<context>[retrieved evidence]</context>
<task>[user question]</task>
<output_format>[exact shape]</output_format>Идеальной модель от этого не становится. А вот её сбои становятся разборчивыми.
Инструменты и формат ответа значат не меньше формулировок
Качество промпт-системы во многом решается за пределами фраз.
В продакшене многое зависит от того, какие инструменты доступны, насколько узко описаны их контракты, насколько строгая схема у ответа, разрешено ли системе честно отказаться.
Поэтому разговоры про промпты постепенно смешиваются с требованиями продукта и дизайном интерфейса. Красивый промпт, положенный на рыхлые инструменты и расплывчатый ответ, ведёт себя ровно так же рыхло.
Преобразование запроса — про поиск, не про магию
Любое улучшение поиска или роутинга рано или поздно объявят «прорывом в промптах». Обычно это ошибка категории.
Rewrite, decomposition, step-back prompting и похожие техники могут помогать поиску. Это слой управления поиском со своей ценой по задержке. Так и стоит их оценивать. Оставлять, когда они окупаются. Без мифологии.
Изменения в промпте — как изменения в коде
В свежих материалах OpenAI про evals напрашивается один вывод. Если ответ важен, изменения в промпте живут в той же культуре измерения, что и изменения в коде.
Каждое заметное изменение должно отвечать на четыре вопроса. Какое поведение хотим улучшить. Какой eval set должен сдвинуться. Какая новая поломка может появиться. Как теперь выглядит «хуже».
Если ни один из них не меряется, команда спорит о вкусе.
Хороший промпт делает четыре вещи одновременно
Сужает задачу. Сужает форму ответа. Сужает свободу модели в условиях неопределённости. Оставляет достаточно гибкости для полезной части работы.
Пропускать одну — система плывёт. Пропустить две — можно было поле и не заполнять.