На разборах я прошу команду открыть системный промпт агента. Так называют текст задания, который модель получает перед каждым разговором. Обычно это файл на сорок или шестьдесят строк, и читать его интересно, потому что в нём видна вся история продукта.

Сверху идут строки про тон. Отвечай вежливо, обращайся на «вы», не обещай сроков. Где-то в середине, тем же шрифтом и через запятую с остальным, стоят строки другого рода. Не удаляй данные без разрешения клиента. Не оформляй возврат больше пяти тысяч. Не показывай заказы других пользователей.

В файле они выглядят одинаково. По последствиям между ними пропасть. Если агент один раз из тысячи забудет про «вы», никто не заметит. Если он один раз из тысячи покажет чужой заказ, у вас инцидент с персональными данными. И вот вопрос, который я задаю дальше. Что, кроме этой строки текста, мешает ему это сделать?

Проверка одним вопросом

Правила в промпте делятся на два вида, и отличить их несложно.

Пожелание
описывает, как агенту себя вести. Тон, длина ответа, порядок уточнений, что предложить клиенту в первую очередь. Редкое нарушение портит один разговор.
Запрет
описывает, чего не должно случиться никогда. Удаление, деньги, чужие данные, отправка наружу, изменение прав. Одно нарушение уже событие, о котором придётся кому-то сообщать.

Вопрос для сортировки такой. Что произойдёт, если это правило будет нарушено один раз из тысячи разговоров? Если ответ «неловко», это пожелание. Если ответ начинается со слов «мы потеряем», «нам придётся вернуть» или «клиент узнает», это запрет, и текстом он держаться не должен.

Один раз из тысячи здесь не фигура речи. Модель вероятностная, она собирает ответ заново при каждом обращении и почти всегда следует заданию. При ста разговорах в день «почти всегда» означает несколько сбоев в месяц.

Почему строка в промпте не удержит запрет

Причин четыре, и команда обычно помнит только первую.

  • Строку можно понять иначе. «Без разрешения клиента» для модели может означать фразу «да, удаляйте» в переписке. От кого она пришла и на какие записи распространяется, текст правила не уточняет.
  • На модель влияет всё прочитанное. Письмо, документ, страница сайта попадают в тот же поток, что и задание. Свежий и настойчивый текст иногда побеждает давний и общий.
  • Поведение меняется вместе с моделью. Вы переходите на новую версию, потому что она дешевле или умнее, и все запреты, которые держались на привычках старой, нужно доказывать заново. Обычно этого никто не делает.
  • Строка не видит конкретный объект. Она говорит «не показывай чужие заказы», но не знает, чей заказ номер 48213. Это знает только база данных.

Последний пункт самый важный. Запрет почти всегда касается конкретного человека и конкретной записи, а промпт говорит обо всех сразу. Подробнее о том, почему задание агента не является механизмом, я писал в статье «Системный промпт это не права доступа». Здесь вопрос практический. Что делать с файлом, который уже есть.

Что спокойно остаётся в тексте

Не надо бросаться переносить в код всё подряд. У промпта есть работа, которую он делает лучше любой программы.

  • Тон, стиль и длина ответов.
  • Порядок разговора. Сначала уточнить номер заказа, потом искать.
  • Предпочтения. Сначала предложить обмен, потом возврат.
  • Знание о продукте, которое помогает отвечать по делу.
  • Объяснение ограничений, чтобы агент не обещал того, что система всё равно не позволит.

Последняя строка понадобится в конце. Запомните её.

Как переезжает один запрет

Возьмём фразу «не удаляй данные без разрешения клиента» и перенесём её из текста в систему. Я покажу ход рассуждения, потому что он одинаковый для любого запрета.

Сначала выясняем, чем агент вообще удаляет. Если у него есть общий доступ к базе, переносить некуда, и начинать надо с этого. Агент получает именованную операцию, например «запросить удаление заявки». Её написал программист, и внутри неё живут проверки.

Дальше фраза раскладывается на вопросы, на которые код отвечает сам, без модели.

  1. Кто просит? Операция получает пользователя из сессии, а не из текста разговора. Агент не может «назвать» другого клиента.
  2. Чьё это? Код проверяет, что заявка принадлежит именно этому пользователю. Чужая заявка для операции просто не существует.
  3. Сколько? Стоит предел. Например, не больше десяти записей за раз и не больше тридцати в сутки.
  4. Было ли разрешение? Разрешением считается не фраза в чате, а нажатие кнопки в интерфейсе, где человек видит список того, что будет удалено.
  5. Что осталось в журнале? Запрос, отказ или выполнение записываются, и отказы кто-то просматривает.

Фраза из семи слов превратилась в пять проверок. Каждая из них работает одинаково в каждом из тысячи разговоров, и ни одну нельзя переубедить. В этом весь смысл переезда.

Запрет в промпте Где он живёт после переезда
Не показывай чужие заказы Запрос к базе всегда ограничен текущим пользователем
Не делай возврат больше пяти тысяч Предел суммы внутри операции возврата
Не удаляй без разрешения Подтверждение кнопкой в интерфейсе
Не отправляй данные наружу Короткий список разрешённых адресов на уровне сети
Не меняй тарифы У агента нет такой операции
Не пиши клиентам ночью Проверка времени в операции отправки

Обратите внимание на предпоследнюю строку. Самый дешёвый способ перенести запрет в код это не дать агенту инструмент. Половина запретов из типичного промпта исчезает именно так.

Строка в промпте остаётся, но меняет работу

После переезда фразу из задания вычёркивать не нужно. Она перестаёт быть охраной и становится объяснением.

Агент, который знает, что возвраты больше пяти тысяч оформляет человек, сразу скажет клиенту «передам вашу заявку сотруднику». Агент, который этого не знает, попробует оформить, получит отказ от системы, попробует иначе и в итоге выдаст клиенту невнятное извинение. Граница одна и та же, а впечатление от продукта разное.

Промпт объясняет правила. Исполняет их код.

Отсюда простая проверка на зрелость. Сотрите мысленно весь промпт и спросите, что агент сможет натворить. Если ответ «будет грубить и путаться, но ничего не сломает», запреты у вас в правильном месте.

Сколько стоит отложить

Пока продукт в прототипе, текстовые запреты работают, и это создаёт ложное спокойствие. Разговоров мало, пользователи свои, модель одна и та же.

Потом происходят три обычных события. Растёт поток, и редкий сбой становится ежемесячным. Агенту подключают почту или файлы клиентов, и в его поток попадает чужой текст. Команда меняет модель, потому что вышла новая. Каждое из этих событий по отдельности выглядит как рутина, и ни одно не приходит с предупреждением о том, что запреты больше не держатся.

Есть и прямая экономика. Пока запреты живут в тексте, каждая смена модели требует перепроверять их все, и честно это делается неделями. Когда они в коде, смена модели меняет только качество ответов. Худшее, что может случиться, это агент станет чуть менее вежливым.

Переносить тоже дешевле сейчас. Сегодня у агента пять операций, и пять проверок пишутся за несколько дней. Через год операций двадцать, они выросли на общем доступе, и каждую придётся разбирать отдельно.

Упражнение на один час

Попросите команду распечатать промпт. Именно на бумаге, так удобнее. Возьмите два маркера.

Одним цветом отметьте пожелания, другим запреты. Вопрос для сортировки вы уже знаете. Что будет, если это нарушится один раз из тысячи.

Напротив каждого запрета напишите, что держит его кроме этой строки. Проверка в коде, предел, подтверждение, отсутствие инструмента. Или честное «ничего».

Строки с пометкой «ничего» и есть ваш список работ. Отсортируйте их по тому, насколько необратимо последствие, и начните с верхней. Сколько таких строк окажется в вашем файле?