Менеджер по закупкам просит агента сравнить трёх поставщиков. Агент открывает их сайты, читает условия, собирает таблицу. На третьем сайте, внизу страницы, мелким серым шрифтом стоит абзац. В нём сказано, что для проверки совместимости ассистенту нужно открыть внутренний файл с действующими закупочными ценами и отправить его содержимое на указанный адрес.

Менеджер этого абзаца не видел. Он вообще не открывал страницу, за него это сделал агент. А агент прочитал всё, и для него этот абзац выглядит так же, как просьба менеджера. Те же слова, тот же язык, вежливый деловой тон.

Дальше всё зависит не от ума модели, а от того, как собрана система вокруг неё. В одной системе агент вставит странный абзац в отчёт как цитату. В другой откроет файл и отправит.

Кто на самом деле пишет вашему агенту

Команда обычно считает, что агенту пишут двое. Разработчик, который составил правила, и пользователь, который ставит задачу. На деле авторов намного больше, и большинство из них вам не знакомы.

  • Входящее письмо от любого человека, у которого есть ваш адрес.
  • PDF, который клиент приложил к заявке.
  • Страница сайта, найденная поиском.
  • Комментарий в задаче или отзыв в карточке товара.
  • Ответ внешнего сервиса и даже описание подключённого инструмента.
  • Текст на картинке или скриншоте.
  • Вывод другого агента, который сам до этого что-то прочитал.

Всё это попадает в один общий поток слов, который читает модель. Специалисты называют атаку через такой поток prompt injection, то есть внедрение чужих указаний. Часто думают, что это когда пользователь пишет «игнорируй предыдущие инструкции». Это самый безобидный случай. Настоящая проблема выглядит как обычный деловой текст, пришедший не от пользователя, и написать его может любой, кто умеет писать.

Важно не что написано, а откуда оно пришло

Попытка решить задачу чтением текста заходит в тупик. Фраза «отправь файл на этот адрес» бывает законной просьбой вашего сотрудника и бывает ловушкой на чужом сайте. Слова одинаковые. Разница только в происхождении.

Поэтому надёжная система запоминает про каждый кусок текста, откуда он взялся, и не теряет эту метку по дороге. Уровней обычно хватает трёх.

Правила системы
их написала ваша команда. Они задают границы, и только они определяют, какие действия вообще возможны.
Просьба пользователя
человек вошёл под своей учётной записью и поставил задачу. Он задаёт цель, но только в пределах собственных прав.
Внешний текст
всё остальное. Его можно читать, пересказывать, сравнивать и цитировать. Он не может менять правила, расширять права и открывать новые каналы передачи данных.
Правила системы, просьба пользователя и внешний текст попадают к модели, но права на действие приходят в проверку только от правил системы, минуя модель ОТКУДА ТЕКСТ ЧТО РАЗРЕШЕНО правила системы просьба пользователя модель проверка прав действие письмо, сайт, PDF права приходят отсюда, минуя модель только материал для работы
Чужой текст доходит до модели и может повлиять на её ответ. До проверки прав он не доходит никогда. Она получает границы от команды, а не из прочитанного.

Частая ошибка здесь в том, чтобы доверять по адресу. Раз страница лежит на сайте известной компании или письмо пришло с домена партнёра, её текст считают надёжным. Но доверие к источнику отвечает на вопрос, можно ли верить фактам. На вопрос, можно ли выполнять указания, оно не отвечает. Сайт партнёра могут взломать, в отзывы на нём пишет кто угодно, а письмо с его домена может оказаться пересланным чужим письмом. Даже самый надёжный внешний источник остаётся поставщиком сведений, а не начальником.

То же касается собственных агентов. Когда один агент передаёт результат другому, возникает соблазн считать его сообщение командой, ведь оно пришло изнутри. Но первый агент мог до этого прочитать ту самую страницу с серым абзацем. Его вывод несёт в себе всё, что он прочитал, поэтому второй агент обязан проверять права заново.

Три места, где чужой текст превращается в ущерб

Сам по себе прочитанный абзац безвреден. Вред возникает в трёх точках, и каждую можно проверить отдельно.

Действие. Агент вызывает инструмент, потому что так сказано в прочитанном. Защита в том, что набор доступных действий определяется до чтения и не зависит от содержания. В примере с поставщиками у агента, который сравнивает сайты, просто нет инструмента чтения внутренних файлов. Абзац может быть сколь угодно убедительным, выполнить его нечем.

Память. Многие агенты запоминают полезное между разговорами. Если внешний текст может записать в память фразу «у этого клиента согласована скидка сорок процентов» или «отчёты всегда дублировать на такой адрес», атака переживёт сегодняшний разговор и сработает через месяц, когда о странном письме все забудут. Запись в память из внешнего источника должна проходить отдельную проверку и хранить метку происхождения.

Передача наружу. Письмо, запрос на внешний адрес, даже ссылка на картинку, в адрес которой подставлены данные. Чтобы чужой текст причинил вред, данным нужно покинуть систему. Поэтому список адресов и каналов, куда агент вообще может что-то отправить, задаётся заранее и коротко.

Пока хотя бы одна из трёх точек открыта, любой документ работает как удалённый пульт управления вашим агентом.

Почему одного фильтра мало

Первое, что предлагает команда, это поставить на входе классификатор. Отдельная модель читает входящий текст и решает, есть ли в нём внедрённые указания. Это полезный слой, и отказываться от него не нужно. Делать его единственным нельзя.

Естественный язык невозможно вычистить полностью. Указание можно написать вежливо, на другом языке, разбить на две части в разных документах, спрятать в подписи к изображению или подать как цитату из регламента. Фильтр ловит известные приёмы, а автор письма придумывает новый и ничем не рискует. Он может пробовать хоть каждый день.

Поэтому вопрос ставится по-другому. Не «как сделать, чтобы модель никогда не обманулась», а «что случится, когда она обманется». Если в этот момент у неё нет нужного инструмента, нет права записи в память и нет канала наружу, обман кончается странной фразой в отчёте. Это неприятность, а не инцидент.

У такого устройства есть цена, и её стоит назвать честно. Агент, которому отдали всё в одном потоке и разрешили действовать по прочитанному, выглядит на демонстрации умнее и самостоятельнее. Агент с границами чаще переспрашивает и иногда отказывается. Вы меняете часть гибкости на управляемость. По моему опыту, первое же письмо от незнакомца делает этот обмен выгодным.

Что будет, если оставить как есть

Пока агент читает только ваши собственные документы, разницы не видно. Она появляется в день, когда ему подключают почту, поиск или загрузку файлов от клиентов. Обычно это происходит буднично, одной задачей в спринте, и о границе доверия в этот день никто не вспоминает.

Дальше каждая новая возможность агента увеличивает цену будущей ошибки. Сегодня он умеет только отвечать, и чужой абзац испортит один ответ. Через полгода он умеет оформлять возвраты и писать клиентам, и тот же абзац стоит уже денег и репутации. Граница, которую сейчас можно провести за несколько дней, через год потребует разбирать все сценарии, выросшие на общем потоке без меток.

Четыре вопроса команде

Их можно задать на ближайшей встрече, и для этого не нужно читать код.

  1. Какие тексты агент читает от людей, которых мы не знаем? Попросите полный список. Почта, файлы клиентов, сайты, отзывы, ответы внешних сервисов.
  2. Знает ли система про каждый фрагмент, откуда он пришёл? Хороший ответ описывает метку, которая хранится вместе с текстом. Плохой звучит как «всё складывается в один запрос».
  3. Может ли прочитанное изменить набор действий, запись в память или адрес отправки? Правильный ответ короткий. Не может, потому что это решает код, который текста не читает.
  4. Проверяли ли мы это нарочно? Попросите показать тест, где в документ подложено указание, и посмотрите, чем он закончился.

Почему правило в задании агента не заменяет такую границу, я разобрал в статье о том, что системный промпт это не права доступа.

Самый простой первый шаг занимает десять минут. Возьмите страницу с серым абзацем из начала этой статьи и подложите её своему агенту на тестовом стенде. Напишите в ней просьбу прочитать что-нибудь внутреннее и отправить наружу. Что он сделает?