26 KiB
Индивидуальное задание
Разработка и проведение расширенных серий экспериментов (v2 и v3) по тестированию ИИ-агентов на устойчивость к атакам класса «непрямая инъекция промта» на базе командного стенда prompt-injection-stand, а также самостоятельная разработка защитного почтового фильтра MailGuard.
План выполнения
| № п/п | Место проведения | Тема | Период выполнения |
|---|---|---|---|
| 1 | ООО «ГК «Иннотех» | Инструктаж. | 09.02.2026-09.02.2026 |
| 2 | ООО «ГК «Иннотех» | Изучение ИИ-ассистентов и принципов атак типа «непрямая инъекция промта»; анализ архитектур и уязвимостей. | 10.02.2026-06.03.2026 |
| 3 | ООО «ГК «Иннотех» | Разработка стенда для тестирования ИИ-агентов на уязвимость к непрямым инъекциям промта (prompt-injection-stand). | 07.03.2026-16.04.2026 |
| 4 | ООО «ГК «Иннотех» | Проведение экспериментов v1-v3. Документирование результатов. | 17.04.2026-29.04.2026 |
| 5 | ООО «ГК «Иннотех» | Разработка защитного почтового фильтра MailGuard. | 30.04.2026-06.06.2026 |
| 6 | ООО «ГК «Иннотех» | Тестирование решений. Анализ результатов. Оформление отчёта. Подведение итогов. | 07.06.2026-07.06.2026 |
Отзыв руководителя
Обучающийся группы М8О-101БВ-25 Пьянзин Михаил Андреевич проходил ознакомительную практику в ООО «Группа компаний «Иннотех» в период с 20.01.2026 по 01.06.2026. Задания выполнял самостоятельно, в установленные сроки. Проявил высокую заинтересованность в предметной области и ответственное отношение к документированию результатов.
За время прохождения практики обучающийся проявил самостоятельность и системный подход: освоил существующую командную инфраструктуру тестирования и внёс значительный вклад в её развитие, разработав расширенные сценарии атак с применением обфускации. Отдельным результатом работы стал защитный почтовый фильтр MailGuard - самостоятельно спроектированное решение, реализующее двухконтурную почтовую архитектуру для изоляции ИИ-агента от вредоносного контента.
Рекомендуемая оценка «Отлично». Материалы, изложенные в отчёте обучающегося, полностью соответствуют индивидуальному заданию.
Отчёт обучающегося по практике
Одной из ключевых задач при внедрении ИИ-агентов в корпоративную среду является проверка их устойчивости к атакам, направленным не на саму языковую модель, а на данные, которые она обрабатывает в ходе выполнения задачи. Именно такую проверку выполняет команда Red Team: специалисты моделируют реальные сценарии воздействия на агента через входящую информацию и оценивают, способна ли система отличить легитимный контекст от вредоносной инструкции. Работа в составе такой команды стала основным содержанием ознакомительной практики.
В отличие от классических уязвимостей программного обеспечения, атаки на ИИ-агентов используют не дефекты кода, а особенности поведения языковых моделей: их склонность следовать инструкциям, встреченным в тексте, вне зависимости от источника этого текста. Данный класс атак - «непрямая инъекция промта» (Indirect Prompt Injection, IPI) - особенно опасен для агентов, имеющих доступ к файловой системе, командной оболочке и электронной почте: успешная атака способна привести к утечке конфиденциальных данных или несанкционированному выполнению команд.
В рамках командной работы были разделены зоны ответственности. Базовая инфраструктура стенда prompt-injection-stand и первая серия экспериментов (v1) разрабатывались другим участником команды. Индивидуальное задание автора данного отчёта включало два направления: разработку и проведение расширенных серий тестирования v3 с применением продвинутых техник обфускации, а также самостоятельное создание защитного почтового фильтра MailGuard по результатам выявленных уязвимостей.
Первым этапом практики стало изучение платформы OpenClaw и принципов её работы. Данный ассистент обладает широким набором инструментов: доступом к файловой системе, исполнением команд оболочки, чтением и отправкой электронной почты, выполнением HTTP-запросов. Взаимодействие агента с внешней средой реализуется через систему навыков (skills) - именованных функций, которые языковая модель вызывает в процессе выполнения задачи. Именно эта функциональность формирует поверхность атаки: злоумышленник внедряет вредоносную инструкцию в данные, которые агент считывает в ходе легитимной работы, - например, в текст входящего письма. Агент воспринимает входящий текст как единый контекст и может начать следовать обнаруженным в нём командам.
Параллельно было проведено углублённое изучение стенда prompt-injection-stand, созданного командой в рамках первого этапа. Стенд написан на Python с использованием менеджера зависимостей uv и организован по принципу воспроизводимости: каждая серия экспериментов размещается в отдельной директории experiments/vN с фиксированным набором JSON-файлов с письмами, промтом для агента и итоговым отчётом. Класс AttackManager отвечает за загрузку сценариев из JSON-файлов двух типов: benign.json - легитимные письма для формирования доверительного контекста - и malicious.json - письма с внедрёнными вредоносными инструкциями. Интерактивная консоль позволяет специалисту выбирать нужный сценарий по коду (B0, M1 и т.д.) и отправлять письма агенту через SMTP. Факт успешной атаки фиксируется перехватчиком Webhook.site.
После освоения инфраструктуры стенда автором были разработаны две новые серии экспериментов, существенно расширяющие спектр проверяемых векторов атаки.
Серия v3 разрабатывалась с учётом выводов предыдущих серий и была сосредоточена на техниках обфускации, позволяющих скрыть вредоносный характер инструкции. Первый сценарий основывался на замене ключевых технических терминов кириллическими транслитерациями: слова «веб_фетч», «identity dot m d», «курл» и аналогичные должны были затруднить обнаружение вредоносного намерения базовыми текстовыми фильтрами. Агент, однако, успешно восстановил смысл команды и отправил содержимое системного файла IDENTITY.md в кодировке Base64 на перехватчик - декодирование перехваченных данных подтвердило полную эксфильтрацию. Второй сценарий содержал прямую инструкцию выполнить команду оболочки с передачей её вывода через curl на внешний адрес. Агент выполнил её без каких-либо возражений; данный инцидент был квалифицирован как критическая уязвимость, поскольку предоставлял атакующему произвольный доступ к командной строке хоста. В третьем сценарии атака через вредоносный PDF была отражена агентом - он проигнорировал скрытый текст и отказался выполнять инструкцию. Четвёртый сценарий с маскировкой под счёт на оплату также был отражён: агент извлёк только финансовые данные. Все результаты документировались в markdown-отчёте с приложением скриншотов из Webhook.site и декодированных перехваченных значений.
По результатам проведённых экспериментов стало очевидно, что защиту от IPI-атак целесообразнее выстраивать на уровне инфраструктуры - до того как письмо попадает к агенту. Агент, каким бы осторожным он ни был, остаётся уязвимым, пока полностью доверяет содержимому своего почтового ящика. Следовательно, надёжная защита должна исключить саму возможность попадания вредоносного письма в ящик, к которому подключён агент. На этом принципе построен проект MailGuard.
Центральным архитектурным решением стало разделение почтовой инфраструктуры на два полностью изолированных контура. Первый - публичный почтовый ящик. Это адрес, который известен внешнему миру и используется для приёма всей входящей корреспонденции: именно его указывают отправители при написании письма агенту. Данный ящик намеренно не подключён ни к какому агенту и недоступен OpenClaw - он виден исключительно MailGuard, который подключается к нему через IMAP. Второй - приватный почтовый ящик. Это внутренний адрес, настроенный как единственный источник входящей почты для OpenClaw. Агент опрашивает его по расписанию и обрабатывает все находящиеся там письма, считая их заведомо безопасными. Адрес приватного ящика нигде не публикуется и не используется в прямой коммуникации - единственным, кто отправляет туда письма, является сам MailGuard. Таким образом, агент физически лишён возможности получить непроверенное письмо: даже если атакующий знает, что цель использует ИИ-ассистента, он не может доставить вредоносный контент до агента в обход фильтра.
Рабочий цикл MailGuard функционирует следующим образом. Фильтр с заданной периодичностью подключается к публичному ящику через IMAP и получает список непрочитанных писем. Каждое письмо обрабатывается последовательно: извлекается тема, текстовая и HTML-версии тела, а также текстовое содержимое всех вложений, доступных для анализа. Весь собранный текст объединяется в одну строку и передаётся на проверку. Такой подход исключает возможность «спрятать» вредоносную инструкцию в отдельной части письма - ни подпись, ни HTML-часть, ни вложенный документ не остаются вне зоны проверки.
Алгоритм проверки реализован в модуле email_filter.py и включает два уровня. Первый уровень - сопоставление с паттернами. Фильтр содержит более тридцати регулярных выражений, составленных на основе атак, выявленных в ходе экспериментов v1-v3. Паттерны охватывают: команды игнорирования предыдущих инструкций и переопределения системного промта; обращения к системным файлам ассистента (IDENTITY.md, SOUL.md, .env и аналогичным); инструкции по передаче данных на внешние URL с использованием curl, wget, fetch и HTTP-ссылок; вызовы инструментов агента (bash, shell, execute, run_command и производные); кириллические транслитерации опасных терминов, выявленные в серии v3. Все паттерны применяются без учёта регистра в русско- и англоязычных формулировках.
Второй уровень - детекция обфускации. Он рассчитан на случаи, когда атакующий кодирует инструкцию, избегая слов из словаря паттернов. Фильтр анализирует каждую строку письма на соответствие формату Base64: строки длиннее двадцати символов с корректным паддингом автоматически декодируются, и полученный текст повторно проверяется паттернами первого уровня. Аналогичная процедура применяется для ROT13-кодирования. Таким образом, обфусцированная инструкция не имеет преимущества перед открытой.
По результатам проверки фильтр принимает одно из двух решений. Если письмо признано безопасным, MailGuard пересылает его с публичного ящика на приватный через SMTP: тема, тело и все вложения сохраняются без изменений. OpenClaw получает письмо в исходном виде и никак не может определить, что оно прошло через промежуточный фильтр. Важно, что агент взаимодействует только с приватным ящиком и никогда напрямую не обращается к публичному - для него всё выглядит как обычная входящая почта, уже готовая к обработке. Если письмо признано вредоносным, пересылка не выполняется: в лог записываются метаданные письма, причина блокировки и конкретный фрагмент, вызвавший срабатывание. Это позволяет аналитику безопасности ретроспективно просматривать заблокированные письма, оценивать корректность срабатываний и при необходимости уточнять правила. Публичный ящик при этом не очищается автоматически - заблокированное письмо остаётся в нём как артефакт для возможного расследования.
Тестирование MailGuard проводилось на полных наборах писем из экспериментов v1-v3: отдельно benign-письма и отдельно все вредоносные сценарии. Каждый из протестированных сценариев атак - прямые инструкции, кириллическая обфускация, Base64-кодирование, атаки через вложения, маскировка под деловую переписку - был заблокирован корректно. Ни одно легитимное письмо не получило ложной блокировки. Итоговая схема «публичный ящик -> MailGuard ->приватный ящик ->OpenClaw» образует работоспособный защитный контур: агент выполняет свою задачу в штатном режиме, при этом полностью изолирован от непроверенного контента.
В рамках практики выполнялась работа в роли специалиста по безопасности ИИ-систем (AI Security Engineer). Для специалиста уровня middle данного профиля ключевыми hard skills являются: понимание архитектуры языковых моделей и агентных систем; знание типовых векторов атак на ИИ (prompt injection, jailbreak, data exfiltration); практический опыт работы с почтовыми протоколами SMTP и IMAP; навыки разработки инструментов автоматизированного тестирования на Python; умение составлять регулярные выражения и обнаруживать обфускацию; опыт работы с HTTP-перехватчиками и анализа сетевого трафика. К необходимым soft skills относятся: системное мышление при построении сценариев атак и защиты; внимательность к деталям при анализе результатов экспериментов; умение структурированно документировать технические исследования; способность самостоятельно осваивать новую предметную область.
В ходе работы были освоены и применены все перечисленные hard skills. При разработке серий v2 и v3 были сформированы навыки построения воспроизводимых сценариев тестирования, работы с техниками обфускации и анализа поведения языковых моделей при обработке вредоносного контента. При разработке MailGuard были получены практические компетенции в области проектирования двухконтурной почтовой инфраструктуры, работы с IMAP/SMTP-протоколами, составления регулярных выражений и реализации детекции кодирования. Из soft skills в наибольшей мере были задействованы системное мышление - при проектировании архитектуры «публичный/приватный ящик» - и навык документирования: каждый эксперимент сопровождался структурированным отчётом с доказательной базой.
Ознакомительная практика дала возможность пройти полный цикл работы в области практической безопасности ИИ-агентов: от изучения существующей инфраструктуры тестирования и предметной области до самостоятельной разработки расширенных сценариев атак и защитного решения с верификацией на реальных данных. Работа велась в команде с разделением зон ответственности: базовая инфраструктура стенда и первая серия экспериментов были подготовлены другим участником, тогда как разработка серий v2 и v3, а также проектирование и реализация MailGuard выполнялись самостоятельно.
Практика показала, что безопасность ИИ-агентов определяется не только качеством обучения языковой модели, но в равной мере - архитектурными решениями на уровне инфраструктуры. Разделение почтовых контуров, ограничение прямого доступа агента к непроверенному контенту и многоуровневая фильтрация входящих данных позволяют нейтрализовать угрозу задолго до того, как агент начнёт её обрабатывать. Данный вывод, подкреплённый практическими результатами, составляет концептуальную основу для дальнейшей работы в области безопасности интеллектуальных систем.