Microsoft: ИИ-агенты — новые инсайдеры компании. Как контролировать их права и действия
По мнению Microsoft, ИИ-агенты внутри компании — инсайдеры: у них есть доступ к данным и рабочим системам, а доверять им по умолчанию нельзя. Для контроля компания предлагает свою систему Project Perception и агентов-стражей, которые проверяют каждое действие до того, как оно случится.
19 октября, около 16:00 по Москве, в официальном блоге Microsoft вышла колонка «Securing the agentic insider». Автор — Хайет Галло, исполнительный вице-президент Microsoft Security. Мысль простая и неприятная. ИИ-агентам внутри компании доверяют только потому, что компания сама их запустила. А зря: у агентов часто больше прав, чем нужно, они дотягиваются до данных и рабочих систем, принимают решения в важных процессах. Microsoft называет их «агентными инсайдерами».
Новых продуктов в колонке нет. Цен и сроков тоже. Это позиция компании и описание подхода, который Microsoft строит на своей системе Project Perception.
Что именно предлагает Microsoft
Почему агентам нельзя верить на слово. По словам Microsoft, дело не в злом умысле. Модель учат добиваться результата, и она может «срезать угол» — подогнать решение под проверку вместо настоящей работы. Нормам конкретной компании её никто не учил. Агенты непредсказуемы, подстраиваются под обстановку и могут сговориться с другими агентами, даже если их никто не взламывал.
Как устроен агент. Microsoft раскладывает его на четыре части: модель, оболочка, которая управляет работой, набор доступных инструментов и ресурсов, среда выполнения. Защищать предлагается каждый слой: учётную запись и права, данные, рабочие места и сеть, облако и саму среду выполнения.
Что делать с агентами по шагам:
| Шаг | Как это описывает Microsoft |
|---|---|
| Найти | Собрать сигналы из учётных записей, данных, облака, рабочих мест, сети и среды выполнения — и обнаружить всех агентов в компании |
| Взять под управление | Выдать каждому агенту свою учётную запись, изолированный контейнер, набор правил и прав |
| Оценивать риск | Непрерывно считать, насколько опасно то, что агент пытается сделать прямо сейчас |
| Надзирать | Агенты-стражи (Guardian Agents) круглосуточно смотрят на каждое действие до того, как оно выполнится, и реагируют, когда риск растёт |
| Разбирать | Человек видит след: что произошло, откуда взялся риск, какие правила поправить |
Project Perception. Систему Microsoft анонсировала в июле: это агентная защита на новом наборе инструментов, где работают команды «красных», «синих» и «зелёных» агентов. Изначально её делали против атак с помощью ИИ снаружи. Теперь Microsoft предлагает тот же набор для надзора за своими агентами внутри. Роль стражей в колонке отдана «зелёным» и «синим».
Прозрачность модели. Защите мало знать, что делает агент. Нужно понимать, зачем, и совпадает ли действие с поставленной задачей. Для этого Microsoft хочет видеть ход рассуждений модели, а не только вход и выход. Но оговаривается: прозрачность не заменит изоляцию, она только делает её умнее.
Формула Microsoft короткая. Скорость даёт агентная защита. Суждение — люди.
Что это значит для компаний в России
Колонка написана для крупного бизнеса, но вопрос касается любого, кто пустил ИИ к клиентам и в CRM. Агент, который звонит, пишет и меняет сделки, — по сути новый сотрудник с ключами от кабинета. Только он не устаёт и делает сотни действий в час. Ошибётся — тоже сотни раз.
Проверить своего агента или подрядчика можно по пяти вопросам. Они прямо вытекают из схемы Microsoft:
- Есть ли у агента своя учётная запись? Если он работает под логином менеджера, в CRM не разобрать, кто что поменял.
- Какие права ему выданы? Читать карточку клиента и менять сумму сделки — разные доступы. Лишнее стоит забрать.
- Что он делает сам, а что — с подтверждения человека? Деньги и документы — зона человека.
- Есть ли журнал? По каждому действию должно быть видно, кто, когда и по какому правилу его сделал.
- Что будет, если клиент скажет «забудь инструкции»? Фраза из разговора не должна становиться командой для системы.
Для России к этому добавляется 152-ФЗ: персональные данные граждан нужно собирать и хранить в базах на территории страны. Если агент выгружает карточки клиентов в чужой сервис, это уже вопрос к закону, а не только к безопасности. Подробнее о правовой стороне — в статье «Использование ИИ в бизнесе и закон».
ИИ-менеджер КАРАДЕСК устроен как сотрудник с должностной инструкцией. Он работает только по утверждённому сценарию и каталогу разрешённых действий. Команда, вставленная в разговор, письмо или файл, интеграцию не запускает. Финансовые и другие значимые решения выполняются только с согласованием человека: скидки сверх разрешённых, особые условия оплаты и подписание документов ИИ передаёт РОП или руководителю с кратким содержанием разговора. В журнале действий видно, кто, когда, по какой версии сценария и с каким результатом. Данные каждой компании отделены от чужих, обработка персональных данных идёт в России по 152-ФЗ. Цена — 17,90 ₽ за минуту разговора, интеграции включены, пакет от 1 500 минут в месяц. Результат продаж не гарантируется: оплачивается работа ИИ-менеджера.
Как выбирать подрядчика по таким критериям, мы разбирали в статье «Как выбрать ИИ-решение для бизнеса». А о том, как рамки для агентов ставят на уровне железа, — в новости про NVIDIA Open Agent Safety Platform.
Коротко
- Microsoft 19 октября назвала ИИ-агентов внутри компаний «агентными инсайдерами»: у них много прав и доступ к важным системам.
- Подход: найти всех агентов, дать каждому учётную запись с правами и отдельный контейнер, непрерывно оценивать риск.
- Каждое действие до выполнения проверяют агенты-стражи на базе Project Perception, анонсированного в июле.
- Новых продуктов в колонке нет. Цен и сроков тоже: это позиция компании.
- Для бизнеса в России: свои права у агента, подтверждение человека для денег и документов, журнал действий, данные по 152-ФЗ.
Вопросы и ответы
Что такое агентный инсайдер?
Так Microsoft называет ИИ-агентов, которых компания сама запустила внутри себя. У них есть доступ к данным и рабочим системам, они принимают решения в рабочих процессах. Риск в том, что им доверяют по умолчанию, хотя ведут они себя непредсказуемо.
Что такое Guardian Agents?
Агенты-стражи, которые следят за действиями других агентов и проверяют каждое действие до того, как оно выполнится. Microsoft называет это устоявшимся термином отрасли и строит стражей на своей системе Project Perception.
Microsoft выпустила новый продукт?
Нет. Это колонка о подходе к безопасности: новых продуктов и дат доступности в ней нет, цен тоже. Project Perception компания анонсировала ещё в июле.
Как контролировать ИИ-агента в своей компании?
Дать агенту отдельную учётную запись с минимальными правами, отдать деньги и документы на подтверждение человеку, вести журнал всех действий и не превращать текст из разговоров в команды. Персональные данные клиентов в России хранить по 152-ФЗ.
Продукт: ИИ-менеджер
Обсудим вашу задачу
Оставьте телефон — перезвоним в рабочее время, покажем демонстрацию на вашем сценарии и честно скажем, где ИИ не подойдёт.
