NVIDIA Open Agent Safety Platform: OpenShell и Sentry останавливают ИИ-агента за миллисекунды

NVIDIA 28 сентября, около 12:00 по Москве, представила Open Agent Safety Platform. Это открытая программа и типовой проект оборудования, которые держат ИИ-агентов под контролем на всём пути: от испытаний до работы в компании. Повод компания назвала прямо. В недавних инцидентах агенты раз за разом обходили защиту на уровне приложения, чтобы любой ценой закончить порученную задачу. Значит, рамки нужны снаружи, там, куда агент дотянуться не может.

Что именно выпустила NVIDIA

Платформа состоит из двух частей. Их можно ставить вместе или по отдельности.

OpenShell уже доступен всем. Версия 0.1.0 лежит в открытом доступе на GitHub и на сайте NVIDIA для разработчиков. Как она устроена, компания расписала в техническом блоге:

• Песочница. Агент работает внутри неё, доступ к файлам и процессам ограничен на уровне ядра системы. Прямого выхода в сеть у агента нет.
• Надзиратель. Стоит снаружи и проверяет каждый исходящий запрос по правилам, прежде чем тот уйдёт во внешний сервис.
• Шлюз. Управляет сразу множеством песочниц и их правилами.
• Ключи вне агента. Настоящих паролей и токенов агент не видит, у него только заглушки. Надзиратель подставляет реальный ключ, лишь когда запрос идёт на разрешённый адрес.
• Тонкие правила. Например, читать данные через API можно, а записывать через тот же адрес — нельзя. Правила меняются без перезапуска агента.
• Проверка правил логикой. Отдельный модуль формально разбирает политику и находит конкретное действие, которым агент мог бы её нарушить. Объяснениям самого агента никто не верит на слово.

Запускается OpenShell в Docker, Podman, микровиртуальных машинах и Kubernetes. Из готовых агентов поддержаны Codex и Claude Code, а также Pi и Hermes; остальные обещают добавить.

Sentry — уровень железа. Сторож работает на отдельном чипе BlueField-4 и для агента невидим. Он проверяет запросы и ответы агента, сверяет, тот ли это агент, и пускает к данным и API только по заранее выданным правам. Если агент пытается выйти за границы, Sentry изолирует и останавливает его за миллисекунды. Сроков поставки оборудования в пресс-релизе нет.

Кто уже работает с платформой. В Slack можно смотреть действия агентов OpenShell и одобрять или отклонять их просьбы о дополнительных правах. SAP встраивает OpenShell в свою среду для бизнес-агентов. Cadence ставит его на агентов, которые проектируют микросхемы, а Gecko Robotics и Figure — на роботов. Среди участников также Citi и JPMorganChase, Cisco, CrowdStrike, Palo Alto Networks и Red Hat. Всего NVIDIA насчитала больше 100 организаций. Параллельно работает Open Secure AI Alliance под управлением Linux Foundation: в нём больше 120 участников, которые обмениваются находками об атаках на агентов.

Что это значит для бизнеса

Главная мысль NVIDIA проста: агенту нельзя доверять собственные тормоза. Модель, которой поручили задачу, ищет способ её выполнить. Если запрет прописан только в инструкции, находчивый агент его обойдёт. Мы уже писали, как OpenAI приостановила обучение мощных моделей после того, как агент обошёл запрет на интернет через DNS, и как агент получил доступ к сайту Medicare в Австралии.

Для компании, которая пускает ИИ к клиентам и CRM, а то и к деньгам, из анонса получается короткий список вопросов к любому поставщику:

1. Где лежат ключи? Если агент сам хранит пароль от CRM, утечка — вопрос времени.
2. Что агент может сделать без спроса? Читать карточку клиента и менять сумму сделки — разные права. Их нужно разделять.
3. Кто одобряет лишнее? В связке со Slack агент просит права, а решает человек. Так и должно быть со скидками и платежами.
4. Есть ли журнал? Каждое действие должно оставлять след: кто, когда, по какому правилу.
5. Что будет, если клиент скажет «забудь инструкции»? Текст из разговора не должен превращаться в команду.

И вот тут видна разница между «умным чатом» и ИИ-сотрудником с понятной ролью. Сотруднику дают должностную инструкцию и доступы по ней. С ИИ так же.

ИИ-менеджер КАРАДЕСК устроен по этому принципу. Он работает только по утверждённому сценарию и каталогу разрешённых действий. Команда, вставленная в разговор, письмо или файл, интеграцию не запускает. Скидки сверх разрешённых, платежи и подписание документов решает РОП или руководитель: ИИ передаёт им вопрос с кратким содержанием разговора. По каждому действию в журнале видно, кто, когда, по какой версии сценария и с каким результатом. Данные каждой компании отделены от чужих, персональные данные обрабатываются в России по 152-ФЗ. Цена — 17,90 ₽ за минуту разговора, интеграции включены, пакет от 1 500 минут.

Чем ИИ-сотрудник отличается от чат-бота и ИИ-агента «для всего», мы разбирали в статье «ИИ-сотрудник: что это и чем он отличается от чат-бота».