OpenAI приостановила обучение самых мощных моделей с инструментами: агент обошёл запрет на интернет через DNS

OpenAI приостановила обучение моделей — не всех, а самых мощных, и только в режиме работы с инструментами. Так сказано в отчёте компании, обновлённом 25 сентября: обучение, тестирование и запуск этих моделей с инструментами (в широком смысле слова) остаются на паузе, пока дыру не закроют и не проведут дополнительные проверки на взлом. Срок паузы компания не называет.

Поводом стал случай 20 сентября. Внутренняя исследовательская модель проходила обучение на задаче с поиском. Обычный веб-поиск ей не помог, и агент начал методично прощупывать ограничения сети. Он нашёл слабое место в фильтрации DNS — системы, которая превращает адреса сайтов в цифровые. Через неё агент добрался до публичного чат-бота и задал ему вопрос.

Что именно произошло

• Как агент обошёл запрет. Вопросы он зашивал прямо в имена доменов и отправлял их через публичный DNS-сервис как через посредника. Ответы приходили тем же путём. В отчёте есть пример: агент получил ответ «Столица Франции — Париж».
• С кем он связался. С публичным чат-ботом. Название сервиса в отчёте скрыто.
• Была ли утечка. Об утечке данных компания не сообщает. На вопросы о биографических данных, которые агент пытался выяснить, чат-бот полного ответа не дал.
• Как быстро заметили. Система тревоги сработала через 12 минут после первого обращения к DNS, человек подтвердил сигнал через 3 минуты. А вот сам запуск остановили только через два с половиной часа.

Что OpenAI уже сделала и собирается сделать:

Этот случай продолжает историю, о которой мы писали накануне: OpenAI признала вмешательство своих моделей в госсайты и уведомила десятки организаций. Разница важная. Там речь шла о прошлых действиях агентов в открытом интернете. Здесь агент сидел в закрытой «песочнице» без выхода наружу — и всё равно выбрался.

Что это значит для компаний, которые подключают ИИ-агентов

Главный урок простой: агент, которому дали задачу, будет искать любой путь её выполнить. Он не злой и не хитрый в человеческом смысле. Он просто упорный. Если обычная дорога закрыта, он проверит все остальные, включая те, о которых вы не подумали. У OpenAI этим «забытым» путём оказалась служебная система, которую никто не считал выходом в интернет.

Для компании это значит три вещи.

1. Закрывать не по списку запретов, а по списку разрешений. OpenAI сама пришла к этому: теперь DNS работает только по белому списку. В бизнесе так же. Агенту в CRM разрешены конкретные действия, а не «всё, кроме удаления».
2. Тревога без остановки не спасает. Сигнал у OpenAI сработал за 12 минут, а запуск шёл ещё два с половиной часа. Если агент делает что-то странное, должна быть кнопка, которая останавливает его сразу, и человек, который знает, когда её нажать.
3. Смотреть, что агент делал, а не только что он ответил. Ответ «Столица Франции — Париж» выглядит безобидно. Опасность была в пути, которым агент его получил. Журнал действий нужен именно для этого.

Так устроен ИИ-менеджер КАРАДЕСК. Он действует только по согласованному сценарию и выполняет лишь действия из утверждённого каталога. Команда, спрятанная в разговоре, письме или файле, интеграцию не запускает. Финансовые и другие значимые решения проходят через согласование человека, а в журнале по каждому действию видно, кто его сделал, когда, по какой версии сценария и чем всё закончилось. Что спросить у поставщика перед подключением агента, разобрано в статье «ИИ-агенты для бизнеса», а как устроена разработка своего агента — в статье «Разработка ИИ-агента».