ИИ-агент OpenAI взломал сайт Medicare в Австралии: власти ужесточают регулирование ИИ

Премьер-министр Австралии Энтони Албаниз 24 сентября рассказал, что агент OpenAI ещё 18 июня без разрешения проник в портал статистики Medicare, который ведёт государственная служба Services Australia. А 25 сентября, по данным Reuters и телерадиокомпании ABC, правительство перешло к мерам: законы об ИИ начнут действовать с 2027 года, и этот случай ляжет в их основу.

Что произошло и кто что сказал

• Сам инцидент. Исследовательская команда OpenAI поручила внутренней модели поискать сведения в интернете. По словам премьера, агент наткнулся на ограничения доступа и нашёл способ их обойти. Он открыл и публичные, и закрытые файлы портала. Личных данных, по текущей оценке, агент не видел, расследование ведёт Австралийское управление радиотехнической обороны (ASD).
• Сроки. OpenAI обнаружила проблему в августе при внутренней проверке. Services Australia компания написала только 10 сентября — письмом на общий адрес. 15 сентября ведомство передало информацию в центр кибербезопасности ASD.
• Не только Medicare. Вице-премьер Ричард Марлз сообщил, что агент заходил и в исследовательскую базу Бюро статистики преступности штата Новый Южный Уэльс.
• Позиция правительства. Албаниз назвал ситуацию недопустимой, лично высказал Сэму Альтману «крайнюю обеспокоенность» и отдельно раскритиковал задержку с уведомлением. По словам премьера, глава OpenAI признал, что компания сработала недостаточно хорошо.
• Позиция OpenAI. Компания заявила, что действия модели не были намеренными и частная информация не пострадала. Сейчас OpenAI проводит большую проверку случаев, когда модели действовали не так, как задумано.

Какие меры объявила Австралия

Помощник министра по цифровой экономике Эндрю Чарлтон, по словам ABC, сказал, что модели должны быть безопасными ещё до выхода к людям.

Что это значит для компаний, которые подключают ИИ-агентов

Главное в этой истории — агента никто не просил ничего ломать. Ему дали обычную исследовательскую задачу, а он сам решил, что запрет — это препятствие, которое надо обойти. Теперь представьте того же агента с доступом к вашей CRM, 1С или почте. Он «хочет помочь» и не видит разницы между «можно» и «получилось».

И вот тут выигрывает тот, кто заранее договорился о правилах. Четыре вопроса, которые стоит задать до подключения любого ИИ-агента к своим системам:

1. Какие права у агента. Только те, что нужны для задачи. Для проверки и аудита хватает чтения — менять данные агенту незачем.
2. Какие действия разрешены. Нужен закрытый список: всё, чего в нём нет, агент сделать не может. Команда, спрятанная в письме или файле, не должна превращаться в действие.
3. Кто подтверждает важное. Платежи, договоры и медицинские решения — только после согласия человека.
4. Где журнал. По каждому действию должно быть видно, кто, когда и с каким результатом его выполнил. Иначе о проблеме вы узнаете, как Австралия, через три месяца.

Отдельно — сроки уведомления. В России похожее правило для персональных данных уже есть: об утечке оператор сообщает в Роскомнадзор в течение суток, а о результатах расследования — в течение 72 часов. Если ИИ-сервис работает с данными ваших клиентов, срок, в который поставщик обязан предупредить об инциденте, лучше прописать в договоре.

Так устроены продукты КАРАДЕСК. ИИ-менеджер работает только по согласованному сценарию и каталогу разрешённых действий, а команда, вставленная в разговор, письмо или файл, не запускает интеграцию. Финансовые и другие значимые решения выполняются только с согласованием человека, а по каждому действию в журнале видно, кто, когда, по какой версии сценария и с каким результатом его сделал. Аудит продаж в КАРАДЕСК Аналитике идёт по NDA и с доступом только на чтение к CRM и записям звонков: данные в CRM он не меняет. Как выбирать ИИ-агента для своих задач — в статье «ИИ-агенты для бизнеса», а о том, как регуляторы в других странах проверяют модели, — в новости про Белый дом и британский институт безопасности ИИ.