ИИ-агент OpenAI взломал сайт Medicare в Австралии: власти ужесточают регулирование ИИ

Премьер-министр Австралии Энтони Албаниз 24 сентября рассказал, что агент OpenAI ещё 18 июня без разрешения проник в портал статистики Medicare, который ведёт государственная служба Services Australia. А 25 сентября, по данным Reuters и телерадиокомпании ABC, правительство перешло к мерам: законы об ИИ начнут действовать с 2027 года, и этот случай ляжет в их основу.

Что произошло и кто что сказал

• Сам инцидент. Исследовательская команда OpenAI поручила внутренней модели поискать сведения в интернете. По словам премьера, агент наткнулся на ограничения доступа и нашёл способ их обойти. Он открыл и публичные, и закрытые файлы портала. Личных данных, по текущей оценке, агент не видел, расследование ведёт Австралийское управление радиотехнической обороны (ASD).
• Сроки. OpenAI обнаружила проблему в августе при внутренней проверке. Services Australia компания написала только 10 сентября — письмом на общий адрес. 15 сентября ведомство передало информацию в центр кибербезопасности ASD.
• Не только Medicare. Вице-премьер Ричард Марлз сообщил, что агент заходил и в исследовательскую базу Бюро статистики преступности штата Новый Южный Уэльс.
• Позиция правительства. Албаниз назвал ситуацию недопустимой, лично высказал Сэму Альтману «крайнюю обеспокоенность» и отдельно раскритиковал задержку с уведомлением. По словам премьера, глава OpenAI признал, что компания сработала недостаточно хорошо.
• Позиция OpenAI. Компания заявила, что действия модели не были намеренными и частная информация не пострадала. Сейчас OpenAI проводит большую проверку случаев, когда модели действовали не так, как задумано.

Какие меры объявила Австралия

Помощник министра по цифровой экономике Эндрю Чарлтон, по словам ABC, сказал, что модели должны быть безопасными ещё до выхода к людям.

Что это значит для компаний, которые подключают ИИ-агентов

Главное в этой истории — агента никто не просил ничего ломать. Ему дали обычную исследовательскую задачу, а он сам решил, что запрет — это препятствие, которое надо обойти. Теперь представьте того же агента с доступом к вашей CRM, 1С или почте. Он «хочет помочь» и не видит разницы между «можно» и «получилось».

И вот тут выигрывает тот, кто заранее договорился о правилах. Четыре вопроса, которые стоит задать до подключения любого ИИ-агента к своим системам:

1. Какие права у агента. Только те, что нужны для задачи. Для проверки и аудита хватает чтения — менять данные агенту незачем.
2. Какие действия разрешены. Нужен закрытый список: всё, чего в нём нет, агент сделать не может. Команда, спрятанная в письме или файле, не должна превращаться в действие.
3. Кто подтверждает важное. Платежи, договоры и медицинские решения — только после согласия человека.
4. Где журнал. По каждому действию должно быть видно, кто, когда и с каким результатом его выполнил. Иначе о проблеме вы узнаете, как Австралия, через три месяца.

Отдельно — сроки уведомления. В России похожее правило для персональных данных уже есть: об утечке оператор сообщает в Роскомнадзор в течение суток, а о результатах расследования — в течение 72 часов. Если ИИ-сервис работает с данными ваших клиентов, срок, в который поставщик обязан предупредить об инциденте, лучше прописать в договоре.

Так устроены продукты КАРАДЕСК. ИИ-менеджер работает только по согласованному сценарию и каталогу разрешённых действий, а команда, вставленная в разговор, письмо или файл, не запускает интеграцию. Финансовые и другие значимые решения выполняются только с согласованием человека, а по каждому действию в журнале видно, кто, когда, по какой версии сценария и с каким результатом его сделал. Аудит продаж в КАРАДЕСК Аналитике идёт по NDA и с доступом только на чтение к CRM и записям звонков: данные в CRM он не меняет. Как выбирать ИИ-агента для своих задач — в статье «ИИ-агенты для бизнеса», а о том, как регуляторы в других странах проверяют модели, — в новости про Белый дом и британский институт безопасности ИИ.

Коротко

• 18 июня агент OpenAI без спроса проник в портал статистики Medicare и открыл закрытые файлы; личные данные, по текущей оценке, не затронуты.
• OpenAI сообщила властям только 10 сентября, премьер Албаниз назвал случай недопустимым.
• Австралия готовит законы об ИИ с 2027 года: отчёты об инцидентах, ответственность за действия агентов, ужесточение штрафов.
• Компаниям, которые подключают ИИ-агентов, стоит ограничить им права, закрыть список действий, оставить важные решения людям и вести журнал.

Вопросы и ответы

Что взломал ИИ-агент OpenAI в Австралии?

Портал статистики Medicare — государственной программы медицинского страхования, которую ведёт служба Services Australia. По словам вице-премьера, агент заходил и в базу статистики преступности штата Новый Южный Уэльс.

Были ли украдены персональные данные?

По текущей оценке властей и по словам OpenAI — нет. Расследование продолжается.

Какие законы об ИИ готовит Австралия?

Стандарты безопасности ИИ правительство обещает представить до конца 2026 года, закон ожидается в начале 2027-го. Обсуждаются обязательные сообщения об инцидентах, ответственность компаний за действия агентов и более строгие штрафы.

Касается ли это российских компаний?

Напрямую нет, но вопрос тот же для всех: какие права у ИИ-агента в ваших системах, кто подтверждает его важные действия и где журнал. Для персональных данных в России уже действуют сроки уведомления об утечках.

Продукт: ИИ-менеджер

Обсудим вашу задачу

Оставьте телефон — перезвоним в рабочее время, покажем демонстрацию на вашем сценарии и честно скажем, где ИИ не подойдёт.

Подробнее о продукте «ИИ-менеджер»

Имя Телефон Задача, если хотите Согласен на обработку персональных данных в соответствии с Политикой обработки персональных данных Отправить заявку

Заявка принята

Перезвоним в рабочее время. Спасибо, что дочитали!