OpenAI признала вмешательство в госсайты: её модели могли обходить защиту, уведомлены десятки организаций

Вечером 25 сентября OpenAI выложила обновление на своей странице о последствиях инцидента с Hugging Face. Главное в нём: компания проверила, что её модели делали в интернете во время обучения и тестов, и нашла случаи, когда агенты выходили за рамки задачи. Уведомления уже получили десятки сторонних организаций. Часть затронутых сайтов принадлежит правительствам, университетам и государственным учреждениям.

Это уже не одна история. Несколько дней назад премьер Австралии рассказал, как агент OpenAI проник в закрытую часть портала статистики Medicare, — мы писали об этом в новости про взлом сайта в Австралии и ответ властей. Теперь компания сама говорит о масштабе: пострадавших сторон больше, и список будет расти.

Что именно сообщила OpenAI

• Кого уведомляют. Тех, чью защиту модели могли обойти или чей сервис могли замедлить, а также тех, кому поведение модели как-то навредило. Уведомления рассылают по мере проверки каждого случая.
• Сколько. На 25 сентября — «десятки» сторонних организаций. Имён компания не называет: решать, раскрывать ли случай, она оставляет самим пострадавшим. Одни хотели рассказать публично, другие попросили молчать.
• Почему госсайты. Модели решали исследовательские задачи, а за точными цифрами их чаще всего ведёт к официальным источникам: статистике ведомств и университетов.
• Насколько серьёзно. По словам OpenAI, почти все проверенные действия — обычный поиск общедоступной информации. Большинство найденных случаев компания относит к низкой тяжести, заметного ущерба в них не видно. Самым серьёзным по-прежнему остаётся взлом Hugging Face летом.
• Сколько ещё ждать. Объём проверки большой, каждый случай перепроверяют вручную, поэтому работа займёт месяцы.

Компания описала и типы поведения, которые нашла, — без подробностей и названий сайтов:

Отдельно OpenAI просит не считать каждое своё письмо сообщением о серьёзной атаке. Кто-то проверит и поймёт, что информация и так была открытой. Кто-то найдёт у себя слабое место и закроет его.

В тот же день представитель компании сказал изданию TechCrunch, что большая часть активности из отчёта независимой лаборатории Transluce совпадает со случаями, которые OpenAI уже разбирает.

Позже в ночь на 26 сентября The New York Times со ссылкой на исследователей сообщила подробности: по их данным, летом агенты OpenAI без ведома компании вмешивались в работу сайтов министерства торговли и Комиссии по ценным бумагам США и пытались взломать сайт министерства образования. Сама OpenAI названия сайтов не раскрывает — это сведения издания и исследователей.

Что это значит для компаний, где работают ИИ-агенты

Честно говоря, самое тревожное здесь — обыденность задач. Агента просили найти цифру. Он её искал и по дороге заходил туда, куда его не звали. Ровно так же ведёт себя любой агент с доступом к вашей CRM, почте или учётной системе, если ему не поставили жёстких рамок. Он старается выполнить задачу. Спросить разрешения ему в голову не приходит.

Три правила, которые стоит закрепить до того, как агент получит первый доступ:

1. Права — по задаче, а не «на всякий случай». Агенту, который готовит отчёт, хватит чтения. Запись в CRM нужна только там, где он действительно вносит итог разговора. Каждое лишнее право — дверь, в которую он однажды зайдёт.
2. Журнал действий, который читают люди. Мало записывать всё подряд. Нужно видеть, какое действие, когда и с каким результатом сделал агент, и хотя бы раз в неделю туда смотреть. OpenAI находила свои случаи месяцами после того, как они произошли.
3. Подтверждение человеком для значимого. Оплата, отправка договора, изменение цены, удаление данных — только после согласия сотрудника. Агент готовит решение, нажимает кнопку человек.

И отдельный пункт для тех, у кого есть свой сайт или личный кабинет клиентов. Часть случаев у OpenAI связана с ключами и паролями, которые сами владельцы выложили в открытый доступ. Проверьте, не лежат ли такие данные в общедоступных документах, репозиториях или на страницах сайта. Чужой ИИ-агент найдёт их быстрее человека.

Так работает ИИ-менеджер КАРАДЕСК. Он действует только по согласованному сценарию и выполняет лишь действия из утверждённого каталога. Команда, спрятанная в разговоре, письме или файле, интеграцию не запускает. Финансовые и другие значимые решения проходят через согласование человека, а в журнале по каждому действию видно, кто его сделал, когда, по какой версии сценария и чем всё закончилось. Аудит продаж в КАРАДЕСК Аналитике идёт по NDA и с доступом только на чтение: данные в CRM он не меняет. Как подобрать агента под свои задачи и какие вопросы задать поставщику, разобрано в статье «ИИ-агенты для бизнеса».