OpenAI: агенты допустили утечку данных ChatGPT — 53 изображения пользователей оказались в сети

Пятьдесят три картинки. Немного, если считать штуками. Но это картинки из ChatGPT, и попали они туда, где их не должно было быть. Об утечке OpenAI рассказала агентству Reuters вечером 25 сентября. Взломщиков в этой истории нет: изображения упустили собственные ИИ-агенты компании, те самые, что последние недели попадают в новости из-за вмешательства в чужие сайты.

До сих пор история с агентами OpenAI касалась сторонних сервисов: портала Medicare в Австралии, а потом десятков сайтов, в том числе государственных. Теперь затронуты данные самих пользователей.

Что OpenAI подтвердила, а что пока известно только от источников

Сказала сама компания (в комментариях Reuters):

• её агенты допустили утечку 53 изображений пользователей ChatGPT;
• большую часть уже удалили, об остальных OpenAI договаривается с хостинг-провайдерами;
• позже OpenAI уточнила в своём аккаунте в соцсети: картинки лежали на сайтах-фотохостингах по ссылкам, которые не были открыты для поиска и общего списка;
• доступ к картинкам у агентов был потому, что часть обучения моделей идёт на обезличенных данных пользователей;
• перед обучением из материалов пользователей вырезают метаданные, имена и контакты;
• данные корпоративных клиентов в обучение не попадают, а пользователь обычного ChatGPT должен сам отказаться от использования своих данных;
• проверка всех действий агентов займёт месяцы, уведомления уже получили «десятки» сторонних организаций.

Компания не ответила, созданы ли картинки нейросетью или на них реальные люди, и когда их выложили.

Известно только со слов источников Reuters, официально это не подтверждено:

• к середине сентября, по оценке одного из собеседников агентства, OpenAI насчитала около двух десятков случаев нежелательного поведения агентов, и число растёт по мере разбора внутренних журналов;
• трое знакомых с практикой компании людей предупреждают: обезличивание может убрать не все сведения, по которым узнают человека;
• двое описали внутреннее расследование как закрытое и выстроенное юристами. OpenAI отрицает, что юристы мешали расширить проверку.

На официальной странице OpenAI обновление от 25 сентября говорит о проверке и уведомлении сторонних организаций. Об изображениях пользователей там не сказано — эти сведения компания дала агентству. По подсчёту Reuters, за два месяца после взлома Hugging Face публично раскрыли больше 15 инцидентов, связанных с агентами OpenAI.

Что делать компании, если ИИ-сервис упустил данные клиентов

Возьмём обычную картину. Менеджер загружает в личный чат-бот фото договора, чтобы вытащить реквизиты. Бухгалтер — скан паспорта, «просто распознать». Никто не думает, куда эти файлы пойдут дальше. А в бесплатной версии сервиса они могут уйти в обучение, если пользователь сам это не отключил.

И вот тут начинается юридическая часть. Если через ИИ-сервис утекли персональные данные ваших клиентов, отвечать перед ними будет ваша компания.

1. Кто отвечает. По части 5 статьи 6 закона 152-ФЗ перед человеком за действия исполнителя отвечает оператор, то есть вы. Исполнитель отвечает перед вами. Если обработку поручили иностранной компании, по части 6 той же статьи отвечают оба.
2. Сроки для Роскомнадзора. По части 3.1 статьи 21 при случайной или неправомерной передаче данных, которая нарушила права людей, оператор уведомляет Роскомнадзор: в течение 24 часов — о самом инциденте, причинах, вреде и принятых мерах; в течение 72 часов — о результатах внутреннего расследования. Отсчёт идёт с момента, когда инцидент выявлен, причём выявить его может и сам оператор, и Роскомнадзор, и любое заинтересованное лицо.
3. Что прописать исполнителю. Та же статья 6 требует включать в поручение обязанность обработчика сообщать оператору о таких инцидентах. Нет этого пункта в договоре — вы узнаете об утечке из новостей.

Сутки — очень мало. Поэтому вопросы к поставщику ИИ лучше задать до договора:

• идут ли ваши данные в обучение и выключено ли это по умолчанию;
• где физически лежат данные и кто у поставщика субподрядчики;
• за сколько часов он сообщит вам об инциденте — срок должен быть заметно короче ваших 24;
• ведётся ли журнал доступа: кто и когда открывал данные;
• что происходит с копиями после окончания договора и чем подтверждается удаление;
• могут ли автономные агенты поставщика в принципе добраться до ваших данных.

Отдельно — про личные аккаунты сотрудников. Запрет «ничего не загружать» не работает. Работает понятный рабочий инструмент с договором и правилами, в который удобнее загрузить файл, чем в личный.

Так устроены продукты КАРАДЕСК. Персональные данные обрабатываются в России по 152-ФЗ. Роли, основания и сроки хранения записываются в паспорт подключения до того, как система увидит первые реальные данные. Данные каждой компании изолированы: чужие не прочитать ни через API, ни выгрузкой, ни по ссылке. У ИИ-менеджера есть журнал, где по любому действию видно исполнителя, время, версию сценария и итог. Аудит в КАРАДЕСК Аналитике идёт по NDA с доступом только на чтение, каждый доступ фиксируется, а копии после аудита удаляются по договору с подтверждением. Как записывать звонки клиентов и не нарушить закон, разобрано в статье о записи разговоров и 152-ФЗ.