Альтман в ООН предложил международные стандарты ИИ: замер возможностей, оценка рисков и контроль человека

Глава OpenAI Сэм Альтман выступил в Совете Безопасности ООН 23 сентября. Заседание № 10228 созвала Франция, которая председательствует в Совете в сентябре; вёл его министр иностранных дел Жан-Ноэль Барро. Началось оно в 15:00 по Нью-Йорку, Альтману дали слово на девятой минуте — около 22:08 по Москве. Главная мысль: нужен механизм, который свяжет национальные и международные стандарты передового ИИ.

Кроме Альтмана перед Советом выступили Йошуа Бенжио, сопредседатель Независимой научной группы ООН по ИИ, глава Anthropic Дарио Амодеи (по видеосвязи) и глава Hugging Face Клеман Деланг. Заседание шло 2 часа 23 минуты.

Что именно предложил Альтман

По стенограмме, стандарты должны отвечать на четыре вопроса:

• Возможности. Как измерять, что умеет система.
• Риски. Как их оценивать до выпуска модели.
• Защита. Как решать, достаточно ли встроенных ограничений.
• Надзор. Как сохранить реальный контроль человека, когда системы становятся автономнее.

К этому он добавил ещё три пункта. Общий язык, чтобы страны могли сравнивать данные и проверять выполнение договорённостей. Точные и быстрые отчёты об инцидентах, чтобы мир учился на сбоях раньше, чем они станут катастрофой. И защищённые каналы между правительствами, операторами критической инфраструктуры и экспертами для обмена данными об уязвимостях.

Оговорок две. Стандарты не должны закреплять лидеров рынка и подыгрывать одной бизнес-модели: место в них нужно и открытым, и закрытым моделям, и новичкам. А как встроить правила в свой закон, каждая страна решает сама.

Самая резкая фраза — про риск. Неважно, оценивают ли вероятность катастрофы в 10% или в 0,1%: «ни один из этих уровней не приемлем», сказал Альтман. И добавил, что не стоит обучать модели, если нельзя очень убедительно показать, что они останутся под контролем человека.

Что сказали другие

Амодеи предложил Совету три шага. Начать с узких договорённостей, которые поддержат все, — например, запрета использовать ИИ для создания биологического оружия. Построить системы оценки и проверки, чтобы государства видели возможности передовых моделей и могли сверять обязательства друг друга. Ввести общие стандарты тестирования на риск потери контроля и злоупотреблений плюс систему уведомлений о серьёзных ИИ-инцидентах.

Представитель России в Совете говорил о другом. По его словам, общая тема ИИ плохо вписывается в мандат Совбеза, а голос стран глобального Юга там слышен не полностью. Обсуждать ИИ Россия предлагает в профильных площадках ООН. Контроль человека он тоже назвал главным способом снизить риски, но формы такого контроля, по его мнению, определяют сами государства.

Президент Microsoft Брэд Смит среди докладчиков Совета не был. Как пишет NBC News, в тот же день на мероприятии ООН он заявил, что замедлиться — «не сложный вопрос», если компании всерьёз боятся вреда от своих систем. По данным Bloomberg, Смит выступает за независимых оценщиков ИИ и за «выключатель», который оставляет управление за людьми.

Что это значит для бизнеса

Совбез ничего не принял, резолюции не было. Но словарь уже сложился: журнал инцидентов, проверка защиты, контроль человека над автономными системами. На этом языке через пару лет заговорят регуляторы, банки и крупные заказчики — и в России тоже, пусть по своим правилам.

Что это значит на практике? Когда ИИ звонит клиентам, отвечает на заявки и пишет в CRM, от компании рано или поздно спросят три вещи. Что именно система имеет право делать сама. Где человек принимает решение. И как восстановить, что произошло, если клиент пожаловался.

Звучит далеко от Нью-Йорка. Но возьмём обычный отдел продаж: ИИ пообещал скидку, которой нет, или отправил договор не тому клиенту. Разбор займёт час, если есть журнал. Или неделю, если его нет.

ИИ-менеджер КАРАДЕСК устроен под эти вопросы. Он работает только по согласованному сценарию и каталогу разрешённых действий. Финансовые и другие значимые решения выполняются только с согласованием человека. Команда, вставленная в разговор, письмо или файл, не запускает интеграцию. По каждому действию в журнале видно, кто его выполнил, когда, по какой версии сценария и с каким результатом. Персональные данные обрабатываются в России по 152-ФЗ.

Про отчёты об ИИ-инцидентах между государствами мы писали в новости о диалоге США и Китая по сверхинтеллекту. А что законно в ИИ-звонках уже сейчас, разобрано в статье «ИИ звонки для бизнеса».