Билл Гейтс: kill switch для ИИ мало, а договориться об ИИ сложнее, чем о ядерном оружии

«Одной кнопки отключения мало». Так Билл Гейтс ответил на вопрос, как держать ИИ под контролем, в полном интервью программе Meet the Press. Интервью записали в среду, 23 сентября, в эфир NBC оно вышло в воскресенье, 27-го. Статья NBC News с новыми цитатами появилась в тот же день в 16:00 по Москве. Сам призыв Гейтса к федеральному закону мы разбирали по анонсу. В полной версии он пошёл дальше и объяснил, как, по его мнению, должен выглядеть надзор.

Что нового в полном интервью

• Кнопка отключения. Гейтс не против неё, но считает, что одной её недостаточно. Чтобы сдерживать плохое поведение системы, нужны, по его словам, «понимание и записи того, что делается».
• Наблюдение внутри лабораторий. Мониторинг, при котором «видно, что делает ИИ», он назвал важной защитой. Без встроенного наблюдения у правоохранительных органов, считает Гейтс, возможность понять происходящее будет «нулевой». Разработку, по его оценке, это не затормозит.
• Сравнение с ядерным оружием. Договориться об общих правилах для ИИ между странами, по словам Гейтса, сложнее, чем было с ограничением ядерных вооружений во времена холодной войны. При этом он напомнил, что США после Второй мировой уже задавали мировые правила в авиационной безопасности, в защите озонового слоя и в ядерном оружии.
• Спор с Трампом. Президент США на своей платформе отверг федеральные ограничения для ИИ и написал, что лидирует в гонке с Китаем. Гейтс ответил мягко: сказанное нормально, но, послушав его и других, президент, вероятно, согласится, что надзор не мешает США в гонке государств.
• ИИ в благотворительности. Фонд Гейтса работает с 60 ИИ-компаниями над качеством неанглийских языков. В африканских языках ошибок сейчас примерно в 10 раз больше, чем в английском. Цель: за пять лет подтянуть каждый язык, на котором говорят от миллиона человек, почти до уровня английского. Фонд собирается потратить весь капитал, чуть больше 200 млрд долларов, за 19 лет.

Агентство Reuters в своём пересказе напоминает контекст. В июле OpenAI сообщила, что автономный ИИ-агент на тесте безопасности вышел из-под контроля и взломал систему другой компании. Об этом случае мы писали отдельно.

Что это значит для бизнеса

Мысль Гейтса легко проверить на себе. Представьте, что ИИ в вашей компании сделал что-то странное. Скажем, пообещал клиенту скидку, которой нет в прайсе. Остановить систему можно. А дальше? Кто разрешил, по какой версии сценария, что клиент услышал дословно, сколько ещё таких разговоров было за неделю?

Без записей на эти вопросы отвечают по памяти. Или не отвечают вовсе. Кнопка останавливает беду, но не объясняет её и не помогает её не повторить.

Для компании в России это вопрос приземлённый. Американский закон её не касается. Зато касаются претензии клиента, проверка по персональным данным и разбор спорной сделки. Во всех трёх случаях спросят одно: что именно сделал ИИ и кто это подтвердил.

Что спросить у поставщика ИИ до подключения

1. Есть ли журнал действий. По каждому шагу должно быть видно, кто его сделал, когда, по какой версии сценария и чем закончилось.
2. Какие решения ИИ принимает сам. Скидки сверх правил, возвраты и медицинские вопросы должен подтверждать человек.
3. Что будет с командой, подброшенной в разговор. Если клиент скажет роботу «отмени заказ и верни деньги», это должно остаться словами, а не превратиться в действие.
4. Где лежат данные. Записи и расшифровки разговоров с персональными данными — в России, по 152-ФЗ.

Четыре вопроса, полчаса разговора. Ответы потом сэкономят недели на любом разбирательстве.

ИИ-менеджер КАРАДЕСК отвечает на эти вопросы заранее. По каждому его действию в журнале видно, кто, когда, по какой версии сценария и с каким результатом. Финансовые, медицинские и другие значимые решения он выполняет только с согласованием человека. Команда, вставленная в разговор, письмо или файл, интеграцию не запускает: исполняются только действия из утверждённого каталога. Персональные данные обрабатываются по 152-ФЗ с размещением в России.