AgentCore Gateway научился переключать запрос на резервную модель: что делать бизнесу в России, если ИИ упал

Amazon Web Services 22 октября добавила в шлюз Amazon Bedrock AgentCore Gateway две вещи. Первая — поддержку вызовов InvokeModel и InvokeModelWithResponseStream: программа, которая уже работает с Bedrock через его SDK, может просто сменить адрес на шлюз и получить через одну точку доступ к любому подключённому поставщику моделей, не переписывая код под каждого. Вторая важнее — резервная маршрутизация, по-английски model fallback. Если основная модель не отвечает, шлюз сам пробует следующую по списку.

Что именно добавили в AgentCore Gateway

Резерв настраивается правилом шлюза. В нём задают основное направление и цепочку запасных: целевой сервис и при желании конкретную модель.

Ещё несколько деталей из руководства AWS:

• Для приложения всё прозрачно. Оно отправляет один запрос и получает один ответ. Какая модель ответила на самом деле, видно только в журналах маршрутизации шлюза.
• Потоковый ответ не спасти на середине. Если модель уже начала отдавать ответ частями и оборвалась, переключения не будет: приложение получит обрывок и ошибку, повторять запрос ему придётся самому.
• Можно опускаться на модель попроще. В примере AWS цепочка сначала пробует ту же модель у другого поставщика, а уже потом — более раннюю версию.
• Каждая попытка платная. Шлюз считает каждое обращение к направлению отдельным вызовом, а стоимость самой модели выставляет её поставщик. Автомат отключения эти расходы сокращает. Его можно и выключить — например, чтобы держаться дешёвой основной модели и не уходить слишком быстро на дорогую запасную.
• Где доступно. Во всех регионах, где работает AgentCore Gateway, кроме китайских. Цены в анонсе не названы.

Что это значит для бизнеса в России

AWS с 2022 года не принимает новых клиентов из России, так что сам шлюз российской компании недоступен. Но анонс полезен другим: крупный поставщик облака признал, что сбой модели — обычная рабочая ситуация, к которой надо готовиться заранее. Модель упирается в лимиты, поставщик перегружен или недоступен, ответ зависает на секунды. В чате это неприятно. В голосовом разговоре это провал: клиент слышит тишину и кладёт трубку.

Для ИИ-сотрудника, который сам звонит клиентам или принимает входящие, вопрос «что будет, если модель упала» — такой же базовый, как резервный канал связи для колл-центра. Что стоит проверить у себя или спросить у подрядчика:

1. Есть ли запасной путь. Куда уходит запрос, если основная модель не отвечает, и сколько времени система ждёт, прежде чем переключиться. Для голоса счёт идёт на секунды.
2. Не застревает ли разговор на зависшем ответе. Самый неприятный сбой — когда ошибки нет, а ответа тоже нет. Нужен свой предел ожидания.
3. Что слышит клиент в момент сбоя. Молчание хуже короткой фразы и предложения перезвонить.
4. Куда уходит клиент, если не справилось ничего. Живой сотрудник или обещанный перезвон, записанный в CRM, — иначе заявка теряется.
5. Видно ли сбои в отчётах. Как в журналах AWS: какая модель ответила и сколько раз срабатывал резерв.
6. Сколько стоит резерв. Каждая лишняя попытка — деньги и задержка, поэтому порядок запасных путей стоит продумать, а не ставить первой самую дорогую модель.

Резервная модель защищает от молчания, но не отменяет человека. ИИ-менеджер КАРАДЕСК принимает входящие звонки круглосуточно и звонит по новой заявке в первую минуту. Если клиент просит живого человека, он переводит разговор на сотрудника и заранее передаёт краткое содержание беседы. Если сотрудник недоступен, договаривается о перезвоне, а итог разговора с записью уходит в CRM. Стоимость — 17,90 ₽ за минуту разговора, интеграции включены, пакет от 1 500 минут в месяц. Продажи не гарантируются: оплачивается работа ИИ-менеджера.

Как готовиться к сбоям в контакт-центре на уровне всей площадки, мы разбирали в новости о проверке готовности к сбою в Amazon Connect. А какие вопросы задать подрядчику до внедрения — в статье «Как выбрать ИИ-решение для бизнеса».