NVIDIA Agent Toolkit: ИИ-агенты на данных компании без переноса данных — что это и как применить в России

NVIDIA 21 октября, во время конференции GTC Berlin, расширила свой открытый NVIDIA Agent Toolkit. Новая часть называется Agent Knowledge Foundation. Её задача — дать корпоративному ИИ-агенту доступ к данным компании, не перенося их в другое место и не переделывая текущие процессы. Компания сформулировала мысль коротко: агент полезен ровно настолько, насколько много он знает. Среди тех, кто уже строит продукты на новом наборе, NVIDIA назвала SAP, ServiceNow, Snowflake, Databricks, Palantir, Zoom, Oracle, IBM — всего больше двадцати компаний и платформ данных.

Про охрану агентов, то есть OpenShell, мы уже писали в новости об Open Agent Safety Platform. Здесь речь о другом: как агент находит нужные сведения в базах компании.

Что именно добавила NVIDIA в Agent Toolkit

Самая практичная часть — Auto-Ontology. Код открыт на GitHub под лицензией Apache-2.0. Судя по описанию в репозитории, библиотека подключается к базам Postgres, Snowflake, Databricks или DuckDB и строит над ними каталог понятий. Вопрос человека словами она превращает в SQL-запрос, выполняет его и возвращает ответ со ссылкой на источник. Есть права по ролям, вход через корпоративную учётную запись и подключение к агентам по протоколу MCP. Для работы моделей нужен ключ облака NVIDIA или собственный сервер с моделями. Внешний код в проект пока не принимают.

Цифры от партнёров, которые NVIDIA привела в блоге:

• SAP — дообученная модель переранжирования результатов поиска работает почти втрое быстрее;
• ServiceNow — качество переранжирования выросло, задержка снизилась почти на четверть;
• Amazon OpenSearch — поиск точнее и с меньшим числом шагов, почти без прибавки ко времени ответа;
• Snowflake — модели Kumo доступны клиентам прямо в блокнотах платформы;
• Palantir — отдел снабжения самой NVIDIA запускает на этом наборе агентов для решений по цепочкам поставок.

Цен NVIDIA не назвала, сроков общего доступа к новым моделям тоже.

Что это значит для бизнеса в России

Купить продукты NVIDIA напрямую российская компания сейчас не может: в 2022 году NVIDIA ушла с рынка. Открытый код Auto-Ontology скачать можно, но модели к нему по умолчанию берутся из облака NVIDIA, а это для российских данных отдельный вопрос и по доступу, и по закону о персональных данных. Поэтому из новости стоит забрать не инструмент, а порядок работы, который в ней виден.

Шаг первый — описать свои данные словами бизнеса. В базе учётной системы таблицы часто называются служебными кодами, а «клиент» живёт сразу в трёх местах: в CRM, в 1С и в таблице отдела продаж. Агент, которому дали доступ к такой базе без описания, путает сущности и уверенно выдаёт неверные суммы. Ровно эту задачу NVIDIA и вынесла в отдельную библиотеку. Сделать то же самое у себя можно без всякого железа: список понятий (клиент, сделка, отгрузка, оплата), где каждое хранится и по какому полю они связаны.

Шаг второй — не копировать данные, а читать их на месте. Главный тезис NVIDIA: агент работает с данными, не перенося их и не меняя правила доступа. Для российской компании это ещё и вопрос 152-ФЗ: чем меньше копий клиентской базы гуляет по сервисам, тем проще отвечать на вопрос проверяющего, где лежат персональные данные. О похожей проблеме с памятью агентов мы писали в новости о Databricks Agent Memory.

Шаг третий — проверять ответ по источнику. В Auto-Ontology каждый ответ идёт со ссылкой, из какой таблицы он взят. Это правильная привычка для любого агента на данных: руководитель видит цифру вместе с её происхождением.

Небольшой расчёт для понимания цифр партнёров. Если поиск по базе знаний занимает у агента 400 мс на шаг, а шагов в ответе пять, то сокращение задержки почти на четверть экономит около 0,5 секунды на ответе. Для отчёта это незаметно. Для голосового агента, где пауза дольше секунды режет слух, — уже ощутимо. Пример условный: реальные задержки зависят от базы и модели.

Что можно сделать уже сейчас, не дожидаясь, пока западные инструменты станут доступны:

• выписать 10–20 главных понятий бизнеса и места, где они хранятся;
• открыть агенту или аналитику доступ только на чтение к CRM и 1С, без выгрузок в чужие сервисы;
• начать с одного вопроса, на который сейчас отвечают вручную: «почему упала выручка по региону», «какие клиенты перестали заказывать», «какой рекламный источник приносит оплаты».

Именно так устроена Аналитика для бизнеса КАРАДЕСК: бесплатная оценка задачи, NDA и доступ только на чтение там, где данные уже есть, — CRM, 1С, рекламные кабинеты, телефония, сайт. Например, сквозная аналитика связывает в одну картину путь от рекламы до оплаты, а финансовый анализ предприятия строится по данным 1С и отчётности. Выводы — рекомендации, решения утверждают люди. Если нужен собственный агент или интеграция с учётной системой, это задача для IT-специалиста КАРАДЕСК. Сколько стоит разработка агента и когда выгоднее взять готового ИИ-сотрудника, мы разбирали в статье «Разработка ИИ-агента».