TwelveLabs Pegasus 1.5 в Amazon Bedrock: поиск моментов в видео до двух часов с таймкодами в JSON

TwelveLabs Pegasus 1.5 теперь работает в Amazon Bedrock — об этом 19 октября рассказали в блоге Amazon Web Services, сама доступность объявлена 9 октября. Главное отличие от прошлых версий: модель проходит видео целиком и выдаёт список всех отрезков, подходящих под заданные описания, с таймкодами. Одна запись — до двух часов, вдвое больше, чем у Pegasus 1.2.

Что именно умеет Pegasus 1.5

Подготовка не нужна: видео не надо заранее индексировать, его отдают прямо из хранилища. В одном запросе можно задать несколько описаний сразу — каждый найденный отрезок помечается, к какому описанию он относится. Цен за минуту видео в анонсе нет, Amazon отсылает к общей странице тарифов Bedrock.

В примерах из блога модель разметила спортивную трансляцию: нашла три отрезка между 00:04:24 и 00:09:29 и описала развязку матча — ничья 3:3 перед серией пенальти. На это ушло около 249 тысяч входных токенов. Это ориентир масштаба: длинное видео — дорогой запрос, и считать его надо заранее.

Сами разработчики называют такие применения: каталог новостных архивов, нарезка лучших моментов в спорте, поиск логотипов и размещения товаров в роликах. Люди, по словам Amazon, переходят от ручной разметки к проверке того, что разметила модель.

Что это значит для бизнеса в России

Здесь важнее сам подход. Большинство камер в магазинах, на складах и в цехах пишут видео, которое никто не смотрит. Запись поднимают только после происшествия, и человек часами перематывает её в поисках нужной минуты. Модели вроде Pegasus 1.5 меняют порядок: вы заранее описываете, что считается событием, а на выходе получаете таблицу «что, когда, где».

Простой расчёт для понимания объёма. Магазин с 8 камерами и работой 12 часов в день накапливает 96 часов записи в сутки. Если просматривать её на четырёхкратной скорости, это 24 часа работы человека — больше трёх полных смен каждый день. Поэтому записи и не смотрят. Машинная разметка превращает те же 96 часов в короткий журнал: у кассы образовалась очередь, товар оставлен в проходе, ящик упаковали без пломбы. Человеку остаётся проверить найденные фрагменты.

Где это полезно:

• Производство. Пропущенный этап сборки, нарушение порядка операций, видимые признаки брака на линии. Журнал с временем события помогает найти, на какой смене и на каком участке начались потери.
• Магазины. Очереди, пустые полки, выкладка не по планограмме, работа зала в часы пик.
• Склады и упаковка. Проверка, что заказ собран и упакован по регламенту, — с фрагментом видео на случай спора с покупателем.
• Поиск в архиве. «Найди все моменты, где у ворот стоит грузовик» вместо ручной перемотки.

Есть и ограничения, которые для российской компании важнее заявленных возможностей. Модель доступна в одном американском регионе облака Amazon, а записи с камер, где видны сотрудники и покупатели, — это персональные данные, и закон о персональных данных требует хранить данные граждан России в базах на территории России. Русский язык модель поддерживает лишь частично. Так что для камер в цеху или в зале путь другой: решение под конкретный объект, с согласованными местами обработки и сроками хранения.

Такую работу делает Видеоаналитика процессов КАРАДЕСК — одно из направлений аналитики для бизнеса. Сначала выбираем участок и регламент и определяем, какие ошибки видны на камере. Затем система будет разбирать согласованные потоки или записи и собирать журнал возможных отклонений с временем, участком и видеофрагментом для проверки. Настройка под объект занимает ориентировочно около месяца, после подключения — ежемесячная оплата по расчёту. Скрытый брак, которого не видно на видео, система не определяет. Выводы проверяет ответственный сотрудник.

Как считать потери от остановок линии, мы разбирали в статье «Простой оборудования на производстве», а где ИИ уже применяют в цехах — в материале «ИИ на производстве».