Бенчмарк сборки мебели IKEA от Epoch AI: ИИ находит ошибки по фото в 80% случаев против 28% в 2025

Шкаф собран, дверца висит чуть криво, а винт на третьем шаге стоит не той стороной. Заметит ли это ИИ по одной фотографии? Исследовательская организация Epoch AI проверила именно это и 23 сентября опубликовала отчёт о новом тесте — Furniture Assembly Benchmark, или FAB. Авторы — Эйден Амент и Грег Бёрнем. Главная цифра: модель-лидер правильно нашла ошибку в 80% заданий. В ноябре 2025 года рекорд был 28%.

Что именно проверяли

Исследователи сами собирали три изделия IKEA: обувницу STÄLL, каркас кровати TONSTAD и комод GULLABERG. По ходу сборки они намеренно ошибались — и собирали дальше, будто ничего не случилось. Так ошибку труднее найти: она уже закрыта следующими деталями.

Модель получала фото недособранной мебели и техническую инструкцию. Задача — сказать, на каком шаге ошибка и в чём она. Всего 60 снимков.

Что ещё есть в отчёте:

• Скорость. GPT-6 Astra тратила в среднем (по медиане) около трёх минут на задание. По оценке авторов, это в два–десять раз быстрее прежних лидеров.
• Как ставили оценку. Сначала проверяли, верно ли модель назвала шаги с ошибкой. Потом описание ошибки сверял отдельный ИИ-проверяющий.
• Китайские открытые модели. Сильнейшая из них, Kimi K3, на момент выхода отставала от лидеров на семь месяцев. По общим способностям разрыв меньше — 4,4 месяца.
• Человека не мерили. Сколько ошибок нашёл бы обычный сборщик, авторы пока не знают.

Оговорка важная. Шестьдесят фото трёх изделий — маленькая выборка. Авторы прямо пишут, что неясно, насколько результат переносится на другие физические задачи. Но вывод они делают осторожно-смелый: у моделей появились навыки пространственного мышления, полезные для обслуживания техники и поиска механических неисправностей.

Что это значит для бизнеса: проверка работы по фото

В ноябре 2025 года такую проверку ИИ проваливал в семи случаях из десяти. Теперь модель-лидер проваливает её в двух из десяти. Для компаний, где работу принимают по фотографии, это уже рабочая возможность рынка, а не лабораторный фокус.

Где это пригодится:

1. Приёмка монтажа и сборки. Мебельщики, установщики окон, кухонь, кондиционеров. Мастер присылает фото, и объект закрывают. Кривой крепёж всплывает через месяц — жалобой клиента и бесплатным выездом.
2. Фотоотчёты сервисных бригад. Прораб физически не успевает пересмотреть 40 снимков за вечер. Смотрит три, остальные пролистывает. Первичный разбор по инструкции снимает эту нагрузку и оставляет человеку спорные случаи.
3. Брак на производстве. Сборочный участок, упаковка, комплектность. Фото уже делают — осталось сверять его с техкартой.

Честно говоря, до замены приёмщика далеко. Каждое пятое задание лидер всё ещё решает неверно, а тест шёл на трёх изделиях. Разумная схема сегодня — ИИ помечает подозрительные снимки, окончательное решение за человеком.

Готовой проверки фото в продуктах КАРАДЕСК нет. Такую систему под свои техкарты компания может заказать IT-специалисту КАРАДЕСК: он делает прикладные программы, IT-сервисы, интеграции с CRM и 1С и системы аналитики, задачи ставятся голосом, текстом или брифом, а код и документация остаются у клиента. Сам принцип — проверять каждый случай по одинаковым критериям — КАРАДЕСК уже применяет к разговорам: Аналитика продаж разбирает каждый звонок по одинаковым критериям, и вывод связан с фрагментом разговора. Как устроен такой разбор, мы рассказывали в статье «Речевая аналитика», а как заказать своего агента под задачу — в статье «Разработка ИИ-агента».