Amazon открыла чипы Trainium для PyTorch без переписывания кода: TorchNeuron и что это значит для цены ИИ

19 октября Amazon объявила о TorchNeuron — родной поддержке фреймворка PyTorch на своих ИИ-чипах Trainium. По словам компании, на PyTorch пишут код 85% исследователей и разработчиков ИИ. Раньше, чтобы перенести модель с видеокарт на Trainium, её приходилось адаптировать под отдельный набор инструментов Amazon. Теперь достаточно указать другое устройство. Открытый код выложат 20 октября на конференции PyTorch в Северной Америке, с этого же дня — публичная бета. Агентство Reuters назвало шаг вызовом Nvidia.

Что именно выпускает Amazon

Amazon пишет, что проверяет TorchNeuron на сотнях тысяч моделей с каждой сборкой. В блоге PyTorch уточнили масштаб: постоянный прогон 100 тысяч моделей с Hugging Face. Ограничения тоже названы честно. Часть операций пока не переведена на чип, FP8 доступен только в закрытой бете, динамические формы тензоров и разреженные тензоры в первой версии не поддерживаются.

Самая показательная цифра — от сервиса распознавания речи Deepgram. В его тестах Trainium обработал примерно на 60% больше секунд аудио на каждый доллар, чем прежние конфигурации на видеокартах. Это цифра одного клиента на его задаче, а не общая гарантия.

Почему это касается цены ИИ

Nvidia держит рынок не только железом. Годами код для ИИ писали под её видеокарты, и переезд на другой чип означал недели работы инженеров. Дорогой переезд — это слабая конкуренция и высокие цены на мощности.

TorchNeuron снимает часть этого барьера. Если модель переносится сменой устройства, облака и разработчики моделей могут выбирать чипы по цене, а не по привычке. Amazon прямо говорит, что в стоимость ИИ входит и время инженеров на перенос и поддержку кода.

Что это значит для бизнеса в России

Арендовать Trainium напрямую российскому бизнесу вряд ли придётся. Но эффект дойдёт косвенно, и вот где.

• Цена готовых моделей. Распознавание речи, озвучка, языковые модели — всё это крутится на арендованных мощностях. Когда поставщику дешевле считать, со временем дешевеет и минута или миллион токенов. Deepgram прямо связывает свой результат с более низкими ценами для клиентов.
• Давление на Nvidia. Чем проще уйти с её видеокарт, тем сильнее конкуренция за мощности. Российские облака закупают видеокарты на том же мировом рынке, так что общий спрос влияет и на их прайс.
• Урок для своих проектов. Код, привязанный к одному железу, дорого переносить. Если компания обучает или дообучает свою модель, лучше сразу писать её на стандартных средствах PyTorch: тогда переезд на более дешёвые мощности займёт дни, а не месяцы.

Прогнозировать конкретное снижение цен в рублях пока рано. Бета только выходит, а цены облаков меняются медленнее новостей.

Практический вывод проще. Бюджет на ИИ лучше считать с запасом на смену поставщика мощностей и не зашивать в код то, что придётся переписывать. Такую работу — сервисы, интеграции и доработку программ с тестами и документацией — берёт IT-специалист КАРАДЕСК, код остаётся у клиента. Из чего складывается бюджет на внедрение, мы разбирали в статье «Стоимость внедрения ИИ в бизнес». А о том, как разработчики моделей скупают вычисления на годы вперёд, — в новости о контракте Anthropic и Akamai.