К содержимому
Дайджест

Modular: Mojo, Max и облако против зоопарка железа

AI Engineer·11 октября 2026·17:08
можно прочитать понять, как устроено промо
Открыть на YouTube
Доклад с AI Engineer о программном стеке Modular (Mojo, Max и облачная платформа) для запуска моделей на разных ускорителях; полезен тем, кто выбирает inference-инфраструктуру и хочет сравнить её с PyTorch и vLLM.

Что в ролике

Сейчас вычислительные мощности в дефиците, и на рынке одновременно выходят GPU Nvidia, AMD, Intel, ARM и Apple; автор называет это кембрийским взрывом железа. Программировать всё это сложно, потому что поверх PyTorch пришлось наращивать vLLM, SGLang, TRT-LLM и Llama.cpp, и Modular предлагает перестроить стек заново. В основе — язык Mojo, похожий на Python и нацеленный на CPU, GPU и ускорители, поверх него построен inference-движок Max, а сверху — облачная платформа Modular Cloud. Докладчик утверждает, что матричное умножение и attention-ядра у Modular быстрее аналогов, а 1.0 Mojo выйдет в ближайшие месяцы вместе с открытием исходников. По бенчмаркам Kimi K2.5 даёт ускорение time-to-first-token в 5,5 раза и в 1,5 раза выше пропускная способность на B200, Flux 2 работает в 7 раз быстрее, а на AMD MI355 выигрыш в 4 раза. На Flux 2 dev в независимых замерах Artificial Analysis компания на 3x быстрее ближайшего конкурента, без дистилляции и квантизации. Повторить можно через pip install modular и облачные эндпоинты, а весь код ядер и определений моделей открыт.

Практика

Что получишь
Понять, из каких частей состоит стек Modular и какие ускорения он заявляет на Kimi K2.5, Flux 2 и Gemma 4, а также как быстро начать эксперименты через pip install modular.
Первый шаг
Установить пакет командой pip install modular и запустить поддерживаемую модель через облачный эндпоинт или локально.
Цифры
  • —5,5 раза — во столько быстрее time-to-first-token у Kimi K2.5 на стеке Modular по сравнению с vLLM.
  • —7 раз — ускорение генерации Flux 2 относительно сборки с diffusers.
  • —3 раза — отрыв от ближайшего конкурента на Flux 2 dev по независимым замерам Artificial Analysis.
  • —700 000 строк — объём открытого кода ядер и определений моделей у Modular.
Честно
Это презентация самой Modular на конференции: спикер продвигает собственный стек, а все цифры производительности — заявления компании, частично подтверждённые Artificial Analysis, с которым Modular сотрудничает. Полных инструкций для повторения в докладе нет, часть настроек и графиков видна только на экране, поэтому придётся обращаться к документации или видеозаписи. Mojo 1.0 и открытие исходников анонсированы на ближайшие месяцы, сейчас доступна более ранняя версия, и API может измениться.
Если слова незнакомы — 7 терминов

Связки из этого ролика

2 шт.

Компоненты

14 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник