Modular: Mojo, Max и облако против зоопарка железа

Что в ролике
Сейчас вычислительные мощности в дефиците, и на рынке одновременно выходят GPU Nvidia, AMD, Intel, ARM и Apple; автор называет это кембрийским взрывом железа. Программировать всё это сложно, потому что поверх PyTorch пришлось наращивать vLLM, SGLang, TRT-LLM и Llama.cpp, и Modular предлагает перестроить стек заново. В основе — язык Mojo, похожий на Python и нацеленный на CPU, GPU и ускорители, поверх него построен inference-движок Max, а сверху — облачная платформа Modular Cloud. Докладчик утверждает, что матричное умножение и attention-ядра у Modular быстрее аналогов, а 1.0 Mojo выйдет в ближайшие месяцы вместе с открытием исходников. По бенчмаркам Kimi K2.5 даёт ускорение time-to-first-token в 5,5 раза и в 1,5 раза выше пропускная способность на B200, Flux 2 работает в 7 раз быстрее, а на AMD MI355 выигрыш в 4 раза. На Flux 2 dev в независимых замерах Artificial Analysis компания на 3x быстрее ближайшего конкурента, без дистилляции и квантизации. Повторить можно через pip install modular и облачные эндпоинты, а весь код ядер и определений моделей открыт.
Практика
- Что получишь
- Понять, из каких частей состоит стек Modular и какие ускорения он заявляет на Kimi K2.5, Flux 2 и Gemma 4, а также как быстро начать эксперименты через pip install modular.
- Первый шаг
- Установить пакет командой pip install modular и запустить поддерживаемую модель через облачный эндпоинт или локально.
- Цифры
- —5,5 раза — во столько быстрее time-to-first-token у Kimi K2.5 на стеке Modular по сравнению с vLLM.
- —7 раз — ускорение генерации Flux 2 относительно сборки с diffusers.
- —3 раза — отрыв от ближайшего конкурента на Flux 2 dev по независимым замерам Artificial Analysis.
- —700 000 строк — объём открытого кода ядер и определений моделей у Modular.
- Честно
- Это презентация самой Modular на конференции: спикер продвигает собственный стек, а все цифры производительности — заявления компании, частично подтверждённые Artificial Analysis, с которым Modular сотрудничает. Полных инструкций для повторения в докладе нет, часть настроек и графиков видна только на экране, поэтому придётся обращаться к документации или видеозаписи. Mojo 1.0 и открытие исходников анонсированы на ближайшие месяцы, сейчас доступна более ранняя версия, и API может измениться.
Если слова незнакомы — 7 терминов
- PyTorchпопулярный фреймворк для обучения и запуска нейросетей
- инференсзапуск обученной модели для получения ответа или генерации
- GPUграфический процессор, который используют для вычислений нейросетей
- time-to-first-tokenвремя от отправки запроса до первого сгенерированного токена
- квантизацияснижение точности чисел в модели ради скорости и меньшего размера
- дистилляцияобучение небольшой модели повторять поведение большой
- эндпоинтадрес API, по которому программа отправляет запросы к модели
Связки из этого ролика
2 шт.- Modular stack
- PyTorch ecosystem
Компоненты
14 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник