Microsoft ужимает ИИ-кодинг до 53 ГБ: тесты и цена

Что в ролике
Microsoft представила локальную модель MAI Code 1,1 Flash: на SWE-bench Verified она решила 70,8% задач против 72,6% у облачной версии при 500 задачах. Модель устроена как разреженная смесь экспертов — 137 млрд суммарных параметров, но на каждый токен активны лишь 6,8 млрд, а сжатые веса занимают 53 ГБ, в среднем 3,3 бита на вес. Для запуска этой 53-гигабайтной модели нужен не просто диск, а рабочая память: на Surface Laptop Ultra пиковое потребление достигло 75,5 ГБ при контексте 256 000 токенов, поэтому Microsoft рекомендует больше 120 ГБ RAM. Прогрев и скорость считывания промпта у модели — 923,5 токена в секунду на 64K и 769,8 на 128K, а генерацию ускоряют спекулятивным декодированием, где малая модель предлагает блок токенов, а основная проверяет их параллельно. Облачная версия MAI Code 1,1 Flash жива с 11 августа, локальную анонсировали 7 октября, но в репозитории автор нашёл только документацию и issue-шаблоны, а интегрированную маршрутизацию между локальным и облачным Copilot обещают только на конец октября. Команда /model в GitHub Copilot CLI умеет находить уже установленные локальные модели через Ollama, но модель должна поддерживать стриминг токенов и вызов инструментов. По тарифам облака: 0,20 доллара за миллион некешированных входных токенов, 0,02 доллара за кешированные и 1,20 доллара за миллион выходных; гипотетические 100 млн входных и 10 млн выходных обошлись бы в 32 доллара без скидок. Локальный запуск убирает плату за инференс, но не делает среду офлайн: телеметрия остаётся, удалённые провайдеры и инструменты всё равно могут уходить в сеть, а машина с нужными 128 ГБ памяти стоит 5 899,99 доллара.
Практика
- Что получишь
- Разобраться, когда локальная MAI Code 1,1 Flash оправдана: какие бенчмарки она удержала, сколько реальной памяти нужно, что с ценой на железо и облачные тарифы, и почему локально не значит офлайн.
- Первый шаг
- Если у вас уже есть машина с более чем 120 ГБ памяти, дождаться проверяемых весов модели и прогнать на ней исправление реального бага из вашего репозитория, сравнив время и вмешательство с текущим пайплайном.
- Цифры
- —70,8% против 72,6% — доля решённых задач на SWE-bench Verified у локальной и облачной версий.
- —53 ГБ — размер сжатых весов; пиковое потребление памяти в тесте — 75,5 ГБ при контексте 256 000 токенов.
- —0,20 доллара за миллион некешированных входных токенов и 1,20 доллара за миллион выходных — облачные тарифы MAI Code 1,1 Flash.
- —5 899,99 доллара — цена Surface Laptop Ultra со 128 ГБ памяти; базовая версия за 2 599,99 доллара имеет лишь 24 ГБ.
- Честно
- Все цифры взяты из технического отчёта Microsoft, независимых замеров нет; проверяемых весов локальной модели в репозитории не оказалось, только документация и шаблоны issue. Локальный запуск не отключает телеметрию и не блокирует сетевые обращения инструментов, а офлайн-флаг не запрещает удалённым провайдерам получать промпты и контекст. В конце автор просит подписаться и поставить лайк, это единственное продвижение в ролике.
Если слова незнакомы — 6 терминов
- SWE-bench Verifiedнабор из 500 задач, где агент сам читает issue, правит файлы и проверяет патч тестами
- смесь экспертовархитектура, при которой на каждый токен активна лишь небольшая часть параметров, а не вся модель
- спекулятивное декодированиеприём: маленькая модель предлагает несколько следующих токенов, основная проверяет их параллельно и принимает совпавшие
- Ollamaлокальный инструмент для запуска больших языковых моделей на своём компьютере
- tool callingвызов инструментов — способность модели формировать команды, которые CLI может исполнить
- инференсвыполнение модели для получения ответа, то есть расчёт токенов
Связки из этого ролика
1 шт.- Windows ARM64 + CUDA
Компоненты
3 шт.Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник