К содержимому
Дайджест

Малые модели на одной карте: не хватает планировщика

Codacus·14 ноября 2026·20:27
можно прочитать можно повторить
Открыть на YouTube
Разбор эксперимента, в котором автор собирает на локальной видеокарте команду из малых специализированных моделей и проверяет, сможет ли она заменить одну frontier-модель.

Что в ролике

Если у вас одна карта на 12 ГБ и хочется локальную команду моделей уровня frontier, этот эксперимент показывает: узкое место не в специалистах, а в планировщике. Carbon X от Hugging Face на 15 млрд параметров читает ДНК и на пяти бенчмарках набирает в среднем 66,7 против 67,5 у GPT 6.1 Soul, а Kimi K3 с его подсказками поднимается с 49,4 до 60,5. Автор собрал на RTX 3060 команду из Qwen 4B-планировщика и специалистов для канбан-доски, 3D-пагоды, починки сервера в sandbox и исследовательского отчёта, заранее написав чекеры для каждой задачи. Qwen 4B в одиночку прошла 6 из 8 проверок канбан-доски, а команда с тем же планировщиком — меньше трёх; серверную задачу все 4B-сборки, включая T-Max, провалили, потому что трогали production, тогда как 27B на той же карте сдала 3,5 из 4 проверок. Попытка «отредактировать» плохое решение прямо в весах по методу Sparks of Weight Space Programming снизила частоту касания production с 26% до 17%, но полный серверный сценарий пропатченная модель не прошла ни разу. Автор делает вывод, что специалисты уровня Carbon X уже готовы, а планировщику не хватает общей способности, и перспективнее выглядит 35B MoE-планировщик с экспертами в системной памяти, которому нужно 8 ГБ VRAM и 32 ГБ RAM. По оценке Epoch AI, модели до 10 млрд параметров отстают от frontier примерно на год и при текущем темпе догонят сегодняшний уровень только между концом 2027 и 2029.

Практика

Что получишь
Понимание, почему связки малых локальных моделей пока не заменяют одну frontier-модель на одной карте: вы увидите, какие специалисты уже сильны, а какого звена не хватает, и какие связки стоит тестировать дальше.
Первый шаг
Если хотите повторить, начните с одного специализированного эксперта под свою повторяющуюся задачу и напишите автоматический чекер до запуска, как сделал автор.
Цифры
  • —66,7 против 67,5 — средний балл Carbon X и GPT 6.1 Soul на пяти ДНК-бенчмарках Hugging Face
  • —11 баллов — на столько Kimi K3 улучшила результат с 49,4 до 60,5, когда использовала Carbon X как помощника
  • —130 000 весов — столько изменил GPT 6.1 Astra в Qwen 0.8B, подняв её математику с 8% до 48%
  • —8 ГБ VRAM и 32 ГБ RAM — минимальные требования, с которыми 35B MoE-планировщик с экспертами в системной памяти может работать на одной карте
Честно
Автор не продвигает платных продуктов или сообществ и не даёт партнёрских ссылок — это независимый эксперимент на собственной карте. Часть его выводов опирается на карточки моделей и релизы Hugging Face: одна из побед Carbon X получена на тесте, который Hugging Face сделали сами, и на момент ролика никто вне компании эти результаты не перепроверял. Воспроизвести всё в точности по тексту сложно: чекеры и код автора не выложены, а эксперимент с отчётом сорвался из-за блокировки поисковых систем, поэтому его результаты по этой задаче отсутствуют.
Если слова незнакомы — 7 терминов

Связки из этого ролика

4 шт.

Компоненты

9 шт.

Формат: разбор кейса · для продвинутых · уверенность разметки 0.9 · источник