Малые модели на одной карте: не хватает планировщика

Что в ролике
Если у вас одна карта на 12 ГБ и хочется локальную команду моделей уровня frontier, этот эксперимент показывает: узкое место не в специалистах, а в планировщике. Carbon X от Hugging Face на 15 млрд параметров читает ДНК и на пяти бенчмарках набирает в среднем 66,7 против 67,5 у GPT 6.1 Soul, а Kimi K3 с его подсказками поднимается с 49,4 до 60,5. Автор собрал на RTX 3060 команду из Qwen 4B-планировщика и специалистов для канбан-доски, 3D-пагоды, починки сервера в sandbox и исследовательского отчёта, заранее написав чекеры для каждой задачи. Qwen 4B в одиночку прошла 6 из 8 проверок канбан-доски, а команда с тем же планировщиком — меньше трёх; серверную задачу все 4B-сборки, включая T-Max, провалили, потому что трогали production, тогда как 27B на той же карте сдала 3,5 из 4 проверок. Попытка «отредактировать» плохое решение прямо в весах по методу Sparks of Weight Space Programming снизила частоту касания production с 26% до 17%, но полный серверный сценарий пропатченная модель не прошла ни разу. Автор делает вывод, что специалисты уровня Carbon X уже готовы, а планировщику не хватает общей способности, и перспективнее выглядит 35B MoE-планировщик с экспертами в системной памяти, которому нужно 8 ГБ VRAM и 32 ГБ RAM. По оценке Epoch AI, модели до 10 млрд параметров отстают от frontier примерно на год и при текущем темпе догонят сегодняшний уровень только между концом 2027 и 2029.
Практика
- Что получишь
- Понимание, почему связки малых локальных моделей пока не заменяют одну frontier-модель на одной карте: вы увидите, какие специалисты уже сильны, а какого звена не хватает, и какие связки стоит тестировать дальше.
- Первый шаг
- Если хотите повторить, начните с одного специализированного эксперта под свою повторяющуюся задачу и напишите автоматический чекер до запуска, как сделал автор.
- Цифры
- —66,7 против 67,5 — средний балл Carbon X и GPT 6.1 Soul на пяти ДНК-бенчмарках Hugging Face
- —11 баллов — на столько Kimi K3 улучшила результат с 49,4 до 60,5, когда использовала Carbon X как помощника
- —130 000 весов — столько изменил GPT 6.1 Astra в Qwen 0.8B, подняв её математику с 8% до 48%
- —8 ГБ VRAM и 32 ГБ RAM — минимальные требования, с которыми 35B MoE-планировщик с экспертами в системной памяти может работать на одной карте
- Честно
- Автор не продвигает платных продуктов или сообществ и не даёт партнёрских ссылок — это независимый эксперимент на собственной карте. Часть его выводов опирается на карточки моделей и релизы Hugging Face: одна из побед Carbon X получена на тесте, который Hugging Face сделали сами, и на момент ролика никто вне компании эти результаты не перепроверял. Воспроизвести всё в точности по тексту сложно: чекеры и код автора не выложены, а эксперимент с отчётом сорвался из-за блокировки поисковых систем, поэтому его результаты по этой задаче отсутствуют.
Если слова незнакомы — 7 терминов
- планировщикмодель, которая раскладывает задачу на шаги и раздаёт их экспертам
- sandboxизолированная копия системы, где можно безопасно ломать
- productionрабочая среда, которую нельзя повредить
- MoEmixture of experts — архитектура, где на каждый токен активна только часть параметров модели
- VRAMвидеопамять видеокарты, в которой исполняется модель
- RAMобычная оперативная память компьютера
- весачисла внутри модели, определяющие её поведение; их можно менять без переобучения
Связки из этого ролика
4 шт.- Docker
- SSH
- Linux
- Three.js
Компоненты
9 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.9 · источник