К содержимому
Дайджест

27B-модель на 8 ГБ: тесты памяти и кодинга

The Stack·25 сентября 2026·16:30
текст даёт основное понять, как устроено пошагово
Открыть на YouTube
Практический разбор системных требований и качества кода сжатой модели Turner Bonsai 2 для тех, кто хочет запускать большую локальную модель на недорогой карте.

Что в ролике

Если у вас видеокарта на 6 ГБ, сжатый до 5,95 ГБ файл Turner Bonsai 2 от Prism ML всё равно не влезет целиком: пользователь Hacker News получил только 44 слоя из 65, остальные пошли на процессор, и модель выдавала 0,67 токена в секунду. Причина — файл это только веса, а ещё нужны память для разговора, рабочий буфер и доля драйвера, поэтому полгигабайта запаса исчезают сразу. На 8 ГБ карта уже считается нижним реальным порогом: с уменьшенным батчем и сжатым KV-кэшем весь 27-миллиардный оригинал Qwen 3.8 27B помещается на RTX 3070 и пишет около 40 токенов в секунду, а RTX 2060 Super держит около 17. На 12 ГБ или Mac с 16 ГБ модель работает комфортно, и скорость определяет пропускная способность памяти, а не новизна чипа: RTX 3060 даёт 26–34 токена в секунду, RTX 4090 — 91, а MacBook Pro M4 Pro — около 15. Пользоваться обычными приложениями нельзя: нужна собственная сборка llama.cpp от Prism ML, потому что веса хранятся в повёрнутом виде, а стоковый llama.cpp либо откажется грузить файл, либо выдаст «symbol soup». На коротких код-тестах Bonsai 2 почти не отличается от полной модели (81,58 против 82,17 в среднем по четырём тестам), но в агентной работе на реальных задачах SWE-bench Verified он набирает 60,8 против 80,6, то есть держит примерно три четверти исходных возможностей. Отдельная ловушка — режим «думания»: на дефолтных высоких настройках модель может потратить все 32 768 выходных токенов на скрытые размышления и вернуть ноль строк кода, поэтому тестеры рекомендуют ставить режим Medium и давать небольшие задачи.

Практика

Что получишь
Поймёте, на какой карте запустится сжатый Bonsai 2, какие настройки для этого включить и какие задачи ему можно доверять, а не переплачивать за неподходящий GPU.
Первый шаг
Начните со страницы Prism ML для Bonsai 2, скачайте их сборку llama.cpp, а не обычную, и проверьте рекомендуемые параметры запуска под ваш объём памяти.
Цифры
  • —0,67 токена в секунду — скорость на 6 ГБ карте, когда 21 из 65 слоёв ушли на процессор
  • —40,6 токена в секунду — скорость на RTX 3070 8 ГБ после уменьшения батча и сжатия KV-кэша
  • —60,8 против 80,6 балла — разрыв Bonsai 2 и полной модели на SWE-bench Verified
  • —98,2% — заявленное Prism ML сохранение интеллекта по среднему 14 бенчмарков, но агентные тесты показывают примерно 75%
Честно
Автор в середине просит подписаться на канал, платных продуктов или партнёрских ссылок в ролике нет. Часть настроек показана на экране, но точные команды запуска и файлы сборки нужно искать на странице Prism ML — в пересказе их недостаточно для повторения.
Если слова незнакомы — 5 терминов

Связки из этого ролика

1 шт.

Компоненты

4 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник