К содержимому
Дайджест

27B модель в 6 ГБ: кому подходит Bonsai 2

Kai·21 сентября 2026·18:42
текст даёт основное выбрать инструмент
Открыть на YouTube
Разбор квантованной 27B-модели Bonsai 2 от Prism ML: помещается ли она в 8–12 ГБ VRAM и чем платит за сжатие, для владельцев локальных видеокарт.

Что в ролике

Владельцы карт с 8–12 ГБ VRAM год смотрели на 27B-модели как на недоступные, потому что файл в полной точности весит 53,8 ГБ. Prism ML выпустила Bonsai 2 — квантованную версию Qwen3-27B с файлом 5,95 ГБ и заявленным удержанием 98,2% среднего балла по 14 бенчмаркам. На деле сравнение с полной точностью не то, что важно: стандартная 4-битная сборка (Q4, 17,6 ГБ) набирает 85,18 против 84,78 у Bonsai, поэтому на 16 ГБ и выше Q4 остаётся быстрее и чуть умнее. Для 8–12 ГБ реальный соперник — это 2-битная IQ2-сборка, которая набирает 72,59, а Bonsai 84,78, то есть выигрыш 12,19 балла при меньшем размере. Плата за сжатие — время: на максимальном уровне размышлений модель сжигает 22 276 рассуждающих токенов ради простого SVG-запроса и думает до 8 минут на медленной карте. На длинных агентных задачах удержание падает: в Terminal Bench модель набирает 52,8 против 69,7 у оригинала, в SWE Verified 60,8 против 80,6. Отдельная проблема — запуск: в обычных LlamaCPP и MLX модель молча ломается, нужен официальный форк Prism ML, иначе получишь правдоподобный бред. На 8 ГБ при контексте 4000 токенов занято 7,4 ГБ, а полный контекст 262k потребует уже 12,9 ГБ.

Практика

Что получишь
Понять, стоит ли переходить с 4-битной или 2-битной сборки Qwen3-27B на Bonsai 2, и какие подводные камни ждут при запуске. Сможешь принять решение по своей видеокарте и установить модель так, чтобы она не выдавала мусор.
Первый шаг
Склонируй официальный репозиторий Bonsai demo от Prism ML и запусти setup — он сам подтянет нужный форк, после чего проверь строку сборки перед первым запросом.
Цифры
  • —5,95 ГБ — размер файла Bonsai 2, в 9 раз меньше 53,8 ГБ полной точности
  • —12,19 балла — на столько Bonsai 2 обходит 2-битную IQ2-сборку Qwen3-27B (84,78 против 72,59)
  • —22 276 — столько рассуждающих токенов модель потратила на простой SVG-запрос при максимальном уровне размышлений
  • —7,4 ГБ — занятая VRAM на 8-гигабайтной карте при контексте 4000 токенов; полный контекст потребует 12,9 ГБ
Честно
Автор не рекламирует сторонний продукт и не продаёт курс, но в конце просит подписку на канал. Ключевые бенчмарки и скорости взяты из карточки Prism ML, независимо их не воспроизводили, а пропускная способность указана для почти пустого контекста, в реальных агентных задачах скорость падает до 10–20 токенов в секунду. Модель нельзя запускать через стоковые LlamaCPP/MLX загрузчики или неофициальный Ollama-образ — ошибок не будет, но ответы окажутся правдоподобной чушью, нужен официальный репозиторий Bonsai demo.
Если слова незнакомы — 6 терминов

Компоненты

3 шт.

Формат: обзор · для практикующих · уверенность разметки 0.75 · источник