К содержимому
Дайджест

Bonsai 2: 6 ГБ с 98% качества, но слаб как агент

The Stack·28 сентября 2026·13:12
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор локальной сжатой модели Bonsai 2 для тех, кто пишет код и хочет понять, может ли она заменить платного агента.

Что в ролике

Стартап Prism ML сжал бесплатную модель Alibaba Quen 3.8 на 27 млрд параметров из ~54 ГБ в файл ~6 ГБ и выложил её бесплатно как Bonsai 2, заявив сохранение 98% исходных результатов. Для одиночных запросов это верно: на LiveCodeBench из 1055 задач сжатая модель набирает около 90 баллов, как полная, и уступает ей меньше балла в среднем по четырём коротким тестам. В многошаговой агентной работе картина хуже: по данным собственного теста Prism ML на SWE-bench Verified, где агент правит реальные баги в Python-проектах, Bonsai 2 решает 61% задач против 81% у оригинала. На Terminal Bench разрыв почти 30 баллов: 53 против 70, и это примерно уровень Claude Code на старте в начале 2025 года. Разработчики, запускавшие модель в agent-режиме, описывают её как «работника одного файла»: простые задачи проходят, сложные с несколькими модулями не завершаются, а модель может долго рассуждать и не решать, например 25 минут на простое Swift-приложение. Для запуска нужно заметно больше памяти, чем 6 ГБ: контекст в 100 000 токенов при стандартных настройках отнимает ещё около 6 ГБ, поэтому комфортная машина — видеокарта на 16 ГБ или Mac с большим объёмом, либо 12 ГБ с экспериментальным сжатием. Обычные загрузчики вроде Ollama и LM Studio не подходят: Bonsai 2 работает только через собственную сборку раннера от Prism ML, а агент Hermes подключается к ней как к серверу.

Практика

Что получишь
Понятную картину, где бесплатный Bonsai 2 справляется с быстрыми задачами на одном промпте, а где уступает платным агентам, и что нужно для его запуска.
Первый шаг
Скачайте файл Bonsai 2 и собственную сборку Prism ML для LlamaCpp, затем подключите её к агенту Hermes на машине с видеокартой от 12 ГБ.
Цифры
  • —98% — заявленное сохранение качества на коротких тестах по сравнению с полной моделью
  • —61% против 81% — доля решённых задач в SWE-bench Verified у Bonsai 2 и оригинала
  • —6 ГБ — размер файла Bonsai 2 и столько же может занимать контекст из 100 000 токенов
  • —16 ГБ — рекомендуемый объём видеопамяти для комфортного запуска агента
Честно
Ролик опирается на собственные тесты Prism ML и её white paper, поэтому цифры 98% и 61% — это результаты вендора; независимые запуски дают разброс от полного провала до половины задач. Для повторения нужен достаточно мощный GPU или Mac и собственная сборка Prism ML, обычные загрузчики Ollama и LM Studio не подойдут. Демонстрация игры-скейтборда и настройки агента видны только на экране, в транскрипте их параметры не указаны.
Если слова незнакомы — 4 терминов

Компоненты

10 шт.

Формат: обзор · для практикующих · уверенность разметки 0.9 · источник