Bonsai 2: 6 ГБ с 98% качества, но слаб как агент

Что в ролике
Стартап Prism ML сжал бесплатную модель Alibaba Quen 3.8 на 27 млрд параметров из ~54 ГБ в файл ~6 ГБ и выложил её бесплатно как Bonsai 2, заявив сохранение 98% исходных результатов. Для одиночных запросов это верно: на LiveCodeBench из 1055 задач сжатая модель набирает около 90 баллов, как полная, и уступает ей меньше балла в среднем по четырём коротким тестам. В многошаговой агентной работе картина хуже: по данным собственного теста Prism ML на SWE-bench Verified, где агент правит реальные баги в Python-проектах, Bonsai 2 решает 61% задач против 81% у оригинала. На Terminal Bench разрыв почти 30 баллов: 53 против 70, и это примерно уровень Claude Code на старте в начале 2025 года. Разработчики, запускавшие модель в agent-режиме, описывают её как «работника одного файла»: простые задачи проходят, сложные с несколькими модулями не завершаются, а модель может долго рассуждать и не решать, например 25 минут на простое Swift-приложение. Для запуска нужно заметно больше памяти, чем 6 ГБ: контекст в 100 000 токенов при стандартных настройках отнимает ещё около 6 ГБ, поэтому комфортная машина — видеокарта на 16 ГБ или Mac с большим объёмом, либо 12 ГБ с экспериментальным сжатием. Обычные загрузчики вроде Ollama и LM Studio не подходят: Bonsai 2 работает только через собственную сборку раннера от Prism ML, а агент Hermes подключается к ней как к серверу.
Практика
- Что получишь
- Понятную картину, где бесплатный Bonsai 2 справляется с быстрыми задачами на одном промпте, а где уступает платным агентам, и что нужно для его запуска.
- Первый шаг
- Скачайте файл Bonsai 2 и собственную сборку Prism ML для LlamaCpp, затем подключите её к агенту Hermes на машине с видеокартой от 12 ГБ.
- Цифры
- —98% — заявленное сохранение качества на коротких тестах по сравнению с полной моделью
- —61% против 81% — доля решённых задач в SWE-bench Verified у Bonsai 2 и оригинала
- —6 ГБ — размер файла Bonsai 2 и столько же может занимать контекст из 100 000 токенов
- —16 ГБ — рекомендуемый объём видеопамяти для комфортного запуска агента
- Честно
- Ролик опирается на собственные тесты Prism ML и её white paper, поэтому цифры 98% и 61% — это результаты вендора; независимые запуски дают разброс от полного провала до половины задач. Для повторения нужен достаточно мощный GPU или Mac и собственная сборка Prism ML, обычные загрузчики Ollama и LM Studio не подойдут. Демонстрация игры-скейтборда и настройки агента видны только на экране, в транскрипте их параметры не указаны.
Если слова незнакомы — 4 терминов
- параметрычисла, которые модель выучила при обучении и которые определяют её поведение
- агентпрограмма, которая сама читает файлы, правит код и запускает команды в несколько шагов
- контекствся переписка и файлы, которые модель держит в рабочей памяти во время сеанса
- токеннебольшой кусок текста, примерно короткое слово, в котором модель хранит контекст
Компоненты
10 шт.Формат: обзор · для практикующих · уверенность разметки 0.9 · источник