К содержимому
Дайджест

Локальная MiniCPM5 2B: где обгоняет 4B, а где ломается

Better Stack·15 сентября 2026·7:55
текст даёт основное выбрать инструмент
Открыть на YouTube
Проверка компактной модели MiniCPM5 2B для локального запуска: сверка бенчмарков, найденный дефект квантованных сборок и живые демо — для тех, кто выбирает модель для локального агента.

Что в ролике

Если вы присматриваетесь к маленькой локальной модели для кода, автор проверяет MiniCPM5 2B от OpenBMB и показывает, что заявленное превосходство над более крупным конкурентом верно лишь на части тестов. По вендорским бенчмаркам модель берёт 46 на SWE-bench Verified против 34 у Qwen 3.5 4B и 69 против 56 на LiveCodeBench, но на SWE-bench Pro проигрывает 14 против 28, на Terminal-Bench примерно 8,5 против 26 и уступает в MMLU-Pro, GPQA Diamond и LongBench v2. Что изменилось по сравнению с прошлым поколением: обычная архитектура llama вместо разреженного внимания, контекст около 128 тысяч токенов и обучение, построенное вокруг работы с инструментами. Отдельная находка — квантованные GGUF-сборки на документированных настройках уходят в бесконечные повторы: у восьмибитной 55 процентов генераций, у четырёхбитной 92 процента, а качество на HumanEval+ падает до 43 и 6 соответственно. Лечится это одним параметром: с repeat penalty 1,15 восьмибитная сборка поднимается до 92, четырёхбитная до 71, а производитель позже признал, что нижняя граница вероятности по умолчанию выставлена неверно. В демо модель запускается локально на Mac через MLX — файл весит 1,3 гигабайта, есть блок рассуждений и счётчик токенов в секунду. Второе демо идёт через llama.cpp с обычным OpenAI-клиентом, где модель корректно возвращает структурированный вызов инструмента. Итог автора: для больших задач он всё равно возьмёт Qwen 3.5 4B, но интересно другое — насколько близко маленькие локальные модели подошли к флагманам и как легко их ломают настройки по умолчанию.

Практика

Что получишь
Станете понимать, где двухмиллиардная модель действительно обгоняет вдвое более крупную, а где проигрывает, и какие параметры сэмплера нужно поменять, чтобы она не зацикливалась.
Первый шаг
Скачать четырёхбитную сборку под MLX или GGUF-файл, выставить repeat penalty 1,15 и нижнюю границу вероятности в ноль, а затем прогнать её на своей задаче рядом с Qwen 3.5 4B.
Цифры
  • —46 против 34 — столько набирают MiniCPM5 2B и Qwen 3.5 4B на SWE-bench Verified по вендорским цифрам
  • —92 процента генераций — столько уходило в бесконечный повтор у четырёхбитной сборки до смены параметра
  • —с 6 до 71 — настолько вырос результат четырёхбитной сборки на HumanEval+ после repeat penalty 1,15
  • —1,3 гигабайта — столько занимает четырёхбитный файл модели, запущенный локально на Mac
Честно
Все цифры бенчмарков вендорские, скрипты оценки производитель не опубликовал, поэтому сравнение стоит перепроверять на своей задаче. Команды установки и запуска автор не диктует — их видно только на экране в терминале. Своего продукта и рекламы в ролике нет, только призыв подписаться на канал.
Если слова незнакомы — 5 терминов

Связки из этого ролика

3 шт.

Компоненты

19 шт.

Формат: обзор · для практикующих · уверенность разметки 0.7 · источник