Локальная MiniCPM5 2B: где обгоняет 4B, а где ломается

Что в ролике
Если вы присматриваетесь к маленькой локальной модели для кода, автор проверяет MiniCPM5 2B от OpenBMB и показывает, что заявленное превосходство над более крупным конкурентом верно лишь на части тестов. По вендорским бенчмаркам модель берёт 46 на SWE-bench Verified против 34 у Qwen 3.5 4B и 69 против 56 на LiveCodeBench, но на SWE-bench Pro проигрывает 14 против 28, на Terminal-Bench примерно 8,5 против 26 и уступает в MMLU-Pro, GPQA Diamond и LongBench v2. Что изменилось по сравнению с прошлым поколением: обычная архитектура llama вместо разреженного внимания, контекст около 128 тысяч токенов и обучение, построенное вокруг работы с инструментами. Отдельная находка — квантованные GGUF-сборки на документированных настройках уходят в бесконечные повторы: у восьмибитной 55 процентов генераций, у четырёхбитной 92 процента, а качество на HumanEval+ падает до 43 и 6 соответственно. Лечится это одним параметром: с repeat penalty 1,15 восьмибитная сборка поднимается до 92, четырёхбитная до 71, а производитель позже признал, что нижняя граница вероятности по умолчанию выставлена неверно. В демо модель запускается локально на Mac через MLX — файл весит 1,3 гигабайта, есть блок рассуждений и счётчик токенов в секунду. Второе демо идёт через llama.cpp с обычным OpenAI-клиентом, где модель корректно возвращает структурированный вызов инструмента. Итог автора: для больших задач он всё равно возьмёт Qwen 3.5 4B, но интересно другое — насколько близко маленькие локальные модели подошли к флагманам и как легко их ломают настройки по умолчанию.
Практика
- Что получишь
- Станете понимать, где двухмиллиардная модель действительно обгоняет вдвое более крупную, а где проигрывает, и какие параметры сэмплера нужно поменять, чтобы она не зацикливалась.
- Первый шаг
- Скачать четырёхбитную сборку под MLX или GGUF-файл, выставить repeat penalty 1,15 и нижнюю границу вероятности в ноль, а затем прогнать её на своей задаче рядом с Qwen 3.5 4B.
- Цифры
- —46 против 34 — столько набирают MiniCPM5 2B и Qwen 3.5 4B на SWE-bench Verified по вендорским цифрам
- —92 процента генераций — столько уходило в бесконечный повтор у четырёхбитной сборки до смены параметра
- —с 6 до 71 — настолько вырос результат четырёхбитной сборки на HumanEval+ после repeat penalty 1,15
- —1,3 гигабайта — столько занимает четырёхбитный файл модели, запущенный локально на Mac
- Честно
- Все цифры бенчмарков вендорские, скрипты оценки производитель не опубликовал, поэтому сравнение стоит перепроверять на своей задаче. Команды установки и запуска автор не диктует — их видно только на экране в терминале. Своего продукта и рекламы в ролике нет, только призыв подписаться на канал.
Если слова незнакомы — 5 терминов
- GGUFформат упаковки модели для локального запуска
- квантованные GGUF-сборкисжатые версии модели, где веса хранятся с меньшей точностью и качество может падать
- бенчмаркнабор тестовых задач, по которым сравнивают модели
- контекстобъём текста, который модель удерживает за один разговор
- вызов инструментаслучай, когда модель не отвечает словами, а выдаёт команду выполнить внешнюю функцию
Связки из этого ролика
3 шт.- MiniCPM5 2B + MLX LM — локальный запуск 4-битной модели на Mac с интерактивным чатом и счётчиком токенов в секунду
- MiniCPM5 2B + llama.cpp + OpenAI-клиент — tool calling со структурированным function call на погодном инструменте
- GGUF Q4_K_M / Q8 + repeat penalty 1.15 и min_p 0 — устранение зацикливания на документированных настройках (92% и 55% генераций)
Компоненты
19 шт.Формат: обзор · для практикующих · уверенность разметки 0.7 · источник