MiniCPM5-2B: маленькая модель для агентов

Что в ролике
Если вам нужен быстрый и дешёвый исполнитель для вызовов инструментов внутри агентской системы, этот разбор стоит посмотреть: автор проверяет MiniCPM5-2B от OpenBMB, выросшую с 1B до 2B. Модель заявляется как конкурент 4B-решений, и по рецепту обучения видно, за счёт чего: вместо гибридных данных у неё 400 миллиардов токенов глубокого размышления, а обычный GRPO заменён на critic-based подход RL2, который авторы называют более стабильным. Дальше идут эксперты под отдельные домены — рассуждения, общие задачи и агентные сценарии, — и слой on-policy distillation, где модель сама генерирует траектории и по ним дообучается. На бенчмарках она обгоняет другие 2B-модели и часть 4B, но в SWE-bench Pro и Terminal Bench заметно проигрывает Qwen, у которого, по мнению автора, просто больше бюджета на предобучение. В собственных тестах картина сходится: знания и генерация кода слабые — на просьбу написать статью на 5000 слов модель выдаёт заметно меньше, а SVG и HTML получаются посредственно. Зато в локальном запуске на RTX Pro 6000 она выдаёт больше 400 токенов в секунду, а на агентных тестах проходит 8 из 8, включая планирование с несколькими инструментами, сопротивление подсунутым инструкциям и повторы после намеренных сбоев. Главная ценность в том, что модель не пытается отвечать из своих знаний, а честно передаёт работу инструментам — именно это и нужно субагентам с большим числом вызовов.
Практика
- Что получишь
- Понять, годится ли модель на 2B для агентских задач: где она надёжна, а где вам всё равно понадобится большая модель для кода и знаний.
- Первый шаг
- Скачать четырёхбитную GGUF-версию с Hugging Face, запустить её в llama.cpp и прогнать на своих сценариях вызова инструментов.
- Цифры
- —400 миллиардов токенов глубокого размышления — столько данных ушло на обучение версии 2B вместо 200 миллиардов у 1B
- —8 из 8 — столько агентных тестов на вызов инструментов прошла четырёхбитная GGUF-версия в llama.cpp
- —больше 400 токенов в секунду — скорость генерации в локальном запуске, а в сценарии с несколькими инструментами до 500
- —10 прогонов — столько раз автор повторял каждый тест, и один из них проходил примерно в 80% случаев
- Честно
- Середина ролика — рекламная вставка RunPod Serverless с показом деплоя модели в совместимый с OpenAI API, это спонсор выпуска. Часть цифр взята из карточек и бенчмарков самих разработчиков модели, а не измерена автором. Ошибки формата при запуске через SGLang он объясняет настройками и обещает, что модель тут не виновата, но подтверждения этому в ролике нет.
Если слова незнакомы — 7 терминов
- вызов инструментовумение модели не отвечать текстом, а правильно запускать функции и сервисы
- субагентвспомогательный агент, который выполняет отдельные задачи внутри большой системы
- бенчмаркнабор стандартных тестов, по которым сравнивают модели между собой
- RLобучение с подкреплением: модель пробует варианты и закрепляет те, что дали лучший результат
- дистилляцияперенос поведения большой модели-учителя в маленькую
- GGUFсжатый формат модели для локального запуска на своём компьютере
- speculative decodingприём ускорения, когда маленькая модель угадывает текст, а большая его проверяет
Связки из этого ролика
4 шт.- MiniCPM5-2B (GGUF 4-bit) + llama.cpp — локальный запуск на 400+ токенов/с и прохождение агентных tool-use тестов 8 из 8
- MiniCPM5-2B (BFloat16 и speculative-версия) + SGLang — запуск на RTX Pro 6000 и замер скорости генерации
- RunPod Serverless + Hugging Face — деплой модели как OpenAI-совместимого API с выбором GPU, лимитами скейлинга и оплатой по секундам
- MiniCPM5-2B + DuckDuckGo и fetch URL — мультиинструментальный сценарий в tool playground, где модель предпочитает инструменты собственным знаниям
Компоненты
14 шт.Формат: обзор · для продвинутых · уверенность разметки 0.84 · источник