Локальная 4B-модель: агентные тесты и ограничения

Что в ролике
Если вы ищете компактную локальную модель для агентных задач, Neo Horse 14B обещает коммерческое использование, запуск через Olama или LM Studio и контекст в 262 000 токенов. Модель имеет 4 млрд параметров, Apache 2.0, весит 2,4 ГБ в 4-битном виде, но это текстовая версия без vision-весов, а полный точный чекпоинт занимает 8,4 ГБ. Контекст в 262k токенов требует 8 ГБ памяти только под KV-кэш, причём 24 слоя из 32 используют линейное внимание с фиксированным состоянием, а восемь полных слоёв с 4 головами на слой дают 32 КБ кэша на токен. Обучение построено на траекториях из маршрутизатора, который делит запросы на четыре уровня сложности C0-C3, и в контролируемом эксперименте замена публичного датасета Toucan на живые записи подняла средний балл с 64,32 до 70,57. На 10 бенчмарках модель набирает в среднем 64,87 против 58,94 у базовой Quen 3.5, прибавляя 5,93, но выигрывает только в четырёх агентных тестах (Quenclaw bench, WorkBuddy, PinchBench, Two Bench) и нуле в задачах на код и инструкции. Разрыв виден на примере: в WorkBuddy 4B-модель после первой попытки кода останавливается без тестирования и ремонта, тогда как 9B входит в цикл edit-test-repair и доводит задачу до конца. На задаче с недоступным Pandas 9B переключается на стандартную библиотеку Python, экономя 70,8% запросов, 76,7% времени и 83,6% токенов по сравнению с 4B, которая зацикливается на установке зависимостей. Вывод: использовать 4B можно для одношаговых проверяемых задач, но не для многошаговых циклов, где она завершает лишь около трети задач, а разница между серверным полным чекпоинтом и локальным 4-битным файлом не опубликована.
Практика
- Что получишь
- Понимание, где 4B модель годится (одношаговые задачи с мгновенной проверкой) и где нет (многошаговые циклы), а также цифры по ресурсам: 2,4 ГБ файл, 8 ГБ кэша на полный контекст.
- Первый шаг
- Скачать модель одной командой через Olama и прогнать свою одношаговую задачу, убедившись, что она не требует цикла тест-исправление.
- Цифры
- —262 000 токенов — нативный контекст модели, на который нужно 8 ГБ памяти только под KV-кэш
- —2,4 ГБ — размер 4-битного скачиваемого файла модели
- —64,87 — средний балл модели на 10 бенчмарках против 58,94 у базовой Quen 3.5
- —70,8% меньше запросов — экономия 9B модели по сравнению с 4B на задаче с недоступным Pandas
- Честно
- В ролике нет явной рекламы или партнёрских ссылок, но разбор сосредоточен на одной модели Neo Horse 14B, и автор не раскрывает возможные связи с её создателями. Ключевые цифры сняты с полноточного серверного чекпоинта с включённым режимом мышления, а не с 4-битного файла, который вы запустите локально; точная разница в качестве не указана. Для повторения бенчмарков нужен серверный стек SGLang или VLLM, а не простая установка одной командой.
Если слова незнакомы — 5 терминов
- KV-кэшпамять для хранения промежуточных вычислений внимания на каждый токен контекста
- линейное вниманиеупрощённый механизм внимания, который не растёт с длиной контекста
- маршрутизаторсистема, определяющая, какой модели или уровню сложности передать запрос
- 4-битная квантизациясжатие весов модели для уменьшения размера файла
- агентный бенчмарктест, где модель должна выполнять многошаговые действия с инструментами
Связки из этого ролика
3 шт.- Ollama + LM Studio
- SGLang + vLLM
- Qwen 3.5 + routing harness + SGLang
Компоненты
7 шт.Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник