Модель Needle 3 на 29 МБ: когда она обходит DeepSeek

Что в ролике
Модель Needle 3 от Cactus Compute не умеет общаться, а только выбирает из готового меню действий и заполняет поля — например, команду «приглуши свет в гостиной до 30» превращает в вызов set_lights с нужными параметрами, целиком на устройстве и без облака. В файле 29 мегабайт, урезанная версия занимает 8 мегабайт, и Cactus утверждает, что после дообучения на наборе телефонных команд DroidCall полная модель набрала 70% против 60,5% у DeepSeek V4 Flash, который больше в две тысячи раз. Однако из коробки DeepSeek выиграл все шесть тестов, а на отдельном наборе Google мобильных команд Needle так и не обошёл его. Секрет размера в том, что из модели убрали почти всё, что делает ассистента болтливым, и оставили только предсказание вызова инструмента: 121 миллион параметров, из которых 70 миллионов — это таблицы коротких слов, а считает лишь около 50 миллионов. Восьмимегабайтная версия из четырёх слоёв работает как самостоятельная модель, движок весит меньше мегабайта и выдаёт на Raspberry Pi 5 от 400 до 4000 токенов в секунду. Код и веса открыты под Apache 2.0, но для продакшена Cactus советует дообучать модель под свои задачи: бесплатно на своём железе с 4 битами или за 19 долларов три запуска на их платформе, где и получали цифры для сравнения. На практике чужая дообученная модель может промахиваться: разработчик на Hacker News получил лишь 32% правильных вызовов на 230 запросах к игровой базе, тогда как Gemma от Google дала 91%, а out-of-the-box демо на фразу про туалет предложило включить кофеварку.
Практика
- Что получишь
- Поймёте, при каких условиях Needle 3 действительно превосходит DeepSeek V4 Flash, как модель сжата до 29 мегабайт и какие подводные камни ждут при дообучении под свои задачи. Это поможет решить, брать ли её для камеры, часов или хаба с фиксированными действиями, и как проверить на своих командах.
- Первый шаг
- Начните с браузерного демо Cactus или однострочной установки движка, чтобы прогнать свои формулировки команд и сравнить с облачной моделью.
- Цифры
- —29 мегабайт — размер полной модели Needle 3, урезанная версия занимает 8 мегабайт
- —70% против 60,5% — результат Needle 3 после дообучения на DroidCall против DeepSeek V4 Flash
- —400–4000 токенов в секунду — скорость работы на Raspberry Pi 5 в зависимости от числа слоёв
- —32% на 230 запросах — точность дообученной одним разработчиком Needle 3 против 91% у Gemma
- Честно
- Все цифры — из собственных тестов Cactus, а победа над DeepSeek получена после дообучения через их платный сервис ($19 за три запуска) на том же наборе данных, на котором модель потом проверяли; баннер с результатом стоит на странице рядом с кнопкой продажи этих запусков. Без дообучения Needle не выигрывает ни один из шести бенчмарков, а демо ошибается на нестандартных просьбах вроде «иду в туалет» — предлагает включить кофеварку. В движке по умолчанию включена телеметрия, её отключают двумя настройками в документации.
Если слова незнакомы — 4 терминов
- вызов инструментакогда модель не пишет ответ, а заполняет готовую команду, которую приложение может выполнить
- параметрычисловые веса модели, которые она запомнила при обучении; чем их больше, тем модель крупнее
- токенпримерно слово или часть слова, которую модель обрабатывает за один шаг
- дообучение (fine-tuning)дополнительная тренировка модели на примерах одной узкой задачи
Компоненты
5 шт.Формат: обзор · для практикующих · уверенность разметки 0.92 · источник