К содержимому
Дайджест

Модель Needle 3 на 29 МБ: когда она обходит DeepSeek

The Stack·29 сентября 2026·11:46
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор крошечной офлайн-модели Needle 3 для разработчиков, которые выбирают между локальным вызовом инструментов и облачными LLM.

Что в ролике

Модель Needle 3 от Cactus Compute не умеет общаться, а только выбирает из готового меню действий и заполняет поля — например, команду «приглуши свет в гостиной до 30» превращает в вызов set_lights с нужными параметрами, целиком на устройстве и без облака. В файле 29 мегабайт, урезанная версия занимает 8 мегабайт, и Cactus утверждает, что после дообучения на наборе телефонных команд DroidCall полная модель набрала 70% против 60,5% у DeepSeek V4 Flash, который больше в две тысячи раз. Однако из коробки DeepSeek выиграл все шесть тестов, а на отдельном наборе Google мобильных команд Needle так и не обошёл его. Секрет размера в том, что из модели убрали почти всё, что делает ассистента болтливым, и оставили только предсказание вызова инструмента: 121 миллион параметров, из которых 70 миллионов — это таблицы коротких слов, а считает лишь около 50 миллионов. Восьмимегабайтная версия из четырёх слоёв работает как самостоятельная модель, движок весит меньше мегабайта и выдаёт на Raspberry Pi 5 от 400 до 4000 токенов в секунду. Код и веса открыты под Apache 2.0, но для продакшена Cactus советует дообучать модель под свои задачи: бесплатно на своём железе с 4 битами или за 19 долларов три запуска на их платформе, где и получали цифры для сравнения. На практике чужая дообученная модель может промахиваться: разработчик на Hacker News получил лишь 32% правильных вызовов на 230 запросах к игровой базе, тогда как Gemma от Google дала 91%, а out-of-the-box демо на фразу про туалет предложило включить кофеварку.

Практика

Что получишь
Поймёте, при каких условиях Needle 3 действительно превосходит DeepSeek V4 Flash, как модель сжата до 29 мегабайт и какие подводные камни ждут при дообучении под свои задачи. Это поможет решить, брать ли её для камеры, часов или хаба с фиксированными действиями, и как проверить на своих командах.
Первый шаг
Начните с браузерного демо Cactus или однострочной установки движка, чтобы прогнать свои формулировки команд и сравнить с облачной моделью.
Цифры
  • —29 мегабайт — размер полной модели Needle 3, урезанная версия занимает 8 мегабайт
  • —70% против 60,5% — результат Needle 3 после дообучения на DroidCall против DeepSeek V4 Flash
  • —400–4000 токенов в секунду — скорость работы на Raspberry Pi 5 в зависимости от числа слоёв
  • —32% на 230 запросах — точность дообученной одним разработчиком Needle 3 против 91% у Gemma
Честно
Все цифры — из собственных тестов Cactus, а победа над DeepSeek получена после дообучения через их платный сервис ($19 за три запуска) на том же наборе данных, на котором модель потом проверяли; баннер с результатом стоит на странице рядом с кнопкой продажи этих запусков. Без дообучения Needle не выигрывает ни один из шести бенчмарков, а демо ошибается на нестандартных просьбах вроде «иду в туалет» — предлагает включить кофеварку. В движке по умолчанию включена телеметрия, её отключают двумя настройками в документации.
Если слова незнакомы — 4 терминов

Компоненты

5 шт.

Формат: обзор · для практикующих · уверенность разметки 0.92 · источник