К содержимому
Дайджест

Needle 3: учим виртуальную утку манерам на GPU

Better Stack·3 октября 2026·11:24
текст даёт основное можно повторить пошагово
Открыть на YouTube
Технический разбор новой модели Needle 3 для вызова инструментов на слабых устройствах и практический эксперимент с файнтюнингом виртуальной робоутки на собственном GPU.

Что в ролике

Needle 3 от Cactus Compute — это не чат-бот, а диспетчер инструментов: вы даёте модели список допустимых действий и параметров, а она по обычной фразе выбирает нужное действие и заполняет детали. Главное новшество — «лестница интеллекта»: одна модель из 20 слоёв умеет обрезаться до любой длины от 2 до 20 слоёв, и каждый урезанный вариант остаётся рабочим, поэтому один скачанный файл покрывает и телефон, и часы. Полная версия выросла со 45 до 121 миллиона параметров, но больше половины занимает engram-память — таблица поиска, которая считается дешевле, чем обычные вычисления, так что модель работает примерно как 50-миллионная. Автор обучает виртуальную робоутку Open Duck Mini на своём RTX 5090: он сгенерировал 1700 примеров с пятью правилами вежливости и реакции на драматические события, а ещё оставил 49 рукописных промптов для проверки. Обучение полной 20-слойной модели заняло 12,5 минуты, четырёхслойной — 5 минут, после чего утка начала отказываться выполнять грубые команды, реагировать на «пол — лава» куриным танцем и не вызывать инструменты на просьбу поставить таймер. На проверочных 49 примерах обычный Needle 3 набрал 13 верных ответов (27%), файнтюненная полная модель — 41 (84%), а урезанная четырёхслойная — 30 (61%), что всё равно вдвое лучше исходной. Из нюансов: при локальном файнтюнинге пропадает confidence score, который сохраняется только на платной платформе Cactus за 19 долларов, а файлы модели получаются больше официальных из-за отсутствия их сжатия.

Практика

Что получишь
Понять, как работает Needle 3 и за счёт чего урезанные версии обучаются под конкретные устройства, а также увидеть рабочий пример файнтюнинга на 1700 примерах с замером точности.
Первый шаг
Скачать приложение с виртуальной уткой по ссылке из описания и попробовать обычную и обученную модели на своих командах.
Цифры
  • —1700 примеров — столько обучающих пар сгенерировал автор для файнтюнинга утки, плюс 49 рукописных промптов для проверки
  • —12,5 минуты — столько заняло обучение полной 20-слойной модели на RTX 5090, а четырёхслойная обучилась за 5 минут
  • —13, 41 и 30 из 49 — столько верных ответов дали обычная Needle 3, полная и четырёхслойная файнтюненные модели (27%, 84% и 61%)
  • —19 долларов — стоимость трёх запусков обучения на платформе Cactus
Честно
Автор оставляет ссылку на своё приложение с виртуальной уткой в описании, а в конце просит лайк, подписку и предлагает прислать ему настоящего Open Duck Mini — прямой рекламы курса нет. Полные 1700 обучающих примеров и код тренировки не показаны, так что локально повторить обучение можно только по общим деталям. Платная альтернатива — платформа Cactus за 19 долларов за три запуска, на ней же сохраняется confidence score.
Если слова незнакомы — 3 терминов

Связки из этого ролика

2 шт.

Компоненты

5 шт.

Формат: сборка на живом примере · для практикующих · уверенность разметки 0.9 · источник