Needle: бесплатная LLM для точных команд на устройстве

Что в ролике
Разработчикам, которым нужен локальный ИИ без облачных вызовов, показывают Needle — бесплатную LLM размером от 8 до 29 МБ, способную работать на устройстве и отдавать структурированные вызовы инструментов. На демонстрации она управляет светом, ставит напоминание «продлить паспорт в следующем месяце» и находит заметки о дантисте по схеме. Чтобы избежать ошибок, автор советует жёстко описывать доступные инструменты, а Needle возвращает confidence-скор — например, 0,97, чтобы разработчик мог не выполнять действие при низкой уверенности. Модель можно дать Claude Code через текстовую инструкцию из репозитория, и тогда приложение пишется без внешних API и работает офлайн. Отдельный пример показывает голосовое управление роботом-пылесосом: «убери кухню, но не спальню». Needle позиционируется как конкурент Jev, но с более широкими возможностями: не только выбор из enum-вариантов, а вызов инструментов с параметрами. Проект с открытым исходным кодом на GitHub входил в топ-10 репозиториев недели.
Практика
- Что получишь
- Научитесь встраивать Needle в своё приложение и настраивать жёсткие рамки инструментов, чтобы модель не выполняла лишних действий и работала офлайн.
- Первый шаг
- Скачайте Needle с GitHub и скопируйте файл llm.txt в контекст Claude Code, чтобы ассистент начал использовать модель в проекте.
- Цифры
- —от 8 до 29 МБ — размер моделей Needle для малых устройств
- —0,97 — пример confidence-скора при выполнении команды, ниже порога действие лучше не выполнять
- —топ-10 репозиториев GitHub за неделю — так Needle попала в обзор канала
- Честно
- Видео спонсировано Zapier: в середине ведущий рекламирует zapier.com/dk и просит говорить, что услышали от Andrew. Сам Needle открыт и бесплатен, но для повторения нужно смотреть на экран, где показаны интерфейс настройки инструментов и значения confidence. В конце автор продвигает своё видео с топ-10 GitHub-репозиториев.
Если слова незнакомы — 5 терминов
- LLMязыковая модель, обученная понимать и генерировать текст
- вызовы инструментовструктурированные команды, которые модель отдаёт программе для выполнения действия
- confidence-скорчисловая оценка уверенности модели в правильности ответа
- APIпрограммный интерфейс для запросов к сервису
- enumзаранее заданный набор допустимых значений, из которого модель обязана выбрать одно
Связки из этого ролика
2 шт.- local LLM
- tool calling
Компоненты
7 шт.Формат: интервью · для практикующих · уверенность разметки 0.85 · источник