К содержимому
Дайджест

Рекурсивные decision-модели: быстрые решения без LLM

AI Engineer·10 ноября 2026·51:48
можно прочитать понять, как устроено промо
Открыть на YouTube
Доклад о том, как строить агентов на быстрых моделях-классификаторах, которые принимают решения без генеративного LLM, и об анонсе проекта OSO для управления компьютером голосом.

Что в ролике

Рэймонд Вайткамп предлагает архитектуру рекурсивных decision-моделей (RDM): быстрые «система 1» модели, которые только выбирают из вариантов, могут вызывать такие же подмодели и лишь при необходимости обращаться к генеративной LLM. Он задаёт три правила: контекст остаётся снаружи модели и нарезается кодом, решение может вызывать другое решение до ограниченной глубины, а система обязана работать вообще без генеративных моделей, но при этом уметь с ними сочетаться. На примерах показано, как дерево таких маленьких решений сортирует товары по 12 тысячам категорий Shopify, ищет объекты делением изображения и управляет персонажем в Factorio без единого LLM-вызова. Для совместной работы decision- и генеративной моделей вводится общая «карта»: decision-модель указывает на нужное действие, а LLM редактирует и дополняет карту; параллельные решения пропускает через арбитра, чтобы избежать конфликтов. Реализации доступны как модуль для DSPy и отдельный пакет на Rust. Демо earshot показывает, как рекурсивная decision-модель учится доверять крошечной real-time аудиомодели и сокращает задержку реакции на голосовые команды до 45 миллисекунд. Автор анонсирует проект OSO — агента управления компьютером на основе рекурсивных decision-моделей с голосовым вводом и листом ожидания.

Практика

Что получишь
Понимание архитектуры, где быстрые модели принимают решения без LLM, и готовые примеры: сортировка категорий, поиск по изображению, управление в игре. Сможете применить паттерн «decision-first» в своих агентах и оценить проект OSO.
Первый шаг
Изучить репозиторий RDM (DSPy-модуль или Rust-пакет) и разобрать пример hierarchical search, чтобы понять, как дерево решений работает без генеративной модели.
Цифры
  • —12 000 — столько категорий товаров в базе Shopify перебирает hierarchical search без загрузки всего списка в контекст
  • —45 мс — до такой задержки реакции на голосовые команды удалось сократить отклик в демо earshot
  • —150 мс — время классификации дудла в браузере через WebGPU у проекта Hunch
Честно
Автор продвигает собственный проект OSO (oso.computer) и приглашает в лист ожидания, а также свои библиотеки RDM; сам проект на момент доклада ещё не готов. Готовых инструкций по промышленному внедрению нет: часть демонстраций игрушечные, а слайды обещают выложить уже после записи.
Если слова незнакомы — 5 терминов

Компоненты

10 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник