К содержимому
Дайджест

70% SKILL.md модель уже знает: замер новизны

AI Engineer·11 ноября 2026·14:01
можно прочитать понять, как устроено промо
Открыть на YouTube
Выступление Николая Петрова для разработчиков агентов, которые хотят понять, какая часть их навыков действительно учит модель новому, а какая дублирует уже известное.

Что в ролике

Начинаем с ситуации: вы пакуете повторяющиеся промпты в навыки, но часть инструкций модель и так знает. Николай Петров показывает способ измерить, что именно навык добавляет нового, и убрать лишнее. Он предлагает разбивать описание навыка на 25–30 проверяемых пунктов и прогонять каждый пункт в двух вариантах — без навыка и с ним. Ответы оценивает LLM-судья; результат раскладывается на четыре случая: модель уже знала, навык ухудшил ответ, навык дал новое знание, навык не помог. В популярных навыках вредящих пунктов мало — около одного на 400 пунктов в Anthropic skills, а в небольших самодельных навыках их больше. Замер 29 навыков обошёлся в 14 долларов на вызовах Sonnet и Haiku. Проверка строгих деталей показывает большой разрыв: Opus понимает общую идею навыка на 70%, а конкретные параметры — только на 22%. Автор советует использовать карту новизны как стартовый вектор, удалять уже известные модели куски и затем подтверждать изменения обычными eval-задачами; все замеры сделаны в его фреймворке docume.

Практика

Что получишь
Способ понять, какие части навыка модель уже знает, какие вредят ответу, а какие действительно добавляют новое — и на этом основании сократить навык без потери качества.
Первый шаг
Выбрать один свой SKILL.md, выписать из него 25–30 проверяемых фактов или инструкций и прогнать их вопросами в двух вариантах — с навыком и без.
Цифры
  • —70% и 22% — общее понимание навыка у Opus против понимания конкретных деталей
  • —29 навыков — замер новизны обошёлся в 14 долларов на вызовах Sonnet и Haiku
  • —3 из 5 задач решает модель без навыка, 5 из 5 — с навыком
  • —25–30 проверяемых пунктов на навык рекомендует выделять автор
Честно
Автор продвигает собственный фреймворк docume, в котором сделаны все замеры. Конкретные промпты судьи, разметка пунктов и шаблоны не показаны, а многие графики и точные цифры остаются только на слайдах, поэтому для повторения придётся додумывать детали.
Если слова незнакомы — 5 терминов

Компоненты

2 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник