70% SKILL.md модель уже знает: замер новизны

Что в ролике
Начинаем с ситуации: вы пакуете повторяющиеся промпты в навыки, но часть инструкций модель и так знает. Николай Петров показывает способ измерить, что именно навык добавляет нового, и убрать лишнее. Он предлагает разбивать описание навыка на 25–30 проверяемых пунктов и прогонять каждый пункт в двух вариантах — без навыка и с ним. Ответы оценивает LLM-судья; результат раскладывается на четыре случая: модель уже знала, навык ухудшил ответ, навык дал новое знание, навык не помог. В популярных навыках вредящих пунктов мало — около одного на 400 пунктов в Anthropic skills, а в небольших самодельных навыках их больше. Замер 29 навыков обошёлся в 14 долларов на вызовах Sonnet и Haiku. Проверка строгих деталей показывает большой разрыв: Opus понимает общую идею навыка на 70%, а конкретные параметры — только на 22%. Автор советует использовать карту новизны как стартовый вектор, удалять уже известные модели куски и затем подтверждать изменения обычными eval-задачами; все замеры сделаны в его фреймворке docume.
Практика
- Что получишь
- Способ понять, какие части навыка модель уже знает, какие вредят ответу, а какие действительно добавляют новое — и на этом основании сократить навык без потери качества.
- Первый шаг
- Выбрать один свой SKILL.md, выписать из него 25–30 проверяемых фактов или инструкций и прогнать их вопросами в двух вариантах — с навыком и без.
- Цифры
- —70% и 22% — общее понимание навыка у Opus против понимания конкретных деталей
- —29 навыков — замер новизны обошёлся в 14 долларов на вызовах Sonnet и Haiku
- —3 из 5 задач решает модель без навыка, 5 из 5 — с навыком
- —25–30 проверяемых пунктов на навык рекомендует выделять автор
- Честно
- Автор продвигает собственный фреймворк docume, в котором сделаны все замеры. Конкретные промпты судьи, разметка пунктов и шаблоны не показаны, а многие графики и точные цифры остаются только на слайдах, поэтому для повторения придётся додумывать детали.
Если слова незнакомы — 5 терминов
- навыкинструкция или набор действий, которые агент выполняет по запросу
- промпттекст-задание, которое ты пишешь модели
- LLM-судьямодель, которая оценивает ответы другой модели по заданным критериям
- eval-задачипроверочные задания для оценки качества работы агента
- контекстобъём информации, который модель держит в текущем запросе и который влияет на расход токенов
Компоненты
2 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник