К содержимому
Дайджест

Старые промпты мешают Claude: аудит, кэш, hill climbing

AI Engineer·6 ноября 2026·64:03
текст даёт основное понять, как устроено промо пошагово
Открыть на YouTube
Доклад сотрудника Anthropic для разработчиков, которые строят приложения и агентов на Claude: как убрать устаревшие промпты, включить кэш, построить оценку и запустить hill climbing.

Что в ролике

Разработчик, который переходит на новые модели Claude, часто сохраняет в промптах старые приёмы вроде «думай пошагово» или противоречивые правила, а это уже вредит качеству и увеличивает расход токенов. Лэнс Мартин показывает команду checkup prompt audit в Claude Code, которая сама находит и убирает такие анти-паттерны из рабочей директории, а в его синтетическом тесте на 50 тикетах поддержки после миграции на Opus 5,5 аудит дал дополнительный рост качества и снижение затрат. Вторая рекомендация — следить за промпт-кэшем: в многошаговых агентах повторяющийся контекст должен кэшироваться, и команда диагностики помогла срезать до 72% стоимости на внутренних бенчмарках без потери качества. Для оценки моделей важно строить наборы с запасом по качеству, низкой дисперсией и понятными критериями, иначе hill climbing упрётся в нерешаемые кейсы и сожжёт бюджет. Команда Claude API build eval строит такой набор по трассировкам, а Claude API hill climb автономно улучшает промпт или навык, используя train/test сплит и проверку на переобучение. На примере навыка Claude API точность выросла с 66% до значительно более высокого уровня, а в другом кейсе hill climbing заменил Opus 4,8 high на Opus 5,5 low и снизил стоимость на 90% при сохранении качества. Под конец автор объясняет, что для длительной автономной работы нужны надёжные и безопасные harness, и показывает API Manage Agents, где сессионный лог и песочницы отделены от агента, секреты лежат в vault, а система восстанавливается после падений.

Практика

Что получишь
Набор конкретных команд и принципов, чтобы убрать устаревшие паттерны из промптов, правильно использовать кэш, выстроить оценку и запустить автономное улучшение агента на Claude.
Первый шаг
Запустить в Claude Code команду checkup prompt audit для конфигурации проекта или Claude API prompt audit для кода, работающего с API.
Цифры
  • —50 — столько синтетических тикетов поддержки было в оценке, на которой проверяли аудит промптов
  • —72% — столько стоимости удалось срезать на внутренних бенчмарках после настройки промпт-кэша без потери качества
  • —90% — столько стоимости снял hill climbing при переходе с Opus 4,8 high на Opus 5,5 low с подстройкой промпта
  • —66% — стартовая точность навыка Claude API на собранном наборе вопросов, которую улучшил hill climbing
Честно
Автор — сотрудник Anthropic, поэтому все показанные команды встроены в Claude Code и продвигают продукты компании, но не сторонний курс. Для повторения нужен Claude Code и доступ к API; графики и интерфейс команд видны только на экране, их значений в пересказе нет. Некоторые примеры hill climbing и Manage Agents требуют собственного набора оценок и инфраструктуры, а цифры из доклада — с внутренних и синтетических бенчмарков, не гарантируют повторения.
Если слова незнакомы — 7 терминов

Связки из этого ролика

2 шт.

Компоненты

9 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник