Старые промпты мешают Claude: аудит, кэш, hill climbing

Что в ролике
Разработчик, который переходит на новые модели Claude, часто сохраняет в промптах старые приёмы вроде «думай пошагово» или противоречивые правила, а это уже вредит качеству и увеличивает расход токенов. Лэнс Мартин показывает команду checkup prompt audit в Claude Code, которая сама находит и убирает такие анти-паттерны из рабочей директории, а в его синтетическом тесте на 50 тикетах поддержки после миграции на Opus 5,5 аудит дал дополнительный рост качества и снижение затрат. Вторая рекомендация — следить за промпт-кэшем: в многошаговых агентах повторяющийся контекст должен кэшироваться, и команда диагностики помогла срезать до 72% стоимости на внутренних бенчмарках без потери качества. Для оценки моделей важно строить наборы с запасом по качеству, низкой дисперсией и понятными критериями, иначе hill climbing упрётся в нерешаемые кейсы и сожжёт бюджет. Команда Claude API build eval строит такой набор по трассировкам, а Claude API hill climb автономно улучшает промпт или навык, используя train/test сплит и проверку на переобучение. На примере навыка Claude API точность выросла с 66% до значительно более высокого уровня, а в другом кейсе hill climbing заменил Opus 4,8 high на Opus 5,5 low и снизил стоимость на 90% при сохранении качества. Под конец автор объясняет, что для длительной автономной работы нужны надёжные и безопасные harness, и показывает API Manage Agents, где сессионный лог и песочницы отделены от агента, секреты лежат в vault, а система восстанавливается после падений.
Практика
- Что получишь
- Набор конкретных команд и принципов, чтобы убрать устаревшие паттерны из промптов, правильно использовать кэш, выстроить оценку и запустить автономное улучшение агента на Claude.
- Первый шаг
- Запустить в Claude Code команду checkup prompt audit для конфигурации проекта или Claude API prompt audit для кода, работающего с API.
- Цифры
- —50 — столько синтетических тикетов поддержки было в оценке, на которой проверяли аудит промптов
- —72% — столько стоимости удалось срезать на внутренних бенчмарках после настройки промпт-кэша без потери качества
- —90% — столько стоимости снял hill climbing при переходе с Opus 4,8 high на Opus 5,5 low с подстройкой промпта
- —66% — стартовая точность навыка Claude API на собранном наборе вопросов, которую улучшил hill climbing
- Честно
- Автор — сотрудник Anthropic, поэтому все показанные команды встроены в Claude Code и продвигают продукты компании, но не сторонний курс. Для повторения нужен Claude Code и доступ к API; графики и интерфейс команд видны только на экране, их значений в пересказе нет. Некоторые примеры hill climbing и Manage Agents требуют собственного набора оценок и инфраструктуры, а цифры из доклада — с внутренних и синтетических бенчмарков, не гарантируют повторения.
Если слова незнакомы — 7 терминов
- промптинструкция, которую вы даёте модели
- анти-паттерныустаревшие приёмы в промптах, которые мешают новым моделям
- промпт-кэшкэширование повторяющейся части контекста между запросами, чтобы платить меньше
- hill climbingавтономный перебор изменений по метрике оценки для улучшения результата
- train/test сплитразделение примеров на обучающую и проверочную части, чтобы заметить переобучение
- harnessобвязка, которая запускает агента и управляет его окружением
- vaultзащищённое хранилище секретов, к которому модель получает доступ без чтения самих значений
Связки из этого ролика
2 шт.- Claude Code + Claude API
- Claude API + prompt cache
Компоненты
9 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник