Как экономить на токенах: плейбук tokenmaxxing из OutRival

Что в ролике
Когда агентная система обрабатывает миллиарды токенов в день, каждый лишний вызов модели оборачивается задержками и миллионами долларов, поэтому спикер предлагает перевернуть tokenmaxxing с «сжечь больше токенов» на «выжать максимум intelligence из минимального payload». Начинать нужно с наблюдения: инструментировать общий клиент моделей, чтобы каждая попытка попадала в трассу с версией промпта, настройками модели, токенами, задержкой и стоимостью, например через OpenTelemetry. Дальше строится бенчмарк на исторических production-примерах, а для честного сравнения вводится ceiling test — прогон production-модели три раза на одних и тех же входах, который показал self-disagreement около 7%, тогда как дешёвый кандидат расходился с базовой моделью на 18%. После этого автор включает три рычага: максимизация prefix cache rate, сжатие инструкций через поиск по пространству промптов с фреймворком DSPI и оптимизатором Jeepa (сокращение instruction tokens на 51% без смены контракта), и downsizing модели. Маленькую модель можно использовать для routing и экстракции, а тяжёлую frontier-модель будить только для сложных рассуждений, либо прогнать ту же оптимизацию на маленькой модели, чтобы она училась под конкретный датасет. Финальная проверка — shadow deployment на одинаковых входах с замером разногласий по трём парам (prod против prod, candidate против candidate, candidate против prod) и расчётом доверительного интервала на разнице. В примере HarborBite после ревью диффов оказалось 443 регрессии и 2463 улучшения — почти шесть улучшений на одну регрессию, но это иллюстративные цифры, а решение о выкате принимается только если нижняя граница доверительного интервала выше нуля и критичные категории не просели.
Практика
- Что получишь
- Пошаговую методику, которая заменяет ручную оптимизацию промптов явным правилом выката: от телеметрии и ceiling test до сжатия инструкций и проверки доверительным интервалом.
- Первый шаг
- Выбрать самую дорогую задачу, инструментировать клиент модели и замерить baseline variance, прогнав текущий промпт несколько раз на одних и тех же входах.
- Цифры
- —18% — на столько дешёвый кандидат расходился с дорогим production-бейзлайном на исторических примерах
- —51% — на столько сократились instruction tokens промпта HarborBite после оптимизации без изменения контракта
- —7% — self-disagreement production-модели, когда её прогнали трижды на одинаковых входах
- —443 регрессии и 2463 улучшения — иллюстративные цифры ревью диффов для HarborBite, почти шесть улучшений на одну регрессию
- Честно
- Спикер — глава agent intelligence в OutRival, компании, которая продаёт digital workers, так что материал работает на экспертный бренд работодателя, но конкретных продуктовых ссылок и призывов покупать в выступлении нет. Это запись доклада: детали синтетического промпта HarborBite и параметры оптимизатора видны на экране, а цифры 443 регрессии и 2463 улучшения поданы как иллюстрация («let's say»), а не реальный отчёт.
Если слова незнакомы — 6 терминов
- токенединица текста, за обработку которой модель берёт деньги
- промпттекст-инструкция, который подаётся модели
- ceiling testповторный прогон одной модели на одинаковых входах, чтобы измерить её собственную нестабильность
- prefix cache rateдоля повторно используемых начальных частей запроса, которые не нужно пересчитывать
- shadow deploymentпараллельный прогон двух версий на одинаковых данных без влияния на пользователей
- доверительный интервалдиапазон, в котором с заданной вероятностью лежит истинное значение улучшения
Связки из этого ролика
2 шт.- DSPy + Jeepa
- cheap model + frontier model
Компоненты
3 шт.Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник