Агенты режут вывод CLI: пайпы как баг-репорты

Что в ролике
Если ваш агент постоянно прогоняет вывод вашего CLI или MCP-сервера через head, grep или tail, автор предлагает увидеть в этих обрезаниях невидимые баги вашего инструмента. На 20 000 вызовов из собственных транскриптов он показывает, что четверть всех обращений к 14 CLI уходит в такие фильтры, а у read-heavy команд вроде git show и cargo test — больше половины. Пайпы не только режут шум: без pipefail конвейер возвращает exit code последней команды, поэтому cargo test, пропущенный через head, может показать успех при упавших тестах, а tail может вовсе отрезать ошибку от модели. Автор доработал свой CLI для поиска прошлых сессий: добавил выбор диапазона вокруг совпадения вместо sed и grep, компактный режим одной строкой на результат вместо Python-обработки JSON и команду inspect, которая заменила циклы по сессиям. После переписывания skill-файла агенты перестали передавать ставший no-op флаг deep и начали использовать новые флаги, а доля пайпов упала с 82% до примерно четверти. InfraCost пришёл к тому же: перенос фильтрации из jq и Python-пайплайнов в сам CLI и добавление skill подняли правильные ответы Claude с 0 из 6 до 6 из 6 и снизили затраты на 41%. Для оценки изменений он советует перепрогонять старые команды из транскриптов как тест-кейсы, смотреть, что агент сделал сразу после вызова, а при ретрае с другими аргументами видеть падающий кейс. В конце он советует добавить режим для агентов: DuckDB так сократил читаемый моделью вывод на 59%, но токены в целом уменьшились лишь на 0,5%, поэтому измерять нужно правильность ответов, а не токены.
Практика
- Что получишь
- Поймёте, что повторяющиеся пайпы агентов вокруг вашего CLI — это сигнал о недостающих флагах выбора и компактном выводе, и научитесь вытаскивать такие сигналы из собственных транскриптов.
- Первый шаг
- Сделайте бэкап транскриптов и поищите в них имя вашего инструмента, за которым идёт символ |, чтобы собрать список повторяющихся пайпов.
- Цифры
- —20 000 вызовов агентов проанализировал автор в своих транскриптах
- —82% до примерно 25% — настолько упала доля пайпов после добавления компактного вывода и новых флагов
- —0 из 6 и 6 из 6 — столько сложных вопросов решил Claude у InfraCost без доработок CLI и с ними, затраты снизились на 41%
- —59% меньше вывода читала модель у DuckDB в агентском режиме, но токены в целом сократились лишь на 0,5%
- Честно
- Доклад продвигает собственный CLI автора — в конце он предлагает посмотреть chat history на Cargo или GitHub. Многие конкретные команды и примеры показаны на экране, в пересказе они не все воспроизведены, так что для повторения анализа понадобится обратиться к слайдам или записи.
Если слова незнакомы — 9 терминов
- CLIинтерфейс командной строки, программа, которой управляют текстовыми командами
- MCP-серверстандартный способ подключить внешние данные или инструменты к ассистенту
- пайп (pipe)символ |, передающий вывод одной команды на вход другой
- pipefailнастройка bash, при которой пайплайн возвращает ошибку, если упала любая из команд
- exit codeчисло, которым программа сообщает, успешно ли завершилась
- grep, sed, head, tailутилиты для фильтрации и обрезки текстового вывода
- skill-файлтекстовый файл с инструкцией, который агент читает и соблюдает
- no-opфлаг или действие, которое ничего не меняет
- jqутилита для обработки JSON в командной строке
Связки из этого ролика
4 шт.- CLI
- MCP
- Bash
- JSON
Компоненты
22 шт.Формат: разбор кейса · для практикующих · уверенность разметки 0.85 · источник