Harness²: как Google автоматизирует правку файлов агента

Что в ролике
Если вы когда-нибудь в три часа ночи дописывали правило в файл инструкций агента, чтобы он не ломал пайплайн, вы поймёте, на какую боль отвечает октябрьский препринт Google Cloud AI Research Harness². Вместо ручного написания harness-файлов — системного промпта, правил, памяти, инструкций к инструментам — вторая модель-редактор наблюдает за прогонами агента, предлагает две альтернативные версии файлов, прогоняет их на той же задаче и передаёт композеру, который объединяет полезные изменения; минимальный цикл требует четыре прогона на задачу. Главный заявленный результат: открытая модель GLM5 с замороженными весами поднялась с 64,2 до 75,7 балла на бенчмарке WorkBench, обойдя Gemini 3,5 Flash с 72,4, но стартовый harness был пустым, а редактором выступал Claude Opus 4,8 на высоком уровне reasoning, тогда как саморедактирование GLM5 дало лишь 68,3 при восьми прогонах. Плата за прирост — токены: один раунд Harness² при минимальной настройке расходует около 2,3 млн токенов против 0,3 млн у обычного прогона, а максимальная настройка K=5 требует 20 прогонов и около 12 млн токенов на задачу. Самые ценные найденные правки оказались до смешного простыми: запрет писать вызовы инструментов обычным текстом поднял оценку с 60 до 100, а правило переоткрывать каждый записанный файл и сверять его с источником помогло вырасти с 43,1 до 77,8. Google выложил промпты редактора в Appendix H — это 4776 слов, которые читаются как стайл-гайд по harness-инжинирингу: у каждого скилла должна быть триггерная строка, всегда включённые инструкции стоят дорого, а контекст нужно тратить как деньги. Практический вывод: harness-инжиниринг не умер, а переехал на этаж выше — теперь инженер пишет правила для редактора, который правит файлы агента, и перед внедрением любой правки стоит прогнать задачу с ней и без неё.
Практика
- Что получишь
- Понять, что рост на 11,5 балла в заголовках получен на пустом harness и с внешним редактором Claude Opus 4,8, а код по умолчанию использует саморедактирование с приростом 4,1. Получить конкретный чек-лист для своих harness-файлов: триггеры у скиллов, короткий системный промпт, проверка выходных файлов и тестирование правок до включения.
- Первый шаг
- Открыть Appendix H в статье Harness² и проверить, есть ли у каждого скилла в вашей системе триггерная строка, а длинные постоянные инструкции не перенести ли в отдельные скиллы.
- Цифры
- —11,5 пункта — прирост GLM5 на бенчмарке WorkBench с пустым harness, с 64,2 до 75,7, при редакторе Claude Opus 4,8
- —2,3 млн против 0,3 млн токенов — расход одного раунда Harness² на задачу по сравнению с обычным прогоном при K=1
- —4776 слов — объём промптов редактора в Appendix H, которые задают правила правки harness-файлов
- —4,1 пункта — прирост при саморедактировании GLM5, вдвое меньше, чем с внешним редактором, при восьми прогонах
- Честно
- Автор в конце просит подписаться на канал, но это не влияет на разбор. Заголовочный прирост 11,5 пункта получен при пустом harness и с редактором Claude Opus 4,8; в варианте с саморедактированием, который включён в код по умолчанию, прирост только 4,1 пункта при удвоенном бюджете прогонов. Репозиторий — исследовательский релиз: README ссылается на несуществующий файл settings, лимита расходов нет, а запуск на произвольных задачах числится открытым feature request, поэтому повторять стоит с осторожностью.
Если слова незнакомы — 5 терминов
- harnessвся обвязка вокруг модели: системный промпт, правила, память, инструкции к инструментам и скиллы, которые управляют агентом
- скиллнебольшой файл-инструкция под конкретную задачу, который агент подключает по триггеру
- промпттекстовое задание или инструкция, которую отправляют модели
- токенединица текста, которую модель получает на вход и за которую часто тарифицируют API
- контекстрабочая память модели на время выполнения: все инструкции, история и файлы, которые она видит, и их объём ограничен
Связки из этого ролика
2 шт.- GLM5 + Claude Opus 4.8
- Gemini 3.5 Flash harness transfer to GLM5
Компоненты
9 шт.Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник