К содержимому
Дайджест

Harness²: как Google автоматизирует правку файлов агента

Kai·23 октября 2026·22:13
текст даёт основное выбрать инструмент
Открыть на YouTube
Разбор октябрьского препринта Google Cloud AI Research Harness² для практиков, которые вручную доводят системные промпты и скиллы агентов и хотят понять, стоит ли автоматизировать эту работу.

Что в ролике

Если вы когда-нибудь в три часа ночи дописывали правило в файл инструкций агента, чтобы он не ломал пайплайн, вы поймёте, на какую боль отвечает октябрьский препринт Google Cloud AI Research Harness². Вместо ручного написания harness-файлов — системного промпта, правил, памяти, инструкций к инструментам — вторая модель-редактор наблюдает за прогонами агента, предлагает две альтернативные версии файлов, прогоняет их на той же задаче и передаёт композеру, который объединяет полезные изменения; минимальный цикл требует четыре прогона на задачу. Главный заявленный результат: открытая модель GLM5 с замороженными весами поднялась с 64,2 до 75,7 балла на бенчмарке WorkBench, обойдя Gemini 3,5 Flash с 72,4, но стартовый harness был пустым, а редактором выступал Claude Opus 4,8 на высоком уровне reasoning, тогда как саморедактирование GLM5 дало лишь 68,3 при восьми прогонах. Плата за прирост — токены: один раунд Harness² при минимальной настройке расходует около 2,3 млн токенов против 0,3 млн у обычного прогона, а максимальная настройка K=5 требует 20 прогонов и около 12 млн токенов на задачу. Самые ценные найденные правки оказались до смешного простыми: запрет писать вызовы инструментов обычным текстом поднял оценку с 60 до 100, а правило переоткрывать каждый записанный файл и сверять его с источником помогло вырасти с 43,1 до 77,8. Google выложил промпты редактора в Appendix H — это 4776 слов, которые читаются как стайл-гайд по harness-инжинирингу: у каждого скилла должна быть триггерная строка, всегда включённые инструкции стоят дорого, а контекст нужно тратить как деньги. Практический вывод: harness-инжиниринг не умер, а переехал на этаж выше — теперь инженер пишет правила для редактора, который правит файлы агента, и перед внедрением любой правки стоит прогнать задачу с ней и без неё.

Практика

Что получишь
Понять, что рост на 11,5 балла в заголовках получен на пустом harness и с внешним редактором Claude Opus 4,8, а код по умолчанию использует саморедактирование с приростом 4,1. Получить конкретный чек-лист для своих harness-файлов: триггеры у скиллов, короткий системный промпт, проверка выходных файлов и тестирование правок до включения.
Первый шаг
Открыть Appendix H в статье Harness² и проверить, есть ли у каждого скилла в вашей системе триггерная строка, а длинные постоянные инструкции не перенести ли в отдельные скиллы.
Цифры
  • —11,5 пункта — прирост GLM5 на бенчмарке WorkBench с пустым harness, с 64,2 до 75,7, при редакторе Claude Opus 4,8
  • —2,3 млн против 0,3 млн токенов — расход одного раунда Harness² на задачу по сравнению с обычным прогоном при K=1
  • —4776 слов — объём промптов редактора в Appendix H, которые задают правила правки harness-файлов
  • —4,1 пункта — прирост при саморедактировании GLM5, вдвое меньше, чем с внешним редактором, при восьми прогонах
Честно
Автор в конце просит подписаться на канал, но это не влияет на разбор. Заголовочный прирост 11,5 пункта получен при пустом harness и с редактором Claude Opus 4,8; в варианте с саморедактированием, который включён в код по умолчанию, прирост только 4,1 пункта при удвоенном бюджете прогонов. Репозиторий — исследовательский релиз: README ссылается на несуществующий файл settings, лимита расходов нет, а запуск на произвольных задачах числится открытым feature request, поэтому повторять стоит с осторожностью.
Если слова незнакомы — 5 терминов

Связки из этого ролика

2 шт.

Компоненты

9 шт.

Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник