К содержимому
Дайджест

Самоулучшающийся агент LinkedIn: цикл RSI

AI Engineer·10 ноября 2026·38:50
можно прочитать можно повторить
Открыть на YouTube
Доклад инженеров LinkedIn о том, как они строят цикл рекурсивного самоулучшения агента понимания пользователя, для разработчиков и ML-инженеров, которым нужно автоматизировать исправление ошибок агентов.

Что в ролике

Если ваш агент ошибается в проде, цикл рекурсивного самоулучшения (RSI) показывает, как собирать трассы, находить корневые причины и автоматически предлагать правки промптов. Авторы из LinkedIn применяют его к агенту понимания пользователя: на вход подаётся ID участника, агент собирает историю поиска, профиль и предпочтения, а на выходе выдаёт поля вроде предпочтительных должностей, уверенности и цитат-обоснований. Жюри (L1-судья) оценивает каждый ответ по шкале от 1 до 3, выставляя баллы по измерениям вроде сводки цели и предпочтительной должности, а на основе оценок запускаются отражение и поиск корневой причины с помощью L2-судьи. Дальше система кластеризует ошибки по измерениям, ставит теги причин — агент, модель, промпт, инструмент или рубрика — и объединяет похожие случаи, чтобы получить канонические проблемы. Из этих проблем генерируются предложения правок промптов через метод JPA, они проходят валидацию на отложенной выборке и только после улучшения становятся новым базовым промптом. Разбор 180–200 человеческих проверок показал, что судья согласен с людьми на 55% для оценки 1, на 57% для оценки 2 и на 80% для оценки 3, причём слабые ответы судья часто занижал. После уточнения рубрик — без штрафов за форматирование, с нормализацией должностей и правилами частичного зачёта — согласованность выросла с 57% до 64%, а средняя ошибка снизилась с 96 до 74. Первую правку промпта, предложенную этим циклом, уже выкатили в прод с ручной проверкой, а дальше в LinkedIn планируют унифицировать оценку и отражение, чтобы ускорять улучшение агента как первую производную его качества.

Практика

Что получишь
Понимание, из каких шагов состоит рабочий цикл RSI: запуск агента, оценка судьёй, отражение, генерация правок промптов и проверка на отложенных данных. Это поможет спроектировать похожий контур у себя и увидеть, какие части оценки нужно чинить в первую очередь.
Первый шаг
Начните с обучения и калибровки оценочного судьи на собственных размеренных примерах, потому что без надёжных оценок цикл самоулучшения будет предлагать неверные правки.
Цифры
  • —180–200 человеческих проверок — столько они разобрали, чтобы оценить согласованность судьи с людьми
  • —55%, 57% и 80% — согласованность судьи с людьми для оценок 1, 2 и 3 соответственно
  • —57% → 64% — рост согласованности после уточнения рубрик
  • —96 → 74 — снижение средней ошибки после правок рубрик (по их шкале)
Честно
Это доклад о внутренней системе LinkedIn: код, промпты и рубрики не публикуются, повторить их контур можно только по общим принципам, а не по готовым материалам. Часть цифр и примеров — графики согласованности, скриншоты судейских оценок — показаны только на слайдах, и в речи не все значения названы вслух.
Если слова незнакомы — 6 терминов

Компоненты

1 шт.

Формат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник