Самоулучшающиеся агенты: как выйти из ручного цикла

Что в ролике
Команды, которые строят агентов, обычно застревают в ручном цикле: смотреть продакшен-трейсы, обновлять датасеты, придумывать эвалы и вносить правки — это отнимает много времени. Марк Клинген, сооснователь Langfuse, показывает, как этот цикл можно автоматизировать, оставив человеку только верхний уровень: ревью датасетов, эвалов и предлагаемых фиксов. AI сейчас чаще всего используют для предложения изменений в реализации агента, а в последние месяцы — и для поддержания датасетов и критериев эвалов в синхроне с реальными запросами пользователей. В демо Langfuse решает собственную проблему: инженеры теперь выкатывают много изменений, и ручное описание релизов стало бутылочным горлышком. Автор показывает changelog-райтера, который по merge PR предлагает правки в документацию, а ревью на GitHub (approve или request changes) превращается в сигнал для автоматического улучшения. Кодинг-агент, натравленный на скиллы Langfuse, нашёл три проблемы: фактическая точность высокая, но ясность низкая, edit ratio высокий, и внутренний жаргон утекает к клиентам. Агент предложил новые датасеты и эвалы для проверки жаргона и ясности, а затем выдал кандидата v2, который сохранил точность и формат, но улучшил пользовательский язык. В проде такой цикл запускают по крону раз в день или неделю, собирая продакшен-сигналы, трейсы и фидбек, а дальше агенты сами готовят улучшения.
Практика
- Что получишь
- Понимание, как перевести ручной цикл улучшения агентов в автоматический: какие сигналы собирать, где оставить человека, и как AI может сам предлагать новые эвалы и править датасеты.
- Первый шаг
- Настроить трассировку продакшен-запросов и базовый эвал на реальном трафике, а затем раз в день прогонять агента, который анализирует ошибки и предлагает изменения.
- Цифры
- —10 — столько разных направлений улучшения агента обычно можно попробовать; вместо этого автор предлагает оптимизацию по датасетам и эвалам
- —2023 — год старта Langfuse, когда был возможен только нижний уровень цикла; к 2024 стал доступен третий уровень
- —2025–2026 — период, когда, по наблюдениям автора, стали возможны высшие циклы самоулучшения агентов
- Честно
- Доклад представляет Langfuse: автор — сооснователь, демо построено на его продукте, в конце он зовёт на стенд. Готового кода и точных промптов в транскрипте нет, часть интерфейса и настроек видно только на экране. О платных ограничениях в докладе речи не идёт.
Если слова незнакомы — 8 терминов
- трейсызаписи каждого шага агента, по которым видно, что пошло не так
- эвалыавтоматические проверки качества ответов агента
- датасетнабор примеров вопросов и задач, на котором прогоняют агента и меряют качество
- merge PRпредложение изменений в коде, которое можно принять или попросить доработать
- edit ratioдоля правок, которые люди вносят в черновики агента; высокая означает плохую ясность
- changelog-райтерагент, который сам пишет описания изменений и обновления документации
- кодинг-агентагент, который читает код, находит проблемы и предлагает исправления
- кронпланировщик, запускающий задачи по расписанию, например раз в день
Компоненты
8 шт.Формат: разбор · для практикующих · уверенность разметки 0.82 · источник