К содержимому
Дайджест

Самоулучшающиеся агенты: как выйти из ручного цикла

AI Engineer·6 октября 2026·17:07
можно прочитать понять, как устроено промо
Открыть на YouTube
Доклад сооснователя Langfuse о том, как команды автоматизируют цикл улучшения AI-агентов — от продакшен-сигналов до автоправок датасетов и эвалов.

Что в ролике

Команды, которые строят агентов, обычно застревают в ручном цикле: смотреть продакшен-трейсы, обновлять датасеты, придумывать эвалы и вносить правки — это отнимает много времени. Марк Клинген, сооснователь Langfuse, показывает, как этот цикл можно автоматизировать, оставив человеку только верхний уровень: ревью датасетов, эвалов и предлагаемых фиксов. AI сейчас чаще всего используют для предложения изменений в реализации агента, а в последние месяцы — и для поддержания датасетов и критериев эвалов в синхроне с реальными запросами пользователей. В демо Langfuse решает собственную проблему: инженеры теперь выкатывают много изменений, и ручное описание релизов стало бутылочным горлышком. Автор показывает changelog-райтера, который по merge PR предлагает правки в документацию, а ревью на GitHub (approve или request changes) превращается в сигнал для автоматического улучшения. Кодинг-агент, натравленный на скиллы Langfuse, нашёл три проблемы: фактическая точность высокая, но ясность низкая, edit ratio высокий, и внутренний жаргон утекает к клиентам. Агент предложил новые датасеты и эвалы для проверки жаргона и ясности, а затем выдал кандидата v2, который сохранил точность и формат, но улучшил пользовательский язык. В проде такой цикл запускают по крону раз в день или неделю, собирая продакшен-сигналы, трейсы и фидбек, а дальше агенты сами готовят улучшения.

Практика

Что получишь
Понимание, как перевести ручной цикл улучшения агентов в автоматический: какие сигналы собирать, где оставить человека, и как AI может сам предлагать новые эвалы и править датасеты.
Первый шаг
Настроить трассировку продакшен-запросов и базовый эвал на реальном трафике, а затем раз в день прогонять агента, который анализирует ошибки и предлагает изменения.
Цифры
  • —10 — столько разных направлений улучшения агента обычно можно попробовать; вместо этого автор предлагает оптимизацию по датасетам и эвалам
  • —2023 — год старта Langfuse, когда был возможен только нижний уровень цикла; к 2024 стал доступен третий уровень
  • —2025–2026 — период, когда, по наблюдениям автора, стали возможны высшие циклы самоулучшения агентов
Честно
Доклад представляет Langfuse: автор — сооснователь, демо построено на его продукте, в конце он зовёт на стенд. Готового кода и точных промптов в транскрипте нет, часть интерфейса и настроек видно только на экране. О платных ограничениях в докладе речи не идёт.
Если слова незнакомы — 8 терминов

Компоненты

8 шт.

Формат: разбор · для практикующих · уверенность разметки 0.82 · источник