AI-инженер: фабрика агентов, телеметрия и evals

Что в ролике
Апарна Дхинакаран из Arize AI начинает с пирамиды Карпаты: 6 млрд людей хотя бы раз касались LLM, 1–2 млрд — casual-пользователи, 20 млн профессионалов, и только 5 000 человек на передовой запускают тысячи агентов одновременно. По её версии, AI-инженер больше не пишет отдельную фичу и не делает код-ревью вручную, а строит петлю build-eval-ship-monitor-improve, где агенты сами читают телеметрию, находят паттерны и предлагают исправления. Их продукт Signal — это always-on агент, который по расписанию раз в 3–6 часов забирает трассы, поднимает песочницу с доступом к репозиторию и сторонним данным мониторинга, а затем ищет проблемы и может открыть PR. Всё, что нашёл агент, сохраняется в память, чтобы следующий запуск не начинался с нуля, а песочница, креды и доступ к репозиторию после прогона удаляются; при сбое состояние поднимается заново с места падения. Signal не привязан к одной модели или харнессу: поддерживаются Claude Code, Cursor и Codex, внутри Claude Code можно выбирать модели семейства Anthropic, чтобы балансировать качество PR и стоимость. Ключевым навыком AI-инженера Апарна называет написание evals: после каждого найденного issue и PR по нему прогоняются тесты, которые должны совпадать с человеческим суждением, и в Arize сами оценивают своих оценщиков на golden truth-датасетах. Финальная схема: собрать данные, оценить их, запустить агентов для поиска пробелов, затем снова собрать данные — так инженер перестаёт строить фичи и строит систему, которая сама улучшает продукт.
Практика
- Что получишь
- Понимание архитектуры всегда работающего агента, который по расписанию читает трассы, находит проблемы и открывает PR, а также практическую рамку для написания evals и трассировки агентов.
- Первый шаг
- Начать с трассировки своих агентов и собрать небольшой датасет с эталонными ответами для первых evals.
- Цифры
- —6 млрд — столько людей хотя бы раз взаимодействовали с LLM, по пирамиде Карпаты, с которой начинается доклад
- —20 млн — столько профессионалов уже используют LLM в работе, а не просто пробуют
- —5 000 — столько пользователей на переднем крае запускают тысячи агентов одновременно
- —3 часа — один из интервалов, с которым Signal может по расписанию забирать трассы и искать проблемы
- Честно
- Это доклад сотрудника Arize AI, и его вторая половина — демонстрация коммерческого продукта Signal, который продвигает компания. Пошаговых инструкций или открытого кода в ролике нет, а конкретные промпты, объёмы трасс и критерии, по которым Signal решает открывать PR, видны только на экране и не разбираются подробно. Для повторения придётся самостоятельно выбрать инструменты трассировки и написать evals.
Если слова незнакомы — 10 терминов
- LLMбольшая языковая модель, на которой работают ассистенты и агенты
- always-on агентпрограмма, которая работает постоянно или по расписанию, а не по одному запросу
- трассызаписи шагов агента и обращений к моделям, по которым видно, что происходило
- телеметриясобранные данные о работе системы: логи, метрики, параметры запросов
- песочницаизолированная среда с ограниченным доступом, в которой агент выполняет работу
- PRпредложение изменения кода в репозитории, которое можно просмотреть и принять
- evalпроверка ответа модели или действия агента на соответствие ожиданиям
- issueнайденная агентом проблема в трассах, которую стоит исправить
- golden truth-датасетнабор данных с эталонными правильными ответами для проверки оценщиков
- харнессинфраструктура или обёртка, в которой запускается агент
Компоненты
5 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник