К содержимому
Дайджест

LangSmith: трассировка, оценка и мониторинг агентов

NeuralNine·28 сентября 2026·61:04
текст даёт основное можно повторить промо пошагово
Открыть на YouTube
Практический краш-курс по LangSmith для разработчиков, которые запускают агентов и хотят контролировать их работу: трассировка, датасеты, оценка, алерты.

Что в ролике

Если вы уже собираете агентов на LangChain, а следить за их вызовами и качеством негде, краш-курс NeuralNine показывает бесплатный набор LangSmith для трассировки, оценки и алертов. Автор подключает обычный скрипт: создаёт аккаунт и API-ключ, оборачивает OpenAI-клиент через wrap_openai и добавляет декоратор traceable к функциям, после чего в дашборде видны каждый вызов, токены, стоимость и время — базовый запрос занял 2,21 секунды, а агент с инструментом get_favorite_food отработал за 3,26 секунды. Для оценки моделей он создаёт датасеты и запускает эксперименты: на классификации тональности с точным совпадением модель даёт 100% точности, а на вопросах про животных LLM-судья сначала показывает 0,67 среднего успеха, после ужесточения промпта — 0,5, и сравнение запусков помогает выбрать вариант. Промпты можно отлаживать в Playground, сохранять как шаблоны и подтягивать в код: там видно, что GPT-6 отвечает короче, чем GPT-5.4, а схема JSON-ответа с полем answer заставляет модель выдать один сжатый ответ. Есть онлайн-оценщик conciseness judge, который сам проверяет новые запуски на краткость, и очереди аннотаций, где человек вручную размечает качество ответов. Мониторинг включает дашборд по задержкам и вызовам и алерты: автор создаёт правило на среднюю задержку больше 1 секунды за 5 минут и получает POST-уведомление через webhook.site. В конце — реальный пайплайн извлечения данных из PDF: счёт прогоняется через Mistral OCR и Gemini по Vertex AI, причём цену Mistral OCR, которая считается за страницу, пришлось вручную добавить как 4 000 долларов за миллион токенов, чтобы увидеть 0,004 доллара за страницу и общее время почти 6 секунд.

Практика

Что получишь
Поймёте, как подключить LangSmith к своему агенту, собирать трассировки, запускать оценку на датасетах и настраивать алерты по задержке — всё на бесплатном тарифе.
Первый шаг
Создайте аккаунт LangSmith, получите API-ключ и оберните существующий OpenAI-клиент через wrap_openai, чтобы увидеть первый trace в проекте.
Цифры
  • —2,21 секунды — столько занял простой запрос к OpenAI в первом trace курса
  • —3,26 секунды — время работы агента с вызовом инструмента get_favorite_food
  • —0,67 против 0,5 — доля успешных ответов на датасете про животных до и после ужесточения промпта
  • —4 000 долларов за миллион токенов и 0,004 доллара за страницу — так вручную настроена цена Mistral OCR
Честно
Ролик содержит рекламную вставку про Arcade (спонсор) и в конце автор предлагает свои платные услуги фрилансера. Для повторения нужен аккаунт LangSmith и API-ключи OpenAI; дополнительно для последнего примера — ключи Mistral и Google Vertex AI, а цену Mistral OCR, которая выставляется за страницу, придётся вручную настраивать в UI. Команды и значения (имена проектов, параметры датасетов, порог алерта) в основном видны на экране, в тексте их нет.
Если слова незнакомы — 7 терминов

Компоненты

10 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник