К содержимому
Дайджест

Агент сам подбирает конфиг для инференса LLM

AI Engineer·12 ноября 2026·5:33
нужен экран можно повторить промо пошагово
Открыть на YouTube
Демо агента для автоматического подбора параметров сервинга LLM, полезно ML-инженерам, которые вручную ищут оптимальные конфигурации.

Что в ролике

Если вы вручную перебираете параметры инференса LLM, агент из демо сам находит лучшую конфигурацию и отдаёт её готовым YAML-файлом. Рохан показывает запуск на дроплете с моделью GPT-OSS 120B: стартовый конфиг задаёт четыре сценария — chat short, chat long, RAG и batch classify — каждый со своими лимитами токенов ISL/OSL. Поиск ведёт Optuna: она применяет байесовскую оптимизацию, на каждой итерации пробует рецепт, оценивает результат и меняет параметры, сужая пространство поиска. Для запуска нужно передать имя исследования, стартовый YAML, железо и число trial'ов, а сам прогон занимает от пары до пяти часов. На модели GPT-OSS после 50 trial'ов лучший trial дал прирост полезных токенов на 17,5 %, а оптимальным параметром оказался 256. Для DeepSeek R1 Distill на 9 trial'ах лучшим стал девятый: пропускная способность токенов удвоилась, а ITL снизился почти вдвое. На выходе агент генерирует HTML-отчёт по всем trial'ам и оптимизированный YAML-файл с готовыми числами.

Практика

Что получишь
Готовый рецепт запуска оптимизации: команда для скрипта tuner, параметры запуска и понимание, как читать HTML-отчёт и итоговый YAML.
Первый шаг
Скачайте модель на дроплет и запустите tuner.py с указанием имени исследования, стартового YAML, железа и числа trial'ов.
Цифры
  • —17,5 % — прирост полезных токенов на GPT-OSS после оптимизации относительно стартового конфига
  • —50 — столько trial'ов потребовалось для GPT-OSS, лучшим стал один из них
  • —9 — столько trial'ов было для DeepSeek R1 Distill, лучшим стал девятый
  • —256 — оптимальное значение одного из параметров в итоговом YAML для GPT-OSS
Честно
Авторы представляют DigitalOcean, но в демо нет прямой продажи платного продукта; для повторения нужен дроплет с GPU, стоимость аренды не указана. Все значения стартового YAML и полные HTML-отчёты видны только на экране, в пересказе их нет.
Если слова незнакомы — 5 терминов

Понадобится экран

Часть информации есть только на экране (код в терминале). Открыть на YouTube с 2:54.

Связки из этого ролика

1 шт.

Компоненты

2 шт.

Цитаты-доказательства

дословно из субтитров

Формат: сборка на живом примере · для продвинутых · уверенность разметки 0.8 · источник