Агент сам подбирает конфиг для инференса LLM

Что в ролике
Если вы вручную перебираете параметры инференса LLM, агент из демо сам находит лучшую конфигурацию и отдаёт её готовым YAML-файлом. Рохан показывает запуск на дроплете с моделью GPT-OSS 120B: стартовый конфиг задаёт четыре сценария — chat short, chat long, RAG и batch classify — каждый со своими лимитами токенов ISL/OSL. Поиск ведёт Optuna: она применяет байесовскую оптимизацию, на каждой итерации пробует рецепт, оценивает результат и меняет параметры, сужая пространство поиска. Для запуска нужно передать имя исследования, стартовый YAML, железо и число trial'ов, а сам прогон занимает от пары до пяти часов. На модели GPT-OSS после 50 trial'ов лучший trial дал прирост полезных токенов на 17,5 %, а оптимальным параметром оказался 256. Для DeepSeek R1 Distill на 9 trial'ах лучшим стал девятый: пропускная способность токенов удвоилась, а ITL снизился почти вдвое. На выходе агент генерирует HTML-отчёт по всем trial'ам и оптимизированный YAML-файл с готовыми числами.
Практика
- Что получишь
- Готовый рецепт запуска оптимизации: команда для скрипта tuner, параметры запуска и понимание, как читать HTML-отчёт и итоговый YAML.
- Первый шаг
- Скачайте модель на дроплет и запустите tuner.py с указанием имени исследования, стартового YAML, железа и числа trial'ов.
- Цифры
- —17,5 % — прирост полезных токенов на GPT-OSS после оптимизации относительно стартового конфига
- —50 — столько trial'ов потребовалось для GPT-OSS, лучшим стал один из них
- —9 — столько trial'ов было для DeepSeek R1 Distill, лучшим стал девятый
- —256 — оптимальное значение одного из параметров в итоговом YAML для GPT-OSS
- Честно
- Авторы представляют DigitalOcean, но в демо нет прямой продажи платного продукта; для повторения нужен дроплет с GPU, стоимость аренды не указана. Все значения стартового YAML и полные HTML-отчёты видны только на экране, в пересказе их нет.
Если слова незнакомы — 5 терминов
- Optunaинструмент для подбора гиперпараметров, который автоматически перебирает варианты
- байесовская оптимизацияметод поиска лучших значений, который по предыдущим результатам выбирает следующие точки и сужает перебор
- YAMLтекстовый формат конфигурационных файлов, читаемый и человеком, и программой
- trialодин прогон с конкретным набором параметров
- ISL/OSLмаксимальные длины входной и выходной последовательности токенов
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 2:54.
Связки из этого ролика
1 шт.- Bayesian optimization + Optuna
Компоненты
2 шт.Цитаты-доказательства
дословно из субтитров- you paste in this command uh which essentially tells you you know where the where where the weights are coming from, um activate a virtual environment and have um uh or not have but run the script called tuner.py2:54
- So what we see here is four regimes, right? That we're testing it on. So there's chat short, there's chat long, there's rag and batch classify.2:24
- So in this case we found or the agent found that 256 was the optimized number so on and so forth.4:24
Формат: сборка на живом примере · для продвинутых · уверенность разметки 0.8 · источник