К содержимому
Дайджест

GEPA: рефлексивная оптимизация промптов вместо RL

AI Engineer·26 сентября 2026·21:28
текст даёт основное понять, как устроено промо
Открыть на YouTube
Презентация техники рефлексивной оптимизации промптов GEPA и API Optimize Anything для практиков, которые хотят улучшать агентов и пайплайны при малом числе примеров.

Что в ролике

Обучение моделей через градиентный спуск обычно требует триллионы токенов на предобучении, десятки тысяч размеченных примеров на SFT и сотни тысяч прогонов на RL, тогда как у большинства команд таких данных и вычислений нет. GEPA (в речи звучит как «Джепа») вместо весов обновляет промпт: агент смотрит на полный трейс прогона, рефлексирует над ошибками и формулирует новое текстовое поведение, а одна замена слова в промпте может дать скачок поведения без тысяч градиентных шагов. Автор показывает, что GEPA за один раунд рефлексии на трёх примерах даёт вдвое больший прирост, чем GRPO после 25 000 прогонов, при этом модель Qwen 3 8B оптимизирует сама себя без внешнего учителя. Алгоритм работает просто: запускает пайплайн на нескольких примерах, собирает доменную обратную связь, LLM предлагает улучшенный промпт, а пул по Парето сохраняет всех кандидатов, которые выиграли хотя бы на одном примере, не застревая в локальных оптимумах. На практике GEPA поднял агента с точностью 4,25% до 30,52% на новой задаче программирования NPU AMD XDNA2, где информации в интернете почти не было, и за один шаг нашёл, что поставляемая библиотека ADF не работает с новым железом. Расширение Optimize Anything позволяет оптимизировать любой текстовый параметр: CUDA-ядро, всю агентскую обвязку, навыки, политику облачного планирования; например, из простого четырёхстрочного Python-агента за 16 раундов рефлексии появился шестишаговый агент, поднявший точность Gemini Flash на RKGI с 32,5% до 89,5%. Отдельный режим GSkill учит навыки для репозиториев: оптимизировав дешёво на GPT-5 mini, удалось поднять решение issue с 24% до 93%, а перенеся навыки на Claude Sonnet — довести до 100% и почти вдвое сократить время. По заверению автора, Optimize Anything уже используют Snorkel, Databricks и другие, а Databricks получил 90-кратное снижение стоимости, настроив GPT-OSS 120B на уровень выше Claude Opus.

Практика

Что получишь
Открытый репозиторий с GEPA и Optimize Anything, который можно подключить к своему агенту или пайплайну и автоматически находить улучшенные промпты, агентные архитектуры и навыки по небольшому числу примеров.
Первый шаг
Скачать репозиторий GEPA и запустить оптимизацию на нескольких своих примерах, передав задачу с функцией-оценщиком, как показано в документации.
Цифры
  • —25 000 — столько прогонов GRPO потребовалось для результата, который GEPA дал за один раунд на трёх примерах (прирост вдвое больше)
  • —4,25% → 30,52% — рост точности агента на задаче программирования NPU AMD XDNA2 после применения GEPA
  • —32,5% → 89,5% — точность Gemini Flash на задаче RKGI после того, как Optimize Anything за 16 раундов нашёл шестишагового агента
  • —24% → 93% — точность решения issue в go-репозитории у GPT-5 mini после оптимизации навыков, а после переноса на Claude Sonnet она достигла 100% и время сократилось вдвое
Честно
Автор продвигает собственный открытый проект GEPA/Optimize Anything, и большинство цифр — из его собственных экспериментов, без воспроизводимых на экране деталей для всех случаев. Для повторения понадобится смотреть код на экране и репозиторий, а часть результатов (Snorkel, Databricks) дана со слов автора.
Если слова незнакомы — 7 терминов

Связки из этого ролика

3 шт.

Компоненты

15 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.82 · источник