К содержимому
Дайджест

Claude Code и Codex против людей в AI-спидраннах

AI Engineer·26 сентября 2026·19:39
можно прочитать можно повторить промо
Открыть на YouTube
Доклад исследователя Prime Intellect о том, как Claude Code и Codex справляются с автоматизацией AI-исследований на примере публичных бенчмарков-спидраннов.

Что в ролике

Чтобы проверить, могут ли модели сами вести AI-исследования, Prime Intellect запустила Claude Code и Codex в гонку с людьми на спидраннах обучения GPT-2: нужно достичь целевого значения функции потерь за минимальное время, а в оптимизатор-спидранне менять только параметры оптимизатора. Среду выбрали за скорость (прошлый рекорд около 2 минут, один запуск 15–20 минут) и чёткие правила, а агенты получили доступ к кластеру и могли читать логи, предлагать идеи и смотреть чужие рекорды. Claude Code каждые 9–10 часов останавливался со словами, что улучшить рекорд невозможно, и простаивал треть времени, тогда как Codex работал без перерывов, писал больше в свою память, порождал больше подагентов и тратил больше токенов, в том числе из-за окна контекста 250 тысяч токенов. На момент эксперимента лучший человеческий рекорд составлял 2 990 шагов, и агенты улучшили его: Claude Code примерно на 50–60 шагов, Codex — примерно на 20. В шестидневном заезде только с оптимизаторами Claude Code и Codex снова оказались сильны, а модель Kimi на четвёртый день сделала рывок и обошла Codex, при этом расходуя заметно меньше токенов. Codex активно искал статьи и нашёл одну, которую не находили другие модели, и именно она привела к рекорду. Главный вывод автора: ни один агент не придумал нового оптимизатора или механизма — все лишь комбинировали известные методы, поэтому как оценка среда работает, а как источник открытий пока нет.

Практика

Что получишь
Понимание, как устроены публичные бенчмарки для AI-исследований и что сейчас умеют агенты: улучшать чужие рекорды, но не изобретать новые методы.
Первый шаг
Начать с репозитория modded-nanoGPT — базового спидранна обучения GPT-2 — и попробовать воспроизвести его на своей машине.
Цифры
  • —2 990 шагов — человеческий рекорд до агентов
  • —50–60 шагов — на столько Claude Code улучшил рекорд
  • —9–10 часов — интервал, после которого Claude Code останавливался
  • —треть времени — доля простоя Claude Code
Честно
Автор — сотрудник Prime Intellect, компания развивает инфраструктуру для агентов и упоминает в конце свой продукт для тренировки верификаторов, но прямых партнёрских ссылок нет. Повторить эксперимент нельзя: код агентов и точные конфигурации не опубликованы, а часть результатов видна только на слайдах, которые в транскрипт не попали.
Если слова незнакомы — 5 терминов

Связки из этого ролика

2 шт.

Компоненты

8 шт.

Формат: разбор кейса · для продвинутых · уверенность разметки 0.85 · источник