Pacing на деле: меньше глупости, а не меньше релизов

Что в ролике
Автор начинает с иронии: после призыва замедлить разработку вышли Gro 47, Opus 5.5, GPT6 Soul и Luna, что выглядит как провал. Он объясняет, что pacing не означает остановку новых моделей, а сдвиг фокуса с повышения верхней границы возможностей на улучшение надёжности, интерпретируемости и снижение стоимости. Приводит аналогию с языком C: абстракция увеличила объём ассемблерного кода и усложнила его чтение, так же и оптимизация моделей может снижать понятность их рассуждений. При этом Anthropic, наоборот, увеличила число reasoning-токенов в Opus 5.5 с 42 000 до 84 000, что делает модель более прозрачной для контроля. Он критикует OpenAI за урезание reasoning-токенов и приводит пример утечки «грубого» стиля рассуждений, который сложнее отслеживать. По его мнению, модели вроде Opus 5.5, Soul, Luna и Gro 47 не поднимают потолок, а уменьшают количество глупых ошибок, что повышает бенчмарки без роста риска. Бенчмарки измеряют среднее, поэтому подтягивание нижней планки даёт больший прирост, чем попытки сделать модель ещё умнее. В итоге он называет текущий период ренессансом «менее глупых» моделей и призывает радоваться снижению цен и повышению стабильности.
Практика
- Что получишь
- Поймёте, почему частые релизы моделей не противоречат идее замедления, и сможете объяснить, чем «менее глупая» модель отличается от более умной.
- Первый шаг
- Прочитайте статью Дарио о pacing the frontier и сравните количество reasoning-токенов у Opus 5.5 и GPT6 на Artificial Analysis.
- Цифры
- —84 000 reasoning-токенов на задачу у Opus 5.5 против 42 000 у Opus 5.0 — вдвое больше, что улучшает мониторинг
- —11 месяцев без обновлений у модели Haiku от Anthropic — автор считает это признаком смены приоритетов
- —6 000 звёзд на GitHub у репозитория автора о настройке Stripe — повод доверять его рекомендации Clerk
- Честно
- В начале ролика есть рекламная интеграция Clerk (ссылка со спонсором), также автор продвигает свой канал и сообщество T3. Часть данных о reasoning-токенах взята из платформы Artificial Analysis, а примеры утечек рассуждений — из случайных багов, так что обычному зрителю их не увидеть. Для полного понимания аналогии с C и assembler стоит знать базовое программирование.
Если слова незнакомы — 4 терминов
- pacingзамедление гонки разработки ИИ с фокусом на безопасность и понятность
- reasoning-токеныпромежуточные шаги рассуждения модели, которые она генерирует перед ответом и которые можно анализировать
- бенчмаркстандартизированный тест, по которому сравнивают модели
- интерпретируемостьнасколько легко понять, почему модель приняла то или иное решение
Связки из этого ролика
3 шт.- C
- assembly
- Electron
Компоненты
4 шт.Формат: мнение · для практикующих · уверенность разметки 0.9 · источник