Fable 5.2 в робототехнике: 64,9% и спор о бенчмарках

Что в ролике
Если вы следите за развитием языковых моделей в робототехнике, релиз Fable 5.2 стоит внимания: в симуляции Robo Dojo модель набрала 64,9% среднего успеха, выполняя задачи вроде укладки предметов и наливания воды на захламлённом столе. За несколько месяцев до этого Anthropic показала три способа подключения языковой модели к роботу: прямые команды моторам, написание кода и управление через уже обученную политику, и во всех трёх результаты растут от поколения к поколению. Автор также разбирает сравнение с OpenAI: в Arc AGI 3 модель GPT-4 Astra выигрывает только в паре с фирменным Codex, а на стандартизированном гарнессе Fable 5.2 заметно впереди. В Terminal Bench 4.0 со стандартным гарнессом первые три места занимают Anthropic-модели Fable 5.2, Opus 5.5 и Sonnet 5.5, а GPT-4 Astra опускается на шестое место ниже Claude K 3.1 Pro и Gemini 4 Carbon. Та же картина в версии Artificial Analysis: разброс результатов одного бенчмарка от 67,6% до 59,6% показывает, насколько сильно итог зависит от гарнесса и вендорских настроек. По стоимости Fable 5.2 стал дешевле предыдущей модели 5.1 и выдаёт ответы на 30% быстрее, но в целом модели Anthropic остаются крайне неэффективными по расходу токенов.
Практика
- Что получишь
- Поймёте, за счёт чего языковая модель без специализированной архитектуры набирает 64,9% в Robo Dojo и как выбор гарнесса меняет расстановку сил между Anthropic и OpenAI. Это поможет критичнее сравнивать модели при выборе под свои задачи.
- Первый шаг
- Открыть model card Fable 5.2 и сравнить её показатели в Robo Dojo и Terminal Bench 4.0 на странице Artificial Analysis, чтобы увидеть те же графики.
- Цифры
- —64,9% — средний успех Fable 5.2 в симуляции Robo Dojo при укладке предметов и других задачах
- —30% — на столько быстрее Fable 5.2 выдаёт ответы по сравнению с Fable 5.1
- —67,6% против 59,6% — разброс результатов одного и того же Terminal Bench 4.0 в разных версиях и с разными гарнессами
- Честно
- Ролик спонсирует Micro Center: автор даёт партнёрскую ссылку в описании и предлагает получить бесплатную флешку за регистрацию на открытие магазина в Остине 13 ноября. Все таблицы бенчмарков, графики и примеры успехов в Robo Dojo видны только на экране, в речи названы лишь отдельные значения. Повторить эксперименты по робототехнике нельзя: готового кода или инструкций для запуска симуляции в ролике нет.
Если слова незнакомы — 4 терминов
- бенчмаркстандартный тест для измерения способностей модели
- гарнессобвязка или среда, через которую модель выполняет задания бенчмарка
- токенминимальная единица текста, за которую модель платит при обработке и генерации
- предобученная политикаготовая программа управления роботом, которой модель отправляет команды
Связки из этого ролика
3 шт.- LLM
- vision language action models
- world action models
Компоненты
6 шт.Формат: реакция на новость · для практикующих · уверенность разметки 0.9 · источник