General Intuition: игры как интернет для обучения роботов

Что в ролике
Автор предлагает представить, что видеоигры — это тот же интернет для роботов, потому что человек играет и телеоперирует робота одним мозгом и часто одним контроллером. Их старт — сервис Medal, крупнейший в мире видеорегистратор игр, где люди записывают десятки тысяч игр; в этом году загружают около 3 миллиардов роликов, что даёт более 1,5 триллиона action-токенов в месяц. Модель General Intuition получает кадры и текстовый промпт, а предсказывает действия — по сути компьютерное использование с семантической разметкой каждого действия. В отличие от LLM, которые авторегрессивно предсказывают следующий токен и заточены под пошаговые задачи, эта модель непрерывно наблюдает во время действий, как Олаф из «Холодного сердца». Ставка похожа на Anthropic: те сделали упор на код, а General Intuition — на пиксельное пространство, поскольку роботы и игры управляются одинаковыми контроллерами. Одна и та же модель играет в видеоигры на высоком уровне и управляет более чем 10 типами роботов в реальном времени, используя одни примитивы «пиксели на входе — действия на выходе». Ранний доступ обещают в ближайшие месяцы по списку ожидания, также планируют хакатоны в Нью-Йорке в середине ноября и в Лондоне; для рабочего пайплайна всё равно понадобится оркестратор вроде Gemini или Astra.
Практика
- Что получишь
- Понять, чем модель «пиксели в действия» отличается от LLM и какие задачи реального времени она может закрыть, а также как попасть в ранний доступ.
- Первый шаг
- Найти QR-код на экране и записаться в лист ожидания — доступ выдадут в порядке заявок.
- Цифры
- —3 миллиарда — столько видеороликов сервис Medal загружает в этом году
- —1,5 триллиона — столько action-токенов даёт Medal в месяц
- —10 типов роботов — управляет одна модель General Intuition
- —полдня — за столько собирают объём данных, который, по словам автора, Frontier Labs использует для обучения роботов
- Честно
- Автор — сооснователь General Intuition и прямо продвигает свои модели, ранний доступ и набор в команду. Демо-ролики в выступлении не показали, чтобы не портить сюрприз, поэтому реальные возможности модели можно увидеть только вживую или после допуска. QR-код для листа ожидания виден только на экране.
Если слова незнакомы — 4 терминов
- LLMбольшая языковая модель, которая предсказывает следующий текстовый токен
- action-токенединица действия, которую модель предсказывает вместо очередного слова
- промпттекстовое задание, которое подаётся модели вместе с кадрами
- оркестратормодель долгосрочного планирования, которая управляет другими моделями
Компоненты
4 шт.Формат: анонс продукта · для продвинутых · уверенность разметки 0.85 · источник