Continuum от Runway: ОС на генеративных видеомоделях

Что в ролике
На саммите Runway анонсировала три продукта: автономную платформу Runway Ads для performance-маркетинга, модель действий Praxis для робототехники на базе видео-моделей и тизер Solaris — первой world action model, которую обещают выпустить через пару недель. Дальше Кристобаль Валенсуэла показал незаанонсированный проект Continuum — эксперимент, где операционная система работает целиком на real-time видеомодели, а контент из веба превращается в интерактивное видео. В демо порталы — окна с генерируемым видео — можно ресайзить, кликать, менять стиль и промпт, и модель перестраивает картинку в реальном времени. Отдельно показали visual thinking: real-time модель подключена к кодинг-агенту, который не только описывает решение текстом, но и визуализирует его, например продумывает 3D-печатную деталь для велосипеда. Контент с сайта про Марс превращается в живую сцену: структура страницы становится интерактивной, а промпт-бар понимает контекст просматриваемого. Под капотом — next frame prediction: модели не обучали физике и гравитации явно, но они понимают поверхности, постоянство объектов и взаимодействия, что открывает путь к симуляциям и средам. Continuum — очень ранняя research-стадия, впервые показана публично, и это скорее картина будущего, чем продукт.
Практика
- Что получишь
- Представление о том, как Runway видит будущее: от генерации видео к интерактивным интерфейсам и операционным системам на видеомоделях, включая world action models и визуальное мышление агентов.
- Первый шаг
- Начать с изучения анонсов Runway на официальном сайте или в соцсетях: Continuum пока нельзя попробовать, но Solaris обещают выпустить в ближайшие недели.
- Цифры
- —2019 — год создания ролика The Orange, который показывают для сравнения прогресса видеомоделей
- —5–6 лет — настолько, по словам спикера, старый state-of-the-art ролик отстаёт от нынешнего уровня
- —2030 — год из демо-примера поиска про Марс, который превращается в интерактивную сцену
- Честно
- Это выступление самой Runway, поэтому ролик продвигает её продукты и будущие проекты. Continuum — ранний research-проект, впервые показан публично, его нельзя скачать или использовать; всё показанное — демо с экрана, повторению не подлежит. Конкретных инструкций или исходников нет, а Solaris и Praxis только анонсированы.
Если слова незнакомы — 7 терминов
- real-time видеомодельмодель, генерирующая видео достаточно быстро для взаимодействия в реальном времени
- world action modelмодель, предсказывающая действия в мире; используется для робототехники
- next frame predictionпредсказание следующего кадра видео как способ генерации
- порталокно с интерактивным сгенерированным видео поверх обычного контента
- visual thinkingспособность агента визуализировать решение, а не только описывать его текстом
- агентпрограмма, которая сама выполняет задачи и рассуждает
- промпттекстовое задание или инструкция для модели
Компоненты
4 шт.Формат: анонс продукта · для практикующих · уверенность разметки 0.8 · источник