Runway Continuum: видео в реальном времени как ОС

Что в ролике
Runway Labs показывает раннюю версию Continuum — исследовательского приложения, которое встраивает генеративные видеомодели в интерфейс обычной операционной системы. Внизу экрана есть строка промпта, сверху — вкладки проектов, а приложение помнит контекст недавних задач и может помочь углубиться в тему. Выделив любой фрагмент на экране, можно сгенерировать «портал» с видеоконтентом в реальном времени — трёхмерной визуализацией или другим материалом, который сохраняется в правой панели и отличается размытыми краями от обычных окон. Портал интерактивен: изменение размера окна служит входным сигналом для модели и заставляет её перестраивать сцену, а клики по видео дают дополнительные взаимодействия. Для работы с агентами Continuum сам выбирает подходящий режим и открывает чат, где агент использует «визуальное мышление» — кодинг-модель показывает свои рассуждения в виде 3D-модели, например прототипа крепления для велосипеда. Приложение также предлагает готовые видеосценарии на основе открытых страниц: для поиска по космическим темам появился мир марсианского аванпоста, который можно развернуть на весь экран и приблизить кликом. Демонстрация показывает, что порталы и генеративные видеоинтерфейсы остаются с пользователем между задачами и могут создаваться проактивно, а не только по прямому запросу.
Практика
- Что получишь
- Понимание того, как генеративные видеомодели могут быть встроены в повседневный интерфейс: порталы, интерактивные сцены и агенты с визуальным мышлением. Идеи для проектирования собственных генеративных интерфейсов, если вы работаете в области AI-приложений.
- Первый шаг
- Посмотреть демо-ролик Runway и следить за обновлениями Runway Labs, поскольку Continuum пока не выпущен публично и недоступен для повторения.
- Цифры
- —3D — формат визуализаций и моделей, которые Continuum генерирует по запросу или выделению на экране
- —1 промпт-бар внизу экрана, через который задаются все команды Continuum
- Честно
- Это промо-демонстрация собственного исследовательского продукта Runway, а не независимый обзор. Приложение показано как ранняя версия без сроков публичного запуска и инструкций по установке. Все интерфейсы, команды и взаимодействия видны только на экране, а код и доступ не предоставляются.
Если слова незнакомы — 4 терминов
- промпттекст-задание, которое пользователь вводит в строку
- агентпрограмма, которая выполняет задачу автономно и может рассуждать шагами
- визуальное мышлениережим, в котором модель показывает ход рассуждений через генерируемое видео вместо текста
- кодинг-модельмодель, обученная писать код, здесь используется для создания 3D-модели по запросу
Связки из этого ролика
2 шт.- real-time video models
- agent-based visual thinking
Компоненты
1 шт.Формат: сборка на живом примере · для практикующих · уверенность разметки 0.9 · источник