Прототипы Runway: видео в реальном времени

Что в ролике
Runway Labs показывает внутренние прототипы генеративного видео в реальном времени, где вместо промптов используется контекст того, что уже на экране. В проекте Continuum пользователь выделяет область на веб-странице или видео, и модель сразу генерирует углубляющий видеоролик без текстовых запросов. Автор демонстрирует изменяемые размеры видео: при уменьшении окна модель не обрезает кадр, а переосмысливает композицию, как в примере с движущимися коробками или картой горнолыжного склона, которая превращается в детальный вид одного склона. Отдельный прототип — рисование на планшете, где каждые несколько секунд real-time видео-модель интерпретирует набросок и анимирует его в том же стиле, например, простые глаза начинают моргать и смотреть по сторонам. В офисе Runway так рисовали бабочек, сложные сцены и мемы, превращая черновик в живую картинку. Автор объясняет, что цель таких прототипов — дать людям шагнуть в идею и начать диалог, а не просто показать готовый продукт.
Практика
- Что получишь
- Понять, как Runway видит будущее генеративного видео без промптов, и увидеть примеры прототипов, которые показывают новые способы взаимодействия с видео.
- Первый шаг
- Посмотреть демонстрацию Continuum на сайте Runway, чтобы увидеть, как работает выделение области и генерация в реальном времени.
- Цифры
- —0 промптов — столько текстовых запросов нужно ввести для генерации видео из выделенной области в Continuum
- —1 простой круг — столько линий достаточно модели, чтобы распознать глаза и анимировать их моргание
- Честно
- Ролик выпущен самой компанией Runway и демонстрирует внутренние прототипы, которые могут не стать публичными продуктами. Это скорее визионерский взгляд, чем практическое руководство: повторить показанное самостоятельно нельзя, так как инструменты не выложены в открытый доступ. Все визуальные демонстрации (выделение области, изменение размера, рисование) видны только на экране, в тексте деталей реализации нет.
Если слова незнакомы — 3 терминов
- real-time видео-модельмодель, генерирующая видео мгновенно, без задержки на обработку
- промпттекстовое описание задачи для модели
- генеративное видеовидео, созданное алгоритмом, а не снятое камерой
Компоненты
2 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник