Nvidia Motion Bricks: анимация между позами в реальном

Что в ролике
Motion Bricks от Nvidia генерирует кадры между заданными позами прямо во время игры, без текстовых промптов: вы даёте несколько поз, а модель заполняет движение между ними. Технология вышла из исследования Nvidia в апреле, сначала была версия для робота Unitree G1, а 23 октября появилась версия для человеческого тела с двумя демо. Модель обучена на более чем 300 000 клипов захвата движения, код открыт, а лицензия допускает коммерческое использование на условиях Nvidia. На его RTX 4070 файл модели размером 700 МБ занимает около 1 ГБ видеопамяти, один шаг занимает примерно 4 миллисекунды, тогда как Nvidia заявляет 2 миллисекунды на RTX 5090. В демо ИИ смотрит на последние четыре позы персонажа и целевую позу и решает, как телу добраться до неё: ходьба, бег, стиль зомби, прыжки через стену, уклонение под перекладиной и посадка на ящик. Свою анимацию бега из Kimodo он подключил, но суставы читались неправильно из-за разных осей; после конвертации файла бег заработал. Для атак Motion Bricks не годится: минимальное время движения около полсекунды слишком медленное, поэтому быстрые удары нужно делать обычными анимациями, а моделью можно подводить персонажа к клипу и уводить из него. Плагина для Unreal Engine 5 в архиве нет, есть ONNX-модель и Python-пример, поэтому интеграцию в Unreal, Unity или Godot придётся писать самому по документации.
Практика
- Что получишь
- Вы поймёте, что Motion Bricks умеет и не умеет: плавные переходы, реакцию на препятствия и стили, но не атаки и лазание, и сможете решить, пробовать ли его в своём проекте.
- Первый шаг
- Скачайте демо с GitHub Nvidia, убедитесь, что есть Nvidia-видеокарта и установлен UV, затем запустите Python-демо и попробуйте встроенные движения.
- Цифры
- —300 000 клипов захвата движения — столько данных использовано для обучения модели
- —700 МБ — размер файла модели; на RTX 4070 демо занимает около 1 ГБ видеопамяти
- —2 миллисекунды на RTX 5090 — заявленное время одного шага, на RTX 4070 автор намерил около 4 миллисекунд
- —от половины секунды до 2 секунд — диапазон длительности одного движения, который можно задать
- Честно
- Автор не продаёт продукт, но в конце отсылает к своему предыдущему видео о Kimodo. Готового плагина для игровых движков нет: в архиве только модель и Python-пример, интеграцию в Unreal, Unity или Godot придётся писать самостоятельно по документации Nvidia. Демо-анимации предназначены только для тестирования, а для реальной игры нужны свои позы.
Если слова незнакомы — 3 терминов
- motion captureзапись движений живого актёра датчиками, превращённая в анимацию
- ONNXоткрытый формат файла для нейросетей, который можно загружать в разные игровые движки
- VRAMпамять видеокарты, используемая для работы модели
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 1:27.
Связки из этого ролика
3 шт.- Unreal Engine 5
- Unity
- Godot
Компоненты
6 шт.Цитаты-доказательства
дословно из субтитровФормат: сборка на живом примере · для практикующих · уверенность разметки 0.85 · источник