Nvidia Kimodo: анимации персонажей из одной фразы

Что в ролике
Nvidia Kimodo — бесплатный open-source генератор анимаций: высокий удар, зомби-походка или отжимания получаются из одного предложения, без Mixamo и костюма motion capture. Модель обучена на более чем 700 часах настоящего motion capture с текстовыми описаниями. Кроме текста она фиксирует позы, удерживает руку в точке и ведёт персонажа по нарисованному пути, работает для людей и человекоподобных роботов, а одно движение длится до 10 секунд. Для установки нужны видеокарта Nvidia, Python, Git, C++ и Visual Studio Build Tools, плюс доступ к Llama 3 на Hugging Face — авторам отказали из-за дефиса в поле компании, но после одобрения языковую часть можно перенести с видеокарты на процессор. На ноутбуке с 12 ГБ видеопамяти языковая часть Llama 3, желающая 17 ГБ, работает на процессоре, и две версии одного движения генерируются примерно за 20 секунд. В локальном браузерном демо пишут действие на таймлайне, рисуют путь или блокируют позы, а результат экспортируют в BVH для Blender или NPZ для собственного кода. Перенос на чужой скелет строится на карте из 20+ пар костей, приведении персонажа в T-позу, копировании поворотов костей и проверке векторов конечностей, где максимальное отклонение составило 3 градуса. Автор советует начинать с одного предложения на теле Kimodo, не навязывая свои позы, и признаёт, что первая версия дровосека провалилась из-за нарезки клипов и приклеенного топора; в следующем видео обещает motion matching.
Практика
- Что получишь
- Сможете генерировать анимации из текста, поз и путей в локальном демо Kimodo и переносить их на своего персонажа через карту костей и скрипт в Blender или своём движке.
- Первый шаг
- Скачать код с GitHub, создать чистое Python-окружение и запросить доступ к Llama 3 на Hugging Face с реальными данными.
- Цифры
- —700 часов — столько реального motion capture использовано для обучения модели
- —10 секунд — максимальная длина одной сгенерированной анимации
- —17 ГБ — столько видеопамяти хочет языковая часть Llama 3; на ноутбуке с 12 ГБ её переносят на процессор
- —3 градуса — максимальное отклонение векторов рук и ног при переносе анимации на чужой скелет
- Честно
- Команды, ссылки и комментарии для установки автор оставил в описании ролика, а интерфейс демо, процесс установки и код переноса показаны на экране, поэтому для точного повторения придётся смотреть видео. Прямой рекламы нет, но автор упоминает, что в следующем видео построит motion matching. На Windows демо-страница может не запуститься и потребует ручной сборки.
Если слова незнакомы — 8 терминов
- motion captureзахват движений реального человека с помощью камер или датчиков
- open-sourceпрограмма с открытым исходным кодом, бесплатная для использования
- Hugging Faceплатформа для размещения и скачивания моделей машинного обучения, где нужно подтвердить доступ
- Llama 3языковая модель Meta, которая понимает текст и превращает его в команды для анимации
- BVHформат файла анимации, который напрямую открывается в Blender
- NPZформат файла с поворотами каждой кости в каждом кадре анимации
- T-позастандартная поза с разведёнными в стороны руками, как буква T
- motion matchingтехника подбора готовых анимаций под текущее движение персонажа в реальном времени
Связки из этого ролика
3 шт.- Kimiko + Blender
- Python + PyTorch + CUDA
- Kimiko + Llama 3
Компоненты
11 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник