Анимация любых монстров: две камеры, Seedance и DINO

Что в ролике
Автор решает задачу, с которой сталкивается каждый, кто пробовал добавить в игру нестандартное существо: для людей есть Mixamo и базы движений, а для дракона или тролля готовых анимаций нет. Ранние попытки — генерация ключевых кадров через Opus и перенос AI-видео на скелет — упирались в путаницу ног и угадывание глубины, поэтому кадры приходилось чинить вручную. Затем для тролля автор подал в Seedance одну картинку с двумя камерами, фронт и профиль, чтобы точка пересечения двух лучей снимала проблему глубины, но скрипт показывал 84% совпадений, а кадры всё равно ломались. Дальше перебрали внешние инструменты: трекинг точек от Google DeepMind сползал с ног, маски Meta SAM 2 путали лапы в беге, а оценка глубины угадывала ближнюю ногу лишь в 4 случаях из 10. В итоге автор собрал собственный тул: сначала Uni строит скелет по 3D-модели и отбраковывает неудачные попытки, затем DINO от Meta дообучается на 3000 рендерах этого монстра в случайных позах с двух камер и находит каждый сустав на новых видео Seedance. Качество проверяется экзаменом на сгенерированных движениях с известной анимацией, и новый ящер сдал его до оплаты первого ролика. Теперь весь пайплайн идёт от модели Tripo через скелет и распознавание суставов в Blender и в игру, а то, что раньше занимало 4 дня ручной проверки Opus, занимает несколько минут. Ограничения остались: если Seedance в двух половинах кадра показывает разные движения, тул следует только одному, а скрытая за телом рука остаётся догадкой.
Практика
- Что получишь
- Поймёте, как обойти проблему готовых анимаций для нестандартных существ и собрать похожий конвейер из Tripo, Uni, DINO и Seedance для своих моделей.
- Первый шаг
- Начните с 3D-модели из Tripo и постройте для неё скелет через Uni — это первый шаг пайплайна.
- Цифры
- —3000 случайных поз — столько рендеров с двух камер использовали для дообучения DINO на одном монстре
- —30 минут — столько заняло обучение DINO на одной видеокарте
- —4 дня — столько раньше занимал один тролль с ручной проверкой Opus, теперь это несколько минут
- —84% — столько совпадений насчитал старый скрипт, но большинство кадров всё равно оказались сломаны
- Честно
- Готового инструмента или кода в ролике нет: автор показывает свой внутренний тул, но не выкладывает его и не даёт ссылок. Для повторения понадобятся платные генерации Seedance и дообучение DINO на своей видеокарте, а точные промпты и настройки видны только на экране. Прямой рекламы или партнёрских ссылок нет, но в конце автор спрашивает, хочет ли аудитория попробовать инструмент.
Если слова незнакомы — 3 терминов
- скелетнабор костей, к которому привязываются части 3D-модели
- рендеротрисованный кадр 3D-сцены или модели
- DINOнейросеть Meta, обученная на миллионах изображений, которую можно дообучить под конкретную задачу
Компоненты
11 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.8 · источник