11 незамеченных AI-прорывов: голос, миры и 3D

Что в ролике
Выпуск собирает 11 не самых громких новинок: голосовые, видеогенерация, world models, 3D и браузерные игрушки. Fish Audio Drama 3 — text-to-speech модель, где интонации задаются режиссёрскими ремарками в квадратных скобках прямо в тексте, есть шёпот, смех и несколько голосов, а модель имеет 36 миллиардов параметров и требует около 46 ГБ видеопамяти. ByteDance показала OmniHuman 2, который по одной фотографии и аудиодорожке делает видео с говорящим или поющим человеком до пяти минут, но только в 720p и по цене 0,07 доллара за секунду. Tencent WorldCrafter решает проблему исчезающих объектов в world models через память по позиции камеры, что позволяет вернуться к прежнему месту и увидеть ту же сцену. Skyworks Matrix Game 4 вместо единой нейросети использует обычный игровой движок для физики и правил, а видеомодель лишь перерисовывает грубый кадр, и каждая игра имеет свою модель на 5 миллиардов параметров. Nvidia Stream Render H3 работает похоже, но передаёт модели цветовую карту без освещения и текстур, а один шаг рендера занимает 218 миллисекунд на восьми GB200. Из остального стоит отметить генеративную 3D-модель Telescope от Preferred Networks, которая строит детальные меши из 56–256 фотографий, и браузерный генератор World Gacha, создающий случайные города в манга-стиле для экспорта в Unreal Engine.
Практика
- Что получишь
- Обзор реально новых инструментов с ограничениями: можно понять, что уже работает, а что только демо, и выбрать, что попробовать для озвучки, видео, 3D или игровых сцен.
- Первый шаг
- Начните с бесплатного демо Fish Audio Drama 3 на fish.audio/drama3 и попробуйте написать ремарку в квадратных скобках, чтобы услышать смену эмоции.
- Цифры
- —36 миллиардов параметров у Drama 3 и около 46 ГБ видеопамяти для запуска
- —0,07 доллара за секунду генерации OmniHuman 2, то есть 21 доллар за пятиминутный ролик
- —5 миллиардов параметров у каждой отдельной игры Matrix Game 4
- —218 миллисекунд занимает один шаг рендера Nvidia Stream Render H3 на восьми GB200
- Честно
- Часть ролика спонсирована OpenAI: автор показывает Dots и оставляет партнёрскую ссылку в описании. Многие проекты доступны только как демо, у ByteDance и Odyssey нет публичного доступа или кода, а Nvidia Stream Render H3 требует дата-центровых GPU. Некоторые оценки вроде бенчмарка WorldCrafter приведены по данным самих авторов.
Если слова незнакомы — 5 терминов
- text-to-speechсинтез речи по тексту
- world modelsнейросети, которые генерируют трёхмерный мир для перемещения
- параметрычисловые коэффициенты модели, определяющие её размер и требования к железу
- мешиполигональные сетки трёхмерных объектов
- видеопамятьпамять видеокарты, нужная для запуска большой модели
Связки из этого ролика
1 шт.- ChatGPT + Codex
Компоненты
15 шт.Формат: подборка · для практикующих · уверенность разметки 0.85 · источник