Безопасность реал-тайм видео: опыт Runway и Roblox

Что в ролике
Если вы строите продукт с генерацией в реальном времени, эта запись объясняет, почему реал-тайм модерация сложнее пост-фактум и как платформы перестраивают защиту. Роблокс за 20 лет прошёл путь от списка запрещённых слов в текстовом чате до мультимодальной модерации RM3, которая покадрово смотрит на серверы и отключает только те, где обнаружено нарушение. Ранвей, у которого нет ленты и жалоб пользователей, встроил автоматические классификаторы прямо в процесс генерации: сначала входной промпт, потом промежуточные кадры, и если модель находит проблему, поток останавливается. Для скорости Ранвей использует специализированную модель Cope от Zentropy, которая выполняет проверку меньше чем за полсекунды и сужает окно, в котором пользователь мог увидеть вредный контент, до одной секунды. Элиза из Roblox подчёркивает, что политика для реального времени должна опираться на принцип «знал или должен был знать» и быть готовой меняться, потому что сообщество постоянно находит новые способы обойти правила. Вместо банов Roblox использует подталкивания: голосовой модератор прерывает нарушителя, напоминает правила и возвращает в игру, и данные показывают, что после этого люди реже повторяют нарушения. Человек остаётся в процессе: люди пишут сами политики, проверяют точность автоматической модерации и разбирают апелляции, а для запуска новых продуктов советуют заранее определить метрики, при которых продукт можно быстро откатить.
Практика
- Что получишь
- Понимание того, как устроена реал-тайм модерация на зрелых платформах: какие слои защиты нужны, где остаётся человек и почему скорость проверки критичнее пост-фактум разборов.
- Первый шаг
- Начните с описания правил модерации в виде категорий нарушений, а не списка запрещённых фраз, чтобы политику можно было переносить на новые продукты.
- Цифры
- —20 лет — столько Roblox развивает платформу и слои модерации с тех пор, как ещё не было AI
- —меньше полсекунды — за такое время Runway выполняет проверку безопасности при реальном времени генерации
- —50 серверов одной игры — столько может работать одновременно, и система отключает только тот, где обнаружено нарушение, оставляя остальные
- Честно
- Это панельная дискуссия, а не руководство: конкретных инструкций для повторения нет. Runway и Zentropy рассказывают о своём сотрудничестве и упоминают модель Cope, но технических деталей, вроде параметров или точных метрик, не показывают. Некоторые решения Roblox, такие как точная реализация RM3 и работа системы подталкиваний, описаны только словами.
Если слова незнакомы — 4 терминов
- реал-тайм модерацияпроверка контента в момент его появления, а не после публикации
- мультимодальная модерацияанализ нескольких типов данных одновременно, например видео и звука, для поиска нарушений
- промпттекст-инструкция, которую пользователь даёт модели для генерации
- классификаторымодели, которые определяют, к какой категории относится контент, например вредный или безопасный
Компоненты
4 шт.Формат: интервью · для бизнеса · уверенность разметки 0.88 · источник