В Cyberpunk 2077 использовали нейросеть для липсинка, в том числе на русском
CD Projekt объявила, что в Cyberpunk 2077 будет полная синхронизация анимации движения лиц и диалогов на всех десяти языках — включая русский.
Об этом рассказал Матеуш Поплавский , ведущий технический директор персонажей игры. По его словам, после завершения работы над «Ведьмаком 3» авторы поставили перед собой цель улучшить данный технический аспект.
Из-за новых запросов создатели не могли просто воспользоваться технологией захвата движений (Motion Capture), и пришлось придумывать что-то другое. Для этого они воспользовались нейросетью JALI , «систематизировав» процесс синхронизации анимации лица и голоса. Поплавский отметил, что анимации моделей в ролике были созданы сетью — люди к ним вообще не прикасались.
Если вкратце, то система вычисляет, какое конкретно движение требуется для определённого слова, тона или другого языка — учитываются даже мельчайшие подробности. В качестве примера было продемонстрировано, как персонаж произносит одни и те же фразы на разных языках.
Начиная с 13 минуты видео авторы наглядно демонстрируют изменения, которые привносит система, а на 15:44 можно увидеть результат синхронизации на десяти языках дубляжа, включая и русский.
Cyberpunk 2077 выходит 19 ноября на PS4, Xbox One, PC и Stadia. Игру также можно будет запустить на PS5 и Xbox Series с помощью обратной совместимости.