谷歌推出AI视频对口型技术:根据语言改变说话方式

杨亮 ☉ 文 来源:DoNews
2023-05-11 @ 哈希力量文库

文库划重点:该技术不仅可以将音频从一种语言翻译成另一种语言,还可以模仿说话者的声音、语气和面部表情,人物说话视频会根据目标语言的发音同步改变口型。


5月11日消息,在2023 I/O开发者大会上,谷歌宣布正在开发一项名为Universal Translator的实验技术。该工具旨在将视频从一种语言翻译成另一种语言,同时保留整体基调和氛围。Cda哈希力量 | 消除一切智能鸿沟

这意味着该技术不仅可以将音频从一种语言翻译成另一种语言,还可以模仿说话者的声音、语气和面部表情,人物说话视频会根据目标语言的发音同步改变口型。Cda哈希力量 | 消除一切智能鸿沟

Universal Translator首先检测单词并进行翻译。然后,它会检查说话者的语气以及他们强调的内容。结合这两个方面后,它会生成目标语言的语音。最后,它会根据AI生成的语音的发音同步视频中说话者的口型。Cda哈希力量 | 消除一切智能鸿沟

考虑到此工具可能被滥用来创建虚假视频,谷歌表示将限制对Universal Translator的访问。因此,只有谷歌授权合作伙伴才能将其用于建设性项目,而普通用户无法使用。Cda哈希力量 | 消除一切智能鸿沟



收录于哈希力量,手机站省略本文固定网址