微博

QQ

这是奥巴马说的话吗? No!

2017-07-14 依马狮广电网


  美国华盛顿大学研究人员制作了前总统奥巴马说他未说过的话的视频。将奥巴马作为一个实验对象,Supasorn Suwajanakorn、Steven M. Seitz和Ira Kemelmacher-Shlizerman合成了一个“精确对口型的高质量总统演说视频,合成为一个目标视频片段。”

  他们在本月的ACM图形学报上发表的文章“合成奥巴马:从音频学习对口型”描述了此处理。

这是奥巴马说的话吗? No!

  “在很长时间的奥巴马每周演讲镜头上接受训练,一个回归神经网络学习原始音频特征到口型的映射。考虑到每个瞬间的口型,我们合成高质量说话纹理,并用匹配一段目标视频中他好像在说什么的变化之特有的3D姿态合成它,以匹配输入音轨。我们的方法产生逼真的结果。”

  该研究团队称他们选择奥巴马有若干理由,包括可公开获得的他每周演讲的高清视频镜头充裕(8年来有17小时和200万画面)、灯光和其它制作参数一致以及奥巴马前总统典型的严肃和直接的语气。

  研究特别逼真的对口型的部分原因是从一维信号影视为3D时变画面的技术挑战,但还有一个事实是人类极其习惯于口部敏感的细节;以前很多仿真电视上讲话者的头部特写的尝试产生的结果看上去很可怕。

  虽然有被用于制造假新闻的担心,但研究人员表示此技术可能在降低传输带宽、创建从音频实现唇读的视频合成以及影响特效和游戏中的替身等方面有应用价值。

视频合成 对口型

视听科技视频号 广告
发表评论