德国纽伦堡大学普朗克信息学院和美国斯坦福大学的研究人员最近开发了一种面部实时重演的新方法。在实验中,面源演员正在自顾自地做鬼脸、说笑话、玩说唱;而在视频直播中,他的那些表情和动作实时显示在目标演员的脸上。也就是说,后者的面部部件按别人的指挥而动,脸上出现的是别人的表情,这真是出人意料(如果你不认为有点恐怖的话)。
他们的论文指出,面部重演比单纯将表情映射到计算机生成的头像上(即重新定位)更难一些。“这是挑战性强得多的任务。因为,所传递的表情和外观哪怕有一点点错,或是与视频的周围环境有一点点不一致,都会被观众注意到的。”
他们通过跟踪面源演员(正在大做表情的那位)和目标演员(一脸无辜的那位)头部的几何形状、光反射率和脸部纹理,解决了主要的技术问题。对付最难的细节,比如牙齿,他们模拟嘴内部的样子再配以“替身”牙齿而完成。结果是合成创建了非常逼真的视频。这项技术目前还有些小缺点。例如,如果有手在脸前挥过,可能会带来奇怪的扭曲;演员所戴的眼镜有时也会让图像有点损坏。
现在你可以开始想像这些奇怪技术带来的可能性:在你并不想笑的场合,你尽管耷拉着脸,别人可以在视频中代你微笑;你在视频中的漂亮胡子其实长在别人脸上。当然也不完全是搞笑,它还是能做些有用事的,比如用于影视片中演员口型和台词的匹配调整。 凌启渝