《爵迹》主演都面瘫？那是由于不知道有这家

《爵迹》主演都面瘫？那是由于不知道有这家

本文内容系影视黑科技原创。

欢迎分享至朋友圈。

转载请注明出处与作者。作者这期参考文章里作者竟然没有写自己名字！找不到！你们就当是我吧~

编译Root

最近4爷发布了《爵迹》高精度3D模型的海报，演员阵（yan）容（zhi）可谓史上之最。道上人称颜值天团坐镇，风华盖世。

你能认出来几个？

但是（转折以后才是重点）……

每个人的面部高光部份，时左时右、时上时下是什么鬼？先不说这类光源不统一的基本bug了，体现CG团队实力的3D模型制作水平也让人??不敢直视……不标名字的话真心认不太出来谁是谁（除我凡和冰冰姐）。插播道题（可能会暴露年龄，答不上来表打我）：请问图中哪一个是TFBOYS的成员？找到了？那他叫甚么名字？

那末问题来了，为何海报里做出来的CG人物和真人不够像呢？

想要知道这个问题的答案，我们还得先了解，这类根据真人制作的3D模型是怎样做出来的。

CrazyTalk8

谷歌到的一款软件，流程化、操作简易、可“快速”生成3D虚拟头像

首先，先拍下真人的正面照和侧面照。拍照进程中，不能有刘海遮住额头，也不能做各种表情（软件只能认扑克脸，不高冷它还记不住是你⊙﹏⊙)b）。

第二步，上传照片到软件界面后，对正面和侧面分别打点标记出各处脸部特点：如眼角、鼻尖、嘴角、颧骨、颌骨等地儿。再选根据被拍摄对象的地域选头型，举个??，亚洲人的鼻子普遍比高加索人的要浓缩精华一些（所以！如果你希望自己看起来更帅的话，可以偷偷选Caucasian）。

最后一步就是微调（Fine-tuning）所有的轮廓线，相当于锚定人面部的控制器（rig），然后模型就完成了（听起来好简单四不四）！

让我们看一下用这种方法的真实还原度怎样。

可以看出来，通过相片制造头像全部还原度还是非常不错的（用手把帅哥的眼睛部份盖住后比较看，效果最好）。只惋惜眼白处没有明暗的梯度变化，瞳孔反的光太强，显得眼神很虚晃，不实。面部的阴影区处理得也不太自然（分界断层如此明显，肯定不是阴影粉上太多了？）。

这可能是CG海报看起来不够像真人的缘由。

巴特不仅是海报，预告片（Trailer）也赶脚哪里不太对

在预告片里，最不像本人的CG形象可能是冰冰姐和陈学冬了。负面评价最多的是面瘫。

很多人说是演员演技的问题。

但大家遗忘了另外一种可能。

脸部表情动画（FacialAnimation）制作的难度。

什么是脸部表情动画？

脸部表情动画，用人话说，先捕捉表情数据（FacialMotionCapture），后数据绑定（Retargeting）：把捕捉取得的数据代入上述方法已做好的模型，才能让虚拟头部“活”起来。

如果说刚刚上面谈到的海报CG人物不像真人，可能是模型构建的进程中眼神还原处理不够完善。辣么在预告片里，CG人物的脸部表情很僵硬，就要从数据绑定上找找问题了。

数据绑定，才是还原真实脸部表情的关键

很多小型影视游戏制作团队刚接触这类虚拟人物动画制作的时候，最容易犯的毛病：他们常常会花掉大部分的预算购买捕捉用的摄像头，结果拿到数据以后才发现，需要花费最多血汗人力物力的、最需要花钱的地方却在数据绑定上。

目前脸部表情绑定的思路，借用了在全身动作还原投射的原理：尝试建立一套流程，根据认知能力范围内能抓取到的有限的公式、方程式、启发法*等原则去把输入端所收集到的多维度信号，转化输出成另一种多维度的信息。输入的信息，来源于人的脸部表情，而这组数据本质上是用各种仪器丈量捕捉到的各种数值，最后解读投射到虚拟人物上去，力争%无穷接近还原真实人物的一切脸部表情。

*启发法：只能依赖人过往的经验和最早想到的信息作为判断事情的根据。属于在处理复杂复合问题的时候常借助的方法。不能保证成功，但是比较省力。大多数情况下管用，但一旦遇到特殊情况就歇菜了。

虽然，用一样思路的全身动作的捕捉+绑定已非常精准了。

国外游戏制作团队

使用PerceptionNeuron全身动捕装备制作的Demo

要让一个屏幕上的Avatar像物理世界里的动捕演员一样动起来，就只要在模型的肩膀、手肘、手段等关节点加控制器就可以了。

小型游戏还是hold得住的。比如↓

Metacritic上打94分的WalkingDead是使用这个方法的代表作

（坦白说，并没有收TelltaleGames的广告费）

但是一旦遇到范围庞大的电影制作（比如4爷这次的《爵迹》），数据绑定（Retargeting）的难度就蹭蹭蹭的上去了（听小道消息说，今年夏天全国的殊效公司都在昼夜不分??不停蹄地赶工做《爵迹》的殊效）。

缘由在于，脸部表情比全身动作复杂很多。

脸部动画比全身动画难在哪？

首先是人脸有43块肌肉！我们知道，肢体上贴的标记点Marker是对应回虚拟人物肢体的控制器的。但脸部肌肉那么多，一个Marker下标记的皮肤可能有好几块肌肉同时控制，正所谓牵1marker而动全face啊你脑补一下。那Marker下的脸部肌肉和控制器之间的关系，就不能像肢体骨骼和控制器之间的那般简单的逐一对应了。

肌肉的作用力区域也存在堆叠，因此定义控制器的作用力度和范围成为了脸部动画（facialanimation）工作中最大的挑战。

每一个Marker点贴哪儿，相间距离多远，贴几个都是头痛欲裂的问题。和后期修正量大到绑定师（Rigger）想哭。

为了摸索黑盒子——输入端表情数据和最后输出的虚拟表情之间的关系，殊效团队只能不断地喂真实数据给Example-basedRetargeting系统（传统的表情动画解决方案，也是《爵迹》这次使用的方法），并且手key校订最后结果，让EBR系统学习总结后能够自动处理拍摄好的真实片断，生成相对逼真的CG人物脸部动画。

比如说，要训练EBR系统能够自动转化人脸的眉毛位置，我们就输入并跟踪演员眉毛上Marker点的运动轨迹。当演员的抬高眉毛的时候，Marker值最高，也让虚拟人物的眉毛抬高；新建好这个例子后，接着让演员眉头紧锁，根据Marker的值相应地把虚拟人物的眉毛调低。

这样，我们就分别得到了两个参照值：眉毛高低两个位置所对应的同个Marker点数据。理想状态下，只要给这个系统再次输入捕捉到的Marker位置，就可以反算出虚拟人物的眉毛位置。

但这只是纸上谈兵，真正操作过程中，会遇到两大问题。

1.光学扫描的灵敏度是有限的，只要Marker点的改变小于光学摄像头的侦测阈值，EBR系统就当你没动过。所以啊！即便截然相反的情绪下，演员眉毛确切有细微的改变，虚拟人物却完全“无动于中”。

这下知道为何冰冰姐除嘴，其他部份都一动不动了么？

相比之下，吴亦凡轻微的抬眉处理的相对自然

嗯，人长得帅没办法

R系统学习的效果没有我们想要的那末理想。想象一下，你为了要虚拟人物口型的自动转化，就用演员张大口和闭口的样片来训练EBR系统，让系统输出相应的虚拟人物血盆大口和闭嘴的模样。跑完样片建立完参考值以后，开始跑正片。问题就来了，虚拟人物的口会时不时闪闭！就像眨眼睛那样！

喂神马会这样呢？

倒回头检查才发现，在演员闭口型的样片里，演员的眼睛不当心眨了一下。眨眼睛的时候，下眼睑的Marker点碰巧在更低的位置。所以EBR系统就自动建立了眨眼和闭嘴的联系。因此只要正片出现眨眼的瞬间，虚拟人物的口型就会“被”闭上。EBR系统还没有智能到能够分辨出闭眼和闭嘴没有相关性。除非再继续灌足够多的例子，让系统渐渐明白闭眼和闭嘴无关，消除这二者的关系；再不然就是，建立系统口型自动转化的学习进程中，踢掉眼部的Marker值这个变量。

用更多的例子“洗脑”，系统又有增加误差的风险：只要一个不恰当的样片示例就会让系统把本来相干的因素又拆开来。即便样片输入的数据非常干净，没有干扰的数据源，但输出的虚拟人物表情又会抽风，稀里糊涂的跳闪（SpuriousJitter），表情动作不够流畅和稳定。抽风的缘由，是例子喂完黑盒子以后，黑盒子生成了输入输出两端非线性的关系。虽然可以把抽风的输出结果手key成平滑的模样，但这只是在掩盖黑盒子的学习效果不好不够精确的问题。

踢掉眼部的Marker值也很难堪。这方案本质上就是分类脸上所有的Marker点。那分类根据是什么呢？要分到多细呢？要不要把嘴的Marker点也分区呢？界限很难定。而且多一个分区，训练EBR系统的次数就成倍增长。辣么靠演员录制的训练样片的时间，同理也成正比增长。投资人掐指一算，演员花在训练上的时间也是要算片酬的呀！和后期校订的花消比，还是能少一个分区就少一个分区吧！

所以，本来用于全身动作动画的EBR系统用在脸部动画上，看起来是得手可用的思路，实际上操作过程每处都是坑。这方法对脸部动画来讲，属于先天不良（作者原话：inherentlylimited）。

辣么，做好脸部动画有没有更好的思路？

有！（此处谅解我插播1句我特别喜欢的话_）

所以，最好的方法看起来是（实际上也是）一条特别费力的路。

研究人脸肌肉的运动力学。

这就是脸部动画行业翘楚CubicMotion选的路。照旧是用贴在脸上的一个Marker点对应一个控制器。不过这一回，是每一个点背后都安排一个团队（有专门研究人脸的科学家，还有顶尖的绑定师）去研究这个点究竟会被多少因素影响，每一个因素和这个点的运动、位移、对应的肌肉伸缩状态、程度有什么样的关系。总而言之，就是把黑盒子拆了，研究透了人脸每一个表情后的起作用的肌肉到底怎样收缩，得到确切的因果关系。

给一个Marker点上动画效果之前，上述的研究工作常常都要好几天。但一旦全部搞清楚以后，上动画效果的效力非常高，还原度高到惊人，节省了大量的后期校订时间。

我们来看看CubicMotion做出来的效果↓

没有Wi-Fi的小盆友，看这里↓

看看别人家的脸部表情

看看别人家是怎样打点的（法令纹上也来了一圈，啊）

看看别人家是怎样打点的-2（这点赶脚打得好科学啊）

看看别人家最后动画效果

看看别人家的眼部捕捉细节

看看别人家的瞳孔！还会随光线的强弱改变孔径大小！

你们说，《爵迹2》要不要斟酌找CubicMotion呢？

参考文章

Theproblemwithexample-basedretargeting

Data-driven3Dfacialanimation

更多精彩影视幕后科技分析

转载请注明：http://www.sduhm.com/lcbx/654.html