ai|网易研究五年的AI技术，应用一次最多能省几十万？( 四 ) 网易|算法

03
动画
最后是动画部分，这是我们这几年工作的重心。前面提到，游戏研发总成本的大头一般是美术资产，那么美术资产成本的大头一般就是动画。因为原画、模型虽然也很贵，但大部分属于一次性开销，而动画则需要配合剧情持续产出，且高质量动画一分钟的制作成本很轻松就可以过万。

在这方面，我们首先在光学动捕数据的清洗方面做了一些工作。光学动捕会在紧身动捕服表面设置很多标记点，通过多视角红外相机跟踪这些点的坐标，并算出人体骨骼的旋转、平移信息。当然，这些数据不可避免会有错误，所以会有专人负责清洗标记点。

资深的动捕美术直接看标记点的轨迹曲线，就能知道出现了什么错误、怎么修改，这也是目前动捕工作流中主要的人工工作量。

2018年，育碧提出了一种通过AI模型来取代这个过程的算法，发表在了SIGGRAPH上；2019年，网易投资了一家法国3A游戏工作室Quantic Dream ，也就是《底特律：变人》的研发商。当时我们开始有一些技术合作，他们提出需求后，我们跟进了相关研究。一年多之后，我们找到了一种精度更高的解决方案，也发表在了SIGGRAPH上。

目前我们已经把这套算法，以vicon软件的插件形式部署在了网易互娱和Quantic Dream的动捕工作流中。这里是一个例子：这是原始含噪音的标记点，闪来闪去的就是局部噪音，留在原地的就是跟丢的那些点，这是暂时调用我们算法得到的清洗结果。

接下来介绍几个我们部门落地最多的项目：首先是一套基于普通单目摄像头的轻量级面部动捕系统，基本原理就是利用前面的三维参数化人脸模型，对视频中演员的脸型、表情头部姿态进行回归，把回归得到的系数重定向到游戏角色上。

当然，我们也会配合一些CV检测和识别模型，加强算法对眨眼、视线、舌头和整体情绪的捕捉精度。这个项目我们从2018年开始做，前前后后差不多有十位同事参与。其中所有算法模块都是我们自己开发，打磨到现在已经是一套非常成熟的in-house面部动捕解决方案。

围绕这套算法，我们还打造了一整套工具链，有实时的动捕预览工具，有针对动捕结果进行离线调整和编辑的工具，还有Maya/Max里的动捕数据重定向插件。另外为了方便项目组接入面部动捕系统，我们还开发了一套专门适配自家算法的面部自动绑定插件。此外，核心算法我们还打包了全平台的SDK ，在iPhones 6s以上的机器，可以做到单核单线程实时。

这套系统在游戏里有非常多的应用场景，首先就是辅助动画师制作正式的游戏动画资源。相比于传统一帧一帧手k ，采用动捕方案的制作效率有明显优势。而且只要演员表演到位，效果跟美术手k几乎看不出来区别；

其次，它可以给营销同学快速产出一些面部动画素材，营销场景的特点是精度要求没那么高，但时效性要求很高，因为慢了就跟不上实时热点了。我们这种轻量级方案非常适合这种场景，比如某段短视频火了，用这套工具可以快速产出面部动画素材；

另外，因为我们的算法会提供全平台SDK ，所以也可以打包在游戏客户端里，给玩家提供一些UGC玩法。比如我们在《一梦江湖》里上线的颜艺系统，可以让玩家录制自己的表情动画。右上是我在B站上找到的一个视频——玩家录制的打哈欠动画；