ai|网易研究五年的AI技术，应用一次最多能省几十万？( 二 ) 网易|算法

而我们的工作，本质上就是要在程序化生产这条主线下，引入一些AI技术手段，从而实现一些传统方案无法做到的效果。下面我来介绍一下我们在原画、模型和动画三个方面做过的一些尝试。

01
原画
在原画方面，我们做了两个辅助创作的工具。第一个工具用于二次元角色线稿的自动上色，并且可以生成多套不同的上色方案，主要作用是在设计二次元形象时，为美术提供一些色彩搭配的灵感。

第二个工具用于人脸的生成和编辑，它可以基于美术绘制的人脸线稿生成真实人脸照片，并且允许编辑人脸的一些属性。这里展示的，是修改人脸年龄后的结果。

由于互联网上的人脸数据非常丰富，人脸结构也相对比较简单，所以目前这个工具可以生成非常高清的人脸照片。在设计一些写实类角色时，美术可以参考这些素材进行二次创作。

当然，我知道很多同学对AI在原画方面的应用还有更高的期待。比如说利用GAN或风格迁移等技术直接生成场景原画，这也是AI技术最早出圈的一批应用。不过目前想要落地还稍微有点困难，倒不是说技术本身有什么问题，主要是因为游戏原画设计追求的不一定是真实，更多是一种特定艺术风格下的视觉表达。

我们随便找一幅游戏画面对比一下，就会发现这种图片跟日常照片有明显区别。在当前的数据条件下，想生成这种级别的AI模型还比较困难。所以如何让AI在原画设计方面发挥更多的作用，也是我们未来的重点方向之一。

02 模型在模型方面，我们的主要工作围绕在人脸模型上。首先简单介绍一个基础设施——三维参数化人脸模型，这是一个基于大量三维扫描得到的三维人脸数据制作出来的双线性模型，有脸型和表情两个维度，简单说就是任意给定一组脸型参数、一组表情参数，就会得到一个对应参数下的三维人头模型。

在2018年，我们自己扫描并制作了一套高质量的三维参数化人脸。当时一共采集了500个中国人的数据，其中男女各占一半，年龄段涵盖10-60岁，每个人扫描了7套表情，相当于一共采集了3500个人头。

我相信很多从事相关研究的同学对这个模型概念非常熟悉，这是由一篇1999年的SIGGRAPH论文提出的概念，专业名称叫3DMM ，目前学术界有一些很出名的开源3DMM数据。那我们为什么不直接用这种开源模型呢？主要有三方面原因：

首先是版权问题，我们希望这套技术真的能在游戏产品中用起来；

其次是精度问题，这些开源模型的精度距离实际游戏的标准还有不小的差距，我们早期做实验也会使用这些模型，但是美术会对质量非常嫌弃。所以我们自己采集时，每一个人头后续都人工精修过；

最后是人种问题，这些开源模型一般都是欧美机构发布的，他们采集的对象主要是欧美的高加索人种。这种明显的高鼻梁、深眼窝特点，一看就不是亚洲人，所以我们果断决定自己制作一套。

在AI领域，参数化人脸的主要作用是提供关于人脸的三维形状先验，所以制作好的参数化三维人脸模型可以用于从二维照片中重建三维人脸模型。我们这套参数化人脸模型，在东亚人脸照片上取得了非常好的重建效果。

当然，由于单视角照片会在深度方面存在缺失，很难还原类似鼻梁高度、眼窝这方面的特征，所以我们也开发了一套多视角的重建算法。如果条件允许，可以拍摄演员的多张照片进行重建。大家可以对比一下——右边多视角的重建结果对演员鼻子形状的还原程度，要比单视角高非常多。