瘦脸、瘦腿太初级，揭秘“亚洲秘术”美颜美体特效演讲：黄慧娟、临丰、唐堂编

演讲：黄慧娟、临丰、唐堂
编辑：王强
揭秘快手、淘宝、火山引擎的美颜美体特效技技术。
在这波AI浪潮中，深度学习技术对计算机视觉带来了巨大的变革，同时在图像、视频领域有着非常成熟的应用。
如在手机的各类拍摄App中，瘦脸、瘦腿等美颜特效已经非常普遍。同时，国内各大厂商也针对不同应用、场景，设计了不同的技术解决方案。
在机器之心最新一期技术分享中，机器之心机动组以「揭秘人体美化技术」为主题，邀请到了快手、淘宝、火山引擎的技术专家，为大家解密这些特效背后的相关技术。
以下为此次活动的演讲内容，机器之心进行了不改变原意的编辑、整理：
AI技术在快手人像美化中的应用
我是来自快手的黄慧娟，目前是快手Y-tech算法专家，从事计算机视觉、视频及图像处理、人像美化等方向的研发工作。今天跟大家分享的主题是「AI技术在快手人像美化中的应用」。
什么是人像美化
我们来看一下什么是人像美化。大家都有拍视频的经历，当在视频中使用美颜、妆容等特效，就会让视频中的人物呈现出整体好的状态。爱美之心人皆有之，变好看之后也能充分激发用户的拍摄欲望。这些能让视频中人物外貌、外形得到美化的技术就是人像美化技术。

文章图片
我们快手人像美化技术团队沉淀了一套完善的人像美化解决方案，而且落地到了快手的各个产品中，比如快手APP、快手极速版、一甜相机、快影等等，而覆盖的应用场景包括拍摄、直播、修图、电商导购等。
人像美化主要包含哪些功能？我们可以将其划分为美颜、美型、美体、美妆、滤镜5个方面。比如美颜，包括我们耳熟能详的磨皮、美白等等，而美型包括瘦脸、捏鼻等。要实现这些效果所依赖的底层基础技术有图像处理、AI检测定位、3D重建、跨平台渲染、手机端推理引擎，还有数据分析等等一系列基础技术。

文章图片
人像美化技术现状
我们看一下人像美化技术的现状。对于一张用户图像，首先可以经过各种滤波器和LUT的组合来实现磨皮、美白等美颜效果（LUT是指颜色映射的查找表）。然后我们可以基于人脸关键点检测等算法来实现瘦脸、小头等美型效果。接下来叠加设计师设计好的一些LUT来实现各种风格的滤镜，最后我们利用设计师提供的素材实现美妆的效果。现有的这套人像美化技术已经发展了很多年，趋于成熟，在用户审美不断提高，用户开始追求更真实、更自然、更高级的美化效果情况下我们的人像美化技术该如何发展呢？

文章图片
结合现在AI技术的蓬勃发展，我们有两条技术路线可以走：
1.优化现有的技术。
优势：迭代快，性能可控。
劣势：效果上限不高，自适应能力比较差。
2.引入AI能力。这里的AI能力不是指人脸检测和人脸关键点等这些提供基础信息的AI ，而是指直接面向人像美化效果层面的AI能力。
优势：可以实现复杂高级的效果，自适应能力比较强。
劣势：研发周期比较长，在手机端上相比于传统方法来说，更耗性能。
现有的传统美化技术我们已经非常成熟，我今天主要介绍一些美化的新技术，我先用实际项目来介绍一下，我们是如何结合AI技术来提升人像美化效果天花板的。那么将AI技术引入现有美化pipeline的难点是什么？我们以快手APP美化功能为例，在拍摄过程中人像美化功能是一直开启的，而且会叠加其他的效果，比如魔表和贴纸。另外用户的手机也非常多样，不同机型之间计算能力差异较大，而AI模型相比传统滤波器更耗性能，所以总结起来难点就是AI人像美化需要在保证有显著效果的情况下，还能符合手机端性能的要求。