如何在淘宝人生2一键定制你的专属3D数字人

淘宝人生是国内用户规模较大的装扮类应用之一，在淘宝中扮演了用户的第二人生的重要作用。淘宝用户在淘宝既能购物，又能自由捏脸，打造自己的虚拟形象和装扮自己的小屋。

淘宝人生系列应用也内置了很多互动类玩法，通过提供多元的玩法体验让用户在逛淘宝时觉得好逛又好玩。

▐  淘宝人生1和淘宝人生2风格对比

▐  淘宝人生2的AI玩法

虚拟服饰资产生成

左：AI 算命师  中：照片风格化  右：照片捏脸

淘宝人生2提供了很多AI相关的玩法。比如购买淘宝真实的衣服以后为你生成一套该样式的虚拟服饰资产并穿搭到自己捏好的虚拟形象中，AI星象占卜师涂山赫言通过提供财运占卜等服务迎合当下年轻人的精神需求，同时照片风格化可以将捏好的形象二次创作，产生更多好玩的风格。

用户还可以通过上传图片一键生成带有自己特征的虚拟数字形象，大幅提升用户的捏脸效率。

本文将详细介绍照片捏脸的功能。

照片捏脸背景介绍

捏脸玩法是淘宝人生2中用户刚需且高频使用的一个核心功能。用户在玩捏脸时一般会倾向于利用提供的捏脸滑杆DIY一个类似自己或者自己喜爱的idol的3D虚拟形象。

根据提供的捏脸滑杆手动捏脸且要与自己心目中的形象达到一定的相似度是一个非常耗时的过程。

整个捏脸的调节项有80多个，用户需要每次进入各个五官调节项的界面去调节每个值，同时每个五官调节项对应还有各个细分区域的子调节项。

照片捏脸解决的痛点

1. 大幅提升捏脸效率，相比于原先手动捏脸动辄半个小时的时间，当前照片捏脸的时间控制在5s以内，捏脸时间缩短为原有的1/360
2. 利用用户上传的图片可以定制化用户想要的形象，使得用户更快速获取心目中的虚拟数字形象

业界3D照片捏脸应用

1. 第一个方向是允许用户个性化装扮自己的虚拟聊天形象，并在聊天窗口中或者视频通话中使用，隐藏用户的真实人脸信息，提升社交的私密感；
2. 第二个方向是个性化生成用户的数字分身，并基于该数字分身产生更多互动的内容生产与创作，通过照片捏脸提供既美又像的数字分身，提升用户在虚拟空间的认同感。
3. 第三个方向是用户创建个性化3D游戏形象，并将捏脸形象应用在游戏中，提升用户的沉浸感。

淘宝人生2的照片捏脸更偏向于第二个方向，为淘宝用户提供一个既像又美的数字分身，技术同学主要的负责的是“像”，美术同学负责让形象更“美”。那么如何设置一个可靠的技术指标去评估最终的效果有没有达到“像”的预期呢？经过团队反复的探讨与调研，淘宝人生2的照片捏脸采用了业界3D人脸重建领域常用的评估方式之一NME指标并结合主观评测打分的方式评估3D数字人形象与输入图片的相似度。

▐  NME指标

公式参考：

NME越大，代表重建误差越高。

▐  真实人脸重建算法对应指标

基于卡通形象的基础模型的3D数字人有一定的风格化特征，所以基于图片捏脸的卡通形象重建都会比真实人脸重建的重建误差要高一些。

▐  淘宝人生2捏脸采用的评估方式

照片捏脸难点

▐  超写实人脸重建

用户上传的是2D照片，如何把2D的人脸特征迁移到3D的人脸模型上

▐  风格人脸重建

不但要映射到3D数字人的基础模型（简称基底）上还要有一定的风格化特征，比如说有些3D形象的基础模型是偏卡通的风格，或者是偏武侠的风格，如何保持整个基底的风格化同时又很像用户是整个项目的核心难点

▐  离散属性匹配对相似度的影响

除了脸型轮廓鼻型眼型还有哪些特征会影响到像的评判？

--- 发型，眼镜，胡型等其他人脸属性都会对像有影响

做照片捏脸重建要解决的主要难点有3个，第一个是如何将用户上传的2D照片的特征映射到3D人脸模型上。第二个是不但要将2D人脸的特征映射到3D人脸模型上，还要基于该风格的卡通形象有一定的风格化特征同时不丢失用户的2D特征。第三个是除了脸型以外如何通过其他面部非脸型属性去提升用户的重建数字人的相似度。

▐  预处理模块

针对用户输入的图片进行合格性校验以及剔除敏感人物，同时会检测用户输入的人脸五官关键点以及发型的mask，为接下来的面部人脸属性模块和非面部属性模块提供有效信息。

▐  面部人脸属性模块

基于3DMM重建后的3D真实人脸的特征会通过图形学的变形操作迁移到淘宝人生2的3D卡通形象的基础模型上，这样就巧妙的解决了难点二的问题，既保留了用户特征又有了一定的风格特征。但是由于图形学对人脸网格形变整体的耗时较慢，我们是利用一个MLP（多层感知机）训练了一个真实人脸系数到淘宝人生2捏脸系数的映射模型，提升了整体照片捏脸的性能，争取给用户带来更好的使用体验。

▐  非面部属性模块

为了加强一些离散属性（一般眼镜类型，发型，眉毛种类以及胡型在捏脸系统都由一些离散的素材ID来表示，所以一般称为离散属性）的表达来提升整体的相似度，我们对用户的眼镜，发型，眉型以及胡型都进行了细粒度的分类，提升用户的非面部属性特征与捏脸系统素材的匹配度，最终使得整体重建的形象更加立体饱满。

▐  数字人形象生成模块

通过上述模块得到的淘宝人生2捏脸系数，以及对应的素材ID会经过引擎渲染得到淘宝人生2的3D数字人形象。

这四个模块相互配合，最终实现了用户上传一张图片，一键定制用户的专属3D数字人的功能。此外每个重建的3D数字人都带有用户的特征，达到了生成形象的千人千面。

照片捏脸效果

当前算法仅支持女版的卡通形象，基于淘宝人生2的男版卡通形象的照片捏脸正在同步研发，期待后续尽快落地。同时在眼型嘴型等五官细节拟合上仍需要提升，后续随着捏脸自由度的提升和算法的迭代会进一步提升这一块的相似度。

从友商的测试结果来看，受限于base风格的损失，业界的大多数照片捏脸应用也无法做到对用户特征的百分百的还原，但是输出的捏脸形象都比较美观，相信这也是经过了算法同学和美术产品同学的大量的联调得到了一个符合大众审美的捏脸形象，只有这样才能成功出圈，在用户侧打造很好的口碑。

淘宝人生2照片捏脸的迭代会延续既像又美的技术路线继续深耕，给用户带来更好的产品体验。同时计划引入更多模态的捏脸支持，使得用户可以通过文字或者语音自由捏脸。

引用

[1] Blanz V, Vetter T. A morphable model for the synthesis of 3D faces[C]. international conference on computer graphics and interactive techniques, 1999: 187-194.

[2] Cao C, Weng Y, Zhou S, et al. FaceWarehouse: A 3D Facial Expression Database for Visual Computing[J]. IEEE Transactions on Visualization and Computer Graphics, 2014, 20(3): 413-425.

1. 项目入口：淘宝APP首页->下拉进入淘宝二楼->搜索第二人生->点击图标进入淘宝人生2的广场->点击底部换装tab进入装扮页
2. 进入照片捏脸页：在装扮页左侧切换到头部tab -> 点击右侧 智能捏脸 进入照片捏脸页面。
3. 在照片捏脸页，选择拍照或从相册中选择照片，确定后触发照片捏脸。
4. 系统会自动检测照片质量及合规情况，若两者都符合规范，则将基于照片生成新的数字人形象，并跳转回装扮页；如果有任何一项不符合规范，则会给出异常的提示。