淘宝人生2的AIGC技术应用——虚拟人写真算法技术方案

图1 淘宝人生《写真馆》线上结果

引言

作为一款装扮类产品，第二人生（淘宝人生2）为手机淘宝引流方式打开了新的大门。其中，结合AI的创新玩法是提升用户活跃度的重要手段。第二人生凭借形象的高度可定制化，提供了多种个性化玩法。随着AIGC技术在图像生成方向的发展，一些技术[1,2, 3, 4]在人像定制化生成上取得不错的进展。因此，我们基于Diffusion技术，构建了一套适用于3D数字人渲染图的AI写真算法方案。

1. 低时间成本。我们不采用在线训练LoRA的方式，每次出图速度约20s，较基于训练LoRA的方案（预计2~5分钟）快7倍左右。
2. 多样性。我们设计一种新的基于ip-adapter生图方案，在不影响背景多样性的情况下生成具有一致身份信息的定制化照片（局部多样性），同时，我们可以结合多种风格LoRA，通过调节提示词模版，支持多样的风格（内容多样性）。

技术方案

图3 AI照相馆算法pipeline

▐  图像预处理

由于3D模型渲染结果的正视图截图质量参差不齐（例如，有些用户在捏脸的过程中引入“雀斑”，“贴花”），首先我们需要对输入人像做质量提升。我们首先使用人脸美肤模型对人脸进行美肤处理，这一步主要消除人脸上的雀斑。

此外，我们使用人脸增强模型进一步增强人脸，这一步是为了：

1. 淡化面部一些不和谐的贴花；

2. 在保持人像身份属性的条件下，将数字人像分布尽可能拉齐到真实人像分布。

为了使得生成模型能够高效地利用输入图像的有用信息（如身份信息，妆容等），我们对人脸以及头发区域进行分割，同时裁剪出人脸区域，作为图像生成模型的输入（如图3）。接下来，裁剪出来的图像将通过人脸特征提取器提取人脸特征，通过cross attention机制，与提示词的clip特征共同输入到图像生成模型中。

▐  图像生成模型

图6 ip-adapter算法框架

前期实验中，我们采用类似ip-adapter中提出的的图像注入方案（如图6），将图像编码成嵌入向量，通过crossatt的注入到U-net中，但是我们发现，如果将图像编码和文本编码相加，则会影响文本tokens对图像生成结果的控制，使得图像的局部多样性变低；如果将图像编码和文本编码按照维度拼接，由于attention中固有的特性（对前面的token更敏感），输入图像对生成结果的控制能力亦会变低。

图7 ip-adapter方案算法结果

例如（图7），若我们想生成一张具有红色头发风格的图像，但是受到输入人像的影响，生成结果中头发颜色没有按照提示词的描述进行生成，反而和输入人像发色一致，且背景成为单色（和输入人像背景一致），缺失局部多样性。为此，我们提出了一种新的参考图注入技术。

设我们使用的去噪步数为，由于Stable Diffusion的特性，其前面的步数主要生成图像的主体形态（layout），后边的步数慢慢提升高频细节。我们首先生成仅仅由提示词控制中间隐变量。具体而言（如图8），假设去噪过程为，在的过程中，不注入参考图信息；在的过程中，我们注入图像信息，并由DDIM直接进行一步噪声预测。该结果为最终生成图像的layout，我们对这个结果进行分割，得到人脸的启发区域——即生成图像的人脸大部分落在该区域中。

图8 启发区域生成算法

接下来，我们利用人脸区域掩码，基于blend diffusion，将具有局部多样性的背景区域引入到生图结果中。

具体而言（如图9），当前时间步下的隐变量会分别作为注入ip-adapter信息以及不注入ip-adapter信息的U-net的输入，然后两者经过融合，得到下一个时间步的隐变量，整个过程可由下边的公式表示：

其中，越大，生成的图像的身份信息越和输入图像保持一致，但是，过大的会引起边缘的不一致性，实验中我们设置成。

下图是结果对比。可以发现ip-adapter中，输入的参考图会影响非人脸区域的多样性，例如，基于ip-adapter的头发区域近乎一致，而且背景缺失多样性（例如天空，基于ip-adapter的生成结果中天空颜色和参考图的背景近乎一致），而我们的方案能够保持非目标区域的多样性。

为了能使用户有新奇的体验，我们建立了一个涵盖约50种的风格模板库和LoRA模型库，在特殊时间节点（如圣诞节，元旦）线上发布对应的风格，切合热点以拉升用户活跃度。每种风格LoRA配合相应的提示词，使得我们的生成结果具有多样新和新奇性。

▐  模型后处理

Stable Diffusion的basemodel出图率不能达到100%，出图仍存在“抽卡”的情况，例如，生成的图像和输入的图像人物身份信息不一致、面部出现“坏点”、肢体出现严重扭曲等。

图11 Stable Diffusion生图过程遇到的badcase

为此，我们从每次生成的张图像中选择质量最高张图像作为最终的生成结果。具体来说（如图3），首先，图像生成模型生成张候选图，对于每张候选图，我们使用人脸融合算法进一步保证身份一致性，并将候选图根据相似度排序，保留融合结果中前张图像。对于保留的图像，我们使用图像超分模型增加图像尺寸，并使用面部增强模型进一步提升最终返回结果的人脸区域质量。

基于上述算法，在3D数字人像上，我们能够生成定制化的精美照片，如下图所示：

图12 算法定性效果

我们调查了用户反馈，其结果表明了对我们算法结果的认可。

[1] https://github.com/modelscope/facechain
[2] https://github.com/aigc-apps/EasyPhoto
[3] https://github.com/TencentARC/PhotoMaker
[4] https://github.com/mit-han-lab/fastcomposer
[5] hhttps://civitai.com/
[6] https://ip-adapter.github.io/
[7] https://github.com/InstantID/InstantID
[8] https://arxiv.org/abs/2306.00926