本文将介绍在数字人制作中的材质着色、烘焙、绑定和动画。

● 材质着色

材质着色是为数字人赋予不同材质外观和质感的过程。它可以让数字人看起来更真实，增加观众的沉浸感和情感共鸣。通过使用各种不同的材质贴图，数字人的表面可以呈现出各种各样的效果。

● 烘焙

烘焙是将高精度模型的细节信息渲染到低精度模型上的过程，以提高数字人的渲染效率。通过烘焙，可以将高精度模型中的细节信息，如法线、AO、光照等信息，渲染到低精度模型上，从而使数字人的渲染速度更快，同时还能保证数字人视觉效果的还原。

● 绑定

绑定的过程涉及骨骼、绑定两大块，骨骼是一个由骨头（或骨骼节点）组成的层次结构，模拟人体或其他生物体的骨骼系统。绑定是将数字人骨骼与3D模型表面连接起来的过程。这通常涉及将每个顶点或顶点组与一个或多个骨骼关联起来。绑定确定了模型表面上每个点如何受骨骼动作的影响，使数字人可以呈现各种动作。

● 动画

动画是数字人进行各种动作的过程，通过使用绑定后的骨骼系统，可以制作数字人的各种动画，如走路、奔跑、跳跃、表情等。数字人的动画可以让观众更容易地与数字人产生情感共鸣，并为数字人带来更多的生命力和灵性。

为了避免制作贴图时每一步都需要绘画的痛苦，我们求助于Blender强大的材质节点编辑器，我们通过添加一些顶点色并添加一些次表面散射来完成角色的皮肤着色。

图1：body着色

将世界环境的背景色改为略带灰白色的颜色，这样做的好处就是，在场景中我们不需要任何灯光，并且为场景中的模型提供了非常匀称的光源。

给角色模型添加一个"原理化（BSDF）材质"，然后给基础色添加一个"环境光遮蔽（AO）"，这时候我们可以看到角色的夹缝中看到一些暗部阴影。在"环境光遮蔽节点"与主节点之间添加一个"渐变节点"，调节滑块模拟阴影部分的深浅，调节渐变颜色模拟皮肤的色调。这样得到一个非常基础的肤色后，可以多添加几种颜色，丰富皮肤颜色的细节和过渡。需要注意的是，在着色和烘焙的时候，需要将渲染属性的颜色管理改成标准，以便我们更准确的观察色彩变化。

有了基础颜色，接下来我们来调整高光部分，添加一个"几何数据节点"，再添加一个"渐变节点"，将尖锐度连接到渐变系数上，按住键盘快捷键“ctrl+shift”，然后点击"渐变节点"，预览节点效果。调整滑块，最终调整得到我们满意的高光部分为止，然后将此部分节点和基础色节点通过“混合节点”链接到主节点，需要注意的是高光部分的节点连接到系数，最后设置一下另一个颜色（高光颜色），这样就得到了皮肤的高光，继续调整高光节点的渐变滑块，以达到最佳的效果。

最后添加次表面颜色，让皮肤在光照下显得更加通透，通常次表面体现在皮肤厚度相对薄的区域，譬如手指、眉毛、眼睑、鼻子、耳朵、和其他肉质部分。接下来我们添加一个“顶点色”，命名为sss，我们为这些地方绘制顶点色，绘制完记得使用模糊画笔模糊一下。最后添加“顶点颜色节点”和“渐变节点”，链接到主节点的次表面上，设定一个次表面颜色，调整渐变滑块，以达到满意的次表面效果。

图2 ：角色body着色材质节点

实现眼球材质的方法有多种多样，但最终都需要以贴图的形式输出，这里主要使用材质+烘焙的方式。通过观察，我们可以将眼睛的材质分为眼球和虹膜两个主要材质，而眼球眼球实际上可以分为三种材质：白色的基地、巩膜上的血丝、透明的角膜，这里我们依托于Blender强大的节点，将三者结合到一个材质里，尽量少的材质，能提升引擎渲染速度。

图3：眼睛材质

通过观察，我们在制作眼球的材质时可以将其归纳为白色基底、透明的角膜、眼球中的血丝三个部分：

1）白色基底：对于白色基底，新建一个“原理化BSDF节点”，基础色直接选取白色，只要把糙度调低即可。

2）透明的角膜：角膜的关键在于它是透明的，且为了保证过渡自然，需要用到渐变纹理来控制白眼球的透射率实现。颜色渐变模块的滑块拖动可以控制渐变范围，这里渐变区域一般不要设置太大，有一点就可以了。（将虹膜添加一个深色材质，便于观察过渡的效果）

3）眼球中的血丝：眼球中的血丝可以分为底色和血丝部分，由于血丝的位置主要分布在白眼球处，所以可以复用前面的渐变纹理作为输入，新建一个渐变即可，通过调整渐变的范围即可以调整颜色分布。使用沃罗诺伊纹理作为血丝的纹理，由于该纹理具有一致的方向性，和血丝的不规则不同，故还需要通过噪声纹理对齐形状进行调整。然后将纹理染成红色并与底色柔光叠加即可达到血丝的效果，为了增加细节，可以再添加一些小血管，小血管的材质和大血管的流程完全一样，只是纹理的参数不同，通过增加沃罗诺伊纹理的缩放系数，来增加纹理的密度，并将大血管的输出通过混合节点混合后输出为血管纹理。

图4 ：CORNEA/SCLERA的材质节点

至此眼球的部分的材质就做好了，接下来我们制作虹膜部分的材质。

在制作虹膜的材质之前，我们可以先将虹膜部分的UV展开，因为后续纹理映射将会使用UV坐标来制作。

通过观察，我们不难发现，瞳孔中心是黑色的颜色，然后是浅色的虹膜，然后逐渐消失，因此，可以将虹膜部分看作是虹膜和瞳孔两部分，虹膜纹理部分使用噪波+镜像渐变纹理，而虹膜的渐变则可以使用球形渐变纹理制作，然后通过“混合RGB节点（正片叠底）”进行混合。

图5：IRIS的材质节点

烘焙，一般是为了加速后续的其他过程进行的预先计算。渲染烘焙一个网格物体表面，得到2D位图图片，这些图片会通过UV坐标重新映射到物体上，这让实时渲染的效率更高。烘焙是对每个独立网格完成的，并且网格已经展开UV。

Blender Cycles着色器的灯光照明可以烘焙到图像纹理。这有几种不同的用途，最常见的是：

● 烘焙纹理，如基础颜色或法线贴图，用于导出到游戏引擎。

● 烘焙环境光遮蔽或程序纹理，作为纹理绘制或进一步编辑的基础。

● 创建光照贴图以提供全局照明或加快游戏中的渲染速度。

在烘焙之前我们需要确保已经完成UDIM分块，同时在物体数据属性下为每个UV块添加了定位在主分块的UVMap。Blender的渲染烘焙是一个非常复杂的工作流程，为了提高工作效率，我们选择使用插件(SimpleBake)来辅助烘焙。

在物体数据属性中选择对应的UVMap，在“SimpleBake”中，选择需要烘焙的贴图类型，譬如Diffuse、sss、Normal等，选择贴图尺寸，贴图名称，在物体模式下选中模型，点击“Bake PBR Maps”，最后检查一下贴图是否正常，在ps或者直接使用Blender纹理绘制，在贴图的基础上添加细节以及修正瑕疵。

图6 ：使用SimpleBake完成UDIM渲染烘焙

图8：PBR节点连接方式

图9：服装延展

面部Rig绑定是一个非常繁杂的过程，得益于Blender扩展性强，因其开源开放，有很多Blender的爱好者会开发专用的插件让其更强大，使其专精于某一个领域。这里主要介绍使用“Faceit“完成面部的骨骼绑定。

“Faceit“是一个多合一的面部装配、动作捕捉和动画插件。直观、半自动和非破坏性的工作流程将引导你创建完美适应你的3D模型拓扑的面部绑定和形态键，无论是真人、拟人还是卡通模型。在实现全流程制作的同时节省大量时间和精力。

开始之前，我们需要对模型做一下处理，将模型拆分为，body、head、eye（分左右眼球）、Teeth （含牙龈）、Tongue、其他几何形状，如面部毛发（睫毛、眉毛、胡须）或眼壳、泪线等。对于网格有以下要求：

1）head网格必须由一个连接的表面组成。也就是说面中的所有顶点都应由边连接。其他物体，如牙齿、舌头、眼球、头发等，不需要连接。

2）角色应该以中性表情（睁眼，闭嘴）建模。

在角色可以装配之前，必须执行快速设置，这里主要分为两个步骤：

1）注册网格：将选择构成角色面部的所有对象，然后点击注册面部对象按钮，根据你的角色模型的组成，你可以注册一个或一次全部注册。

2）分配顶点组：通过分配相关的顶点来指定重要的面部部分，顶点存储在对象数据选项卡中的顶点组中，分配的顶点组分为强制组和可选组。强制组为head、eye（left&right）。可选组为Other Eye（Left and Right）、Teeth（Upper and Lower）、Tongue、Eyelashes、Rigid。

正式进入骨骼绑定环节，这里可以分为"Landmarks"和"Rigging"两个步骤：

1）"Landmarks"的放置是至关重要的一步！"Landmarks"放置的准确性将对生成的表达式的整体质量产生巨大影响。点击Generate Landmarks，按照引导完成地标的粗略定位和缩放。"Project Vertices"操作符将地标网格沿正面方向投影在角色面部（Y 轴）上。由于在一个轴上的投影过程中可能发生遮挡，所以需要小心地重新定位所有顶点。从正面和侧面检查"Landmarks"，并在几何图形周围平移，看看是否都正常。

2）"Generate Rig"操作符生成骨架。大多数骨骼都放置在精确的"Landmarks"位置，如果生成的骨骼位置不准确，可以通过"Back to Landmarks"操作返回修改地标。如果眼睛或牙齿或舌头的几何形状放错了位置，则必须编辑分配的顶点组。最后点击"Bind"绑定权重。

图10：权重修正

在骨骼绑定完成后，就可以开始创建和调整个人面部表情了，faceit提供了非常多的Expression预设，同时也可以添加自定义的表达式。

● 加载表达式预设：你可以使用"Load Faceit Expressions"运算符加载任何 Faceit 预设，预设包括52键ARKit、A2f、Viseme表达式，加载预设后，您可以通过摆姿势或雕刻使每个表情适应您的角色。

● 创建自定义表达式：通过单击"Add Custom Expressions"创建自定义表达式。它们的工作方式与任何其他表达式类似。为表达式命一个名称，此名称和添加到网格的最终形态键相同。

● 导出表达式集：表达式集可以在创建过程中的任何时候导出和共享。你可以使用此功能与制作中的其他角色共享自定义形状键。

● 导入表达式集：可以导入其他的表达式集。在导入期间，选择将所有表达式缩放到角色的尺寸。所有包含的表达式都将应用于你的角色并附加到表达式列表中。

点击"Bake shape keys"会将所有Faceit 表达式的变形烘焙到blender的单独的"shape keys（形态键）"中。Bake操作是完全无损的。可以将表达式烘焙到形状键中，在运动中测试它们，然后单击按钮返回编辑表达式或绑定。至此，面部的骨骼绑定和形态键已制作完成，下面说说几类形态键的作用。

ARKit是苹果公司推出的增强现实开发平台，它可以识别并跟踪用户的面部，使用blender faceit生成52键ARKit，后续结合所有配备“True Depth”摄像头的iOS移动设备使用，可以实现面部动画跟踪。

1.eyeBlinkLeft：描述左眼上眼睑闭合的系数。

2.eyeLookDownLeft: 描述与向下注视一致的左眼睑运动的系数。

3.eyeLookInLeft: 描述左眼睑运动与向右凝视一致的系数。

4.eyeLookOutLeft: 描述与左眼注视一致的左眼睑运动的系数。

5.eyeLookUpLeft: 描述与向上凝视一致的左眼睑运动的系数。

6.eyeSquintLeft: 描述左眼周围面部收缩的系数。

7.eyeWideLeft: 描述左眼周围眼睑变宽的系数。

8.eyeBlinkRight:描述右眼上眼睑闭合的系数。

9.eyeLookDownRight: 描述与向下注视一致的右眼睑运动的系数。

10.eyeLookInRight: 描述与左眼注视一致的右眼睑运动的系数。

11.eyeLookOutRight: 描述与向右凝视一致的右眼睑运动的系数。

12.eyeLookUpRight: 描述与向上凝视一致的右眼睑运动的系数。

13.eyeSquintRight: 描述右眼周围面部收缩的系数。

14.eyeWideRight: 描述右眼周围眼睑变宽的系数。

15.jawForward: 描述下颌向前运动的系数。

16.jawLeft: 描述下颌向左运动的系数。

17.jawRight: 描述下颌向右运动的系数。

18.jawOpen: 描述下颌张开的系数。

19.mouthClose: 描述嘴唇闭合的系数与下颌位置无关。

20.mouthFunnel: 描述双唇收缩成张开形状的系数。

21.mouthPucker: 描述双唇收缩和压缩的系数。

22.mouthLeft: 描述双唇一起向左移动的系数。

23.mouthRight: 描述双唇一起向右移动的系数。

24.mouthSmileLeft: 描述左嘴角向上运动的系数。

25.mouthSmileRight: 描述右嘴角向上运动的系数。

26.mouthFrownLeft: 描述左嘴角向下运动的系数。

27.mouthFrownRight: 描述右嘴角向下运动的系数。

28.mouthDimpleLeft: 描述左嘴角向后移动的系数。

29.mouthDimpleRight: 描述右嘴角向后移动的系数。

30.mouthStretchLeft: 描述左嘴角向左移动的系数。

31.mouthStretchRight: 描述左嘴角向右移动的系数。

32.mouthRollLower: 描述下唇向口腔内侧移动的系数。

33.mouthRollUpper: 描述上唇向口腔内侧移动的系数。

34.mouthShrugLower: 描述下唇向外运动的系数。

35.letmouthShrugUpper: 描述上唇向外运动的系数。

36.mouthPressLeft: 描述左侧下唇向上压缩的系数。

37.mouthPressRight: 描述右侧下唇向上压缩的系数。

38.mouthLowerDownLeft: 描述左侧下唇向下运动的系数。

39.mouthLowerDownRight: 描述右侧下唇向下运动的系数。

40.mouthUpperUpLeft: 描述左侧上唇向上运动的系数。

41.mouthUpperUpRight: 描述右侧上唇向上运动的系数。

42.browDownLeft: 描述左眉毛外部向下运动的系数。

43.browDownRight: 描述右眉外侧部分向下运动的系数。

44.browInnerUp: 描述两个眉毛内部向上运动的系数。

45.browOuterUpLeft: 描述左眉毛外侧向上运动的系数。

46.browOuterUpRight: 描述右眉外侧向上运动的系数。

47.cheekPuff: 描述双颊向外运动的系数。

48.cheekSquintLeft: 描述左眼周围和下方脸颊向上运动的系数。

49.cheekSquintRight: 描述右眼周围和下方脸颊向上运动的系数。

50.noseSneerLeft: 描述鼻孔周围鼻子左侧抬高的系数。

51.noseSneerRight: 描述鼻孔周围鼻子右侧抬高的系数。

Audio2Face是一个基于深度学习的系统，可以生成与语音或音乐等音频输入同步的逼真 3D 面部动画。它可以接受音频输入并预测产生声音时自然会发生的相应面部动作。

该套件结合了多种技术，包括称为生成对抗网络 (GAN) 的神经网络和称为网格的3D人脸模型。它的工作原理是首先分析音频输入以提取音调和时间等特征，然后使用这些特征生成相应的面部动作。然后将生成的面部动作应用到3D面部模型以创建逼真的动画。

通过blender Faceit生成Audio2Face形态键，使用Audio2Face，只需录制语音音轨，输入应用程序，即可完成面部的唇形动画，甚至可以使用麦克风实时生成面部动画。

将语音映射到一组嘴形，称为“Viseme视位”，是音素的视觉模拟。每个视位描绘了一组特定音素的嘴形。随着时间的推移，这些视位被插值以模拟自然的嘴巴运动。

同样在绑定之前，需要先将模型处理一下

1）将模型应用全部变换。

2）将"body"网格合并到"head"网格（注：一定是合并到"head"）。

3）角色模型必须在世界的中心 (0,0,0)。

4）必须面向-Y全局轴，这意味着面部和脚必须指向前视图（小键盘1）。

基于"Auto-Rig Pro"的智能绑骨，绑定的效率提高许多。

1）选择所有身体对象。在做身体绑定时，可以先避免选择道具、衣服对象（后续单独处理）。

2）在 Auto-Rig Pro : "Smart" 面板中单击"Get Selected Objects"。

3）按照引导，依次添加"Neck-Chin-Shoulders-Wrists-Spine Root-Ankles"的标记。

4）完成身体部分的标记后，设置手指骨骼数量，点击"Go"！即可生成模型骨骼了。

5）大部分情况下手指检测都能识别到，如果失败了，请返回上一步调整标记或手动调整骨骼位置。

由于骨骼与模型是相互独立的，为了让骨骼驱动模型产生合理的运动。把模型绑定到骨骼上的技术叫做蒙皮。

1）顶部菜单栏切换到"skin"，首先选择角色网格对象，然后按住Shift键选择骨架。

2）单击"Bind"进行绑定。

图11：角色蒙皮

本文提供了关于3D虚拟数字人着色、烘焙、绑定和动画技术的全面概述。着重介绍了3D虚拟数字人的着色技术。通过深入解释不同的着色方法，如基于物理的渲染（PBR）和手绘风格着色，以及如何为数字人物创建逼真的材质和光照效果。其次，介绍了烘焙技术在数字人物制作中的应用，探讨了烘焙的原理和常见的应用场景，并提供了UDIM烘焙技术的示例。绑定技术也是本文关注的一个重点，文中着重讲解了Blender如何结合"Auto-Rig Pro"和"Faceit"，正确地将骨骼结构应用到角色模型上，并实现逼真的动作和变形效果。最后，使用第三方动作库，赋予数字人肢体动作，关于面部驱动，提供了实时捕捉和AI生成两种方案，根据业务需求不同，选择不同的驱动方式。