特效相机工程落地实践

1. 特效相机工程落地实践邓宇光百度资深研发工程师

2.

3. • 美颜基本原理介绍 • 工程化落地重点 • 将来展望

4. 视频特效 • 观众：爱美之心，人皆有之 • 主播：颜值影响收入素颜闪钻妆复古妆爱心妆 • 平台：视频生产的基本能力

5. 产品能力全景图应用层资源层视频特效贴纸直播特效滤镜虚拟主播美妆模板特效音乐特效预览APP 特效编辑工具工具层智能视频生产 AI视觉、视频特效能力层人像美化人脸贴纸人脸特效分割特效人体特效环境特效虚拟主播美颜滤镜人脸特效贴纸人脸属性编辑人像分割手势识别跟踪风格迁移滤镜快速建模人脸精准美型人脸小游戏人脸风格编辑天空分割手势驱动手偶粒子/全景特效 TTS驱动美妆/美发动漫脸人脸融合大头特效人体哈哈镜实景放置互动人脸驱动虚拟换妆 dumoji 视频换脸五官分割动作特效物体检测跟踪人体驱动

6. 核心流程皮肤美白磨皮腮红修容法令纹眼睛大眼眼距眼角眼影眼线美瞳黑眼圈鼻子鼻长鼻宽嘴巴口红嘴形牙齿脸型下颚角瘦脸脸长发际线中庭下庭窄脸眉毛眉形眉距人脸关键点美肤美妆下巴美形颧骨

7. 人脸关键点 • 获取人脸器官位置 • 人脸关键点稠密化 • 构建三角刨分网格

8. 美肤 • 图像平滑人脸ROI纹理 • 人脸 ROI • 图像增强人脸关键点滤波器磨皮图像锐化、肤色

9. 美妆美妆原理是将美妆素材图像（源图像）映射到另一幅人脸图像（目标图像）上，保持两幅人脸特征的约束映射底图模特人脸关键点模型剖分网格制作素材纹理映射图像融合相机采样前处理人脸关键点模型遍历美妆子项剖分网格 END

10. 美形美形：器官关键点平移过程自然脸精致脸精准美颜美型（视频Demo）

11. • 美颜基本原理介绍 • 工程化落地重点 • 将来展望

12. 工程化落地重点 • 高效的 AI 模型预测库 • 跨平台灵活的特效引擎 • 结合实际场景和竞品建立主管评测集 • 利用工具来降低设计师沟通成本

13. 高效的 AI 模型预测库 Paddle Lite 高性能多硬件后端支持轻量化重点硬件模型性能业内领先覆盖移动端、IoT端、边缘端体积小覆盖百度 APP 百度地图等产品线

14. 预测库性能优化 • 计算剪枝 • 量化 • 内存优化 • OP 融合 • 最优 Kernel 选择

15. 预测库性能优化—kernels 调优 • SIMD 并行加速 • 多级缓存排布 • 高性能卷积实现 • OpenCL / Metal GPU

16. 模型部署挑战--复杂的硬件生态 • 复杂的硬件生态(CPU、GPU) • 硬件种类多、kernel 开发、适配、调优工作量大 • 高通、苹果、华为等芯片迭代迅速，难以针对每个芯片产生最优性能解决方案： • 混合计算：基于模型，离线优化 kernel • 运行时硬件选择 • GPU AutoTurning：动态选择局部工作组

17. 混合计算 • Kernel 评分，基于硬件亲和性、用户倾向、精度等要求 • 基于评分选择 kernel • Kernel 插入，自适应排布，内存类型，精度等 arm 与 opencl kernel 之间自动转化

18. 运行时硬件选择 • 生成精简测速模型 • 根据测速模型评估 GPU or CPU

19. GPU autoTurning • 运行时选择 GPU 局部工作组（LocalWorkSize） • 运行时选择最优 kernel 实现 • 保存选择结果

20. 工程化落地重点 • 高效的 AI 模型预测库 • 跨平台灵活的特效引擎 • 结合实际场景和竞品建立主管评测集 • 利用工具来降低设计师沟通成本

21. 工程化落地重点—整体架构业务层少女装无辜眼欧美妆 … 亮点腮红特效引擎能力框架组件 API 基础渲染管线搭建、人脸识别、美妆子项、玩法 API 特效媒体模块依赖管理图像处理美白磨皮、精细化美妆、人脸五官塑形、玩法、风格滤镜、图像刨分、融合、画质增强动态化相机图形渲染 lua 焦距、黑白平衡 OpenGL、3D渲染录屏音/视频编码人脸特征点模型童颜照 / 二次元模型移动端深度学习及预测框架 MML (Paddle Lite)

22. 跨平台灵活的特效引擎—动态化 • 屏幕事件 • 声音 • 定时器 • 文件系统

23. 跨平台灵活的特效引擎细节做到极致数据采集 • 相机 • 图像 • 音、视频调度控制 • 硬件检测 • 帧率 • 数据同步模型预测渲染 • 图像变换 • 坐标系 • 数据格式转换 • 渲染管线 • 图像融合算法 • 器官分别处理

24. 跨平台灵活的特效引擎全局最优细节做到极致数据采集 • 相机 • 图像 • 音、视频调度控制 • 硬件检测 • 帧率 • 数据同步模型预测渲染 • 图像变换 • 坐标系 • 数据格式转换 • 渲染管线 • 图像融合算法 • 器官分别处理 • 资源调度合理并行 • 端云结合

25. 工程化落地重点 • 高效的 AI 模型预测库 • 跨平台灵活的特效引擎 • 结合实际场景和竞品建立主管评测集 • 利用工具来降低设计师沟通成本

26. 结合实际场景和竞品建立主观评测集 • 和产品明确细化需求的过程 • 精确的数据标注 • 和竞品算法、产品不断 PK，建立主观GSB 评测人脸关键点模型是基础、不能用工程方法解决算法精度问题

27. 工程化落地重点 • 高效的 AI 模型预测库 • 跨平台灵活的特效引擎 • 结合实际场景和竞品建立主管评测集 • 利用工具来降低设计师沟通成本

28. 利用工具来降低设计师的沟通成本 • 美妆原理是将美妆素材图像（源图像）映射到另一幅人脸图像（目标图像）上，保持两幅人脸特征的约束映射 • 素材精细化，素材模板标定数据对美妆效果影响很大 • 素材的上传、打包、方便设计师预览效果

29. • 视频特效方向介绍 • 美颜基本原理介绍 • 工程化落地重点 • 将来展望

30. 案例--人脸贴纸人脸特效贴纸：基于人脸检测与190个关键点，在人脸或人脸周围精准叠加特效贴纸，并对人脸进行实时跟踪贴合。按特效类型可分为：2D贴纸、动态贴纸、3D贴纸、人脸变形、皮肤贴纸等。同时支持5种表情触发：眨眼、张嘴、点头、嘟嘴、挑眉。 2D贴纸+眨眼触发动态美妆 2D贴纸+手势比心触发动效 3D贴纸+表情触发人脸变形+擦拭变美特效

31. AI 虚拟换装可针对大批量目标带妆图片进行一键妆容转换，广泛应用在线下美妆门店，线上智能医美、互动娱乐、网络营销等多种场景输入美妆图片 Before After

32. 创新玩法创新型人脸特效：不需要设计素材，通过算法，自动生成人脸特效人脸属性编辑：对人脸属性特征进行编辑，人脸风格编辑：二次元国风油人脸融合：对两张人脸进行融合处理，生实现性别互换、年龄改变等特效画美漫手绘成的人脸同时具备两张人脸的外貌特征原图变老人变小孩女变男男变女

33. 视频换脸视频换脸：影视级换脸，可生成无版权风险的人脸，替换原始素材中的人脸。

34. 总结 • 效果：需要依靠模型创新、大量的真实场景标注数据 • 优化：在全局和局部都需要做到极致

35.

36.

37. 特效相机工程落地实践扫描二维码提交议题反馈