多模态大模型在游戏创作领域的创新实践

1. 演讲人：邵帅

2. 01 游戏创作的痛点与AIGC的机遇 02 游戏生图大模型 03 生图应用：文生特效和图生特效 04 游戏图生视频大模型 05 生视频应用：动态立绘和 360 度旋转多视图 06 未来展望：可交互视频生成

3.

4. 01

5. • • • • • •

6.

7.

8. • • • • • • • •

9. ➢ ➢ ➢

10. 生图系列能力 ➢ 生视频系列能力 ✧ 游戏图生视频 ✧ 游戏角色动态立绘 ✧ 游戏动画超分 • • • ➢ • • • • • ✧ 游戏角色多视图 ✧ 实时交互游戏世界模型

11. 02

12. ➢ • • • ➢ • • • 游戏 ip 数据 ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧

13. 游戏美学评估体系 ➢ • • • • • • ➢ • • <

14. ➢ 游戏领域多粒度 caption 体系 • caption 是让模型理解游戏概念和拥有细粒度文本控制能力最重要的一环 • 训练 prompt 改写模型依赖多粒度 caption 数据 ✧ 游戏IP 英雄联盟 ➢ 每张图像标注多条不同长度的 caption • 简短描述：约 30 字，简要概括图像主要内容。 • 中等描述：约 60 字，补充少量图像细节。 • 详细描述：约 100 字，全面阐述图像细节信息。 • 综合描述：在详细描述基础上，融入专业术语和标签体系，涵盖 • 图像风格 • 题材 • 构图 • 镜头 • 景深 • 光线 • IP 信息 • ... ✧ 人物IP 伊泽瑞尔 ✧ 游戏类型 MOBA ✧ 视觉开发阶段原画蓝紫色的范围特效，里面有十字星粒子，特效周围有流光、粒子、烟雾、条带。形状为流动的火焰状，方向为上升，二次元风格。

15. ➢ • • • • • •

16. ➢ • •

17.

18. 03

19. ➢ • •

20. A ➢ • • • B

21. ➢ 基于文生特效模型的衍生能力 • 1. 黑白涂鸦作为输入 • 2. 彩色涂鸦作为输入 • 3. 黑白稿作为输入 • 4. prompt+材质参考图作为输入 ➢ 文生图和图生图的区别 • 文生图的门槛更低，更适合普通用户体验。 • 图生图对于颜色、形状、结构可以更精准的控制。 • 专业画师更擅长用绘图表达创意和概念。 • 对于专业画师，图生图比文生图更受欢迎。

22. 04-05

23. • • • • • • • • • • ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧

24. ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧ ✧

25.

26. ◼ ◼ ◼ ◼ ◼ ◼ ◼

27. 业界首个的360° A/T pose角色视频生成模型 ◼ 背景与动机： ◼ 传统的角色三视图视角传达内容有限 ◼ 多视图需符合游戏行业标准的A/T姿态，通用图生视频无法做到且一致性低 ◼ 角色多视图是后续模型生产制作的必要前置条件，生产工时长成本高 ◼ 解法： ◼ 收集5万+由专业3D设计师家创作的、已正确绑定和蒙皮的角色模型 ◼ 通过专业引擎工具渲染角色模型在标准姿势（A/T pose）下不同视角（360度）的视频，构建pair数据

28. 06

29. ◼ ◼ ◼ ◼ ◼ ◼ ◼ ◼ ◼ ◼ ◼

30. 专业美术对于 AIGC 的重要性多粒度 Caption 多粒度 caption 方便训练 prompt 改写模型，不仅能降低门槛，还能提升效果。模型自迭代扩充垂类数据文生图和图生图交互方式的思考

31.

32. 探索 AI 应用边界 Explore the limits of AI applications