解构与重塑:利用多模态AI实现实时3D模型的物理化学变化
如果无法正常显示,请先停止浏览器的去广告插件。
1. 解构与重塑:利
多模态AI实现实时3D模型的物理化学变化
从静态资产到动态
成游戏内容
Vast 党宇航
蚂蚁终端体验科技
会
2. /01 资产爆炸
•
个
制数
的不同状态需要预
个模型
• 环境破坏需要预先建模所有
中间状态
传统游戏开发的瓶颈
/02 创意受限
• 物理/化学交互效果依赖预
设脚本
• 法实现真正的涌现式玩法
• 开发成本限制了内容丰富度
3. Claude
GPTMidjourney
Doubao
实时代码实时图像
成
当前AI已经具备了什么样的能
成与编辑
?
Tripo
实时3D模型
成
4. 字
Tripo AI 能
成3D模型
图
成3D模型
展示
批量
成3D模型
5. 从实时
度,基于AI能
?
Claude
GPT
实时代码
成
成
Midjourney
Doubao
实时图像
成与编辑
推演
Tripo
实时3D模型
成
6. LV1 资产动态 成
正常的
屋
10年后藤蔓爬满屋顶
15年后已荒废
AI 图 -> AI按需修改图
17年后被
-> AI 成3D模型
烧毁
7. LV1 资产动态 成扩展应
特征
Tripo Agent
根据图
成3D模型
8. LV1 资产动态 成扩展应
Tripo Agent
根据图
成3D模型
9. /01
-
物破损等级(完整→磨损→破烂→碎
)- 植被
化)-天
痕迹→锈迹→腐朽)
- 装备锈蚀演化(崭新→使
/03 物品系统
/02 环境系统
系统
- 伤疤累积系统(新伤→结痂→疤痕→
LV1 资产动态 成扩展应
周期(种
影响(
→幼苗→成熟→枯萎)
燥→潮湿→结冰→融化)
-
物腐败过程
- 书籍
-
化泛
属氧化变
10. LV2 AI实时调整参数
系统暴露参数 -> AI按需调整环境参数 -> 实时调整环境效果
11. •天空球颜
•云层分布曲线
分布曲线
•云层颜
•太阳位置
•太阳光线强度
个函数
AI Function Tools
AI Function Call
向与强度
时
成函数调
,让AI在运
LLM的Function Tools能
利
• 的
•……
封装成
/雪强度
•
LV2 AI实时调整参数
12. 个
球术命中
属钡 =
绿
焰
焰 + 有毒
体 (玩家持续掉
)
/冰 = 蒸汽
……
爆炸粒
•焰颜
•焰扰动曲线
•焰燃烧效果
封装成
命曲线
个函数
效果
系统
/强度
•爆炸衍
LV2 AI实时调整参数扩展
AI Function Tools
AI Function Call
13. 参数天
• 天空颜 /渐变曲线
• 云层 度/密度/颜 曲线
• 太阳位置/颜 /光线衰减
• ……•
雪
本质上,
LV2 AI实时调整参数
参数材质参数粒
系统参数
沙各项参数• PBR各项参数
• 积雪尘 参数
• 多材质混合参数• 速度
• 命周期
• 扰动曲线
• ……
类编写系统暴露参数给AI做调整
14. 逻辑代码
Shader
/3D模型/ 乐/ 效
AI Asset Generation
MJ/Flux
SeedEdit/Nano Banana
成代码/图
美术资产
AI Coding
LV3 AI实时
乐
效
AI Audio/Music Generation
Suno
15. 传统
&& 冰) { 播放蒸汽特效 }
输 :强酸魔法 + 系魔法
AI分析:酸性物质遇 温 → 成腐蚀性蒸汽
AI 成:
- Shader:绿 半透明+扭曲效果
- 粒 :上升 流+腐蚀纹理
- 效参数:嘶嘶声+低频震动
限元素组合,符合真实化学直觉
/3D模型/ 乐/ 效
纯AI驱动
持
成代码/图
式
if (
LV3 AI实时
16. 逻辑代码
Shader
/3D模型/ 乐/ 效
动态 成3D模型
动态 骼绑定
动态 成贴图
动态 成动画
动态 成2D资产
成代码/图
美术资产
动态
为
动态物理规则修改
动态任务 成
……
LV3 AI实时
乐
效
动态BGM
动态 效
17. LV3 已经完全可
Game Play Designer Agent
Project Architecture Agent
Feature Planer Agent
Sandbox
Code Validator
Coder Agent
Code Compiler
Fixer Agent
Code Runtime
Summarizer Agent
Exception Catcher
18. /01 技术选型
LV3 系统构建要点
性能的runtime
险
成确实有限制
• 但是平台也在观察和评估新物种
19. 出法随、境由
“实时
20. Thanks