从“手工”到“智能”:AI 动效新范式
如果无法正常显示,请先停止浏览器的去广告插件。
1. 从“手工”到“智能”:AI 动效新范式
探索 AIGC 新赛道
遥清 · 蚂蚁集团 支付宝验技术部
蚂蚁终端体验科技大会
2.
3. 灵魂 3 问
/01 为什么要做?
AI 大趋势
能力增强
问题解决
/02 怎么做呢?
硬训模型直出?
还是?
/03 ?
得到什么?
4. AIGC 空白赛道
早期布局 & 机遇
文生视频文生图
文生3D文生动效领域
领域空白
早期布局
探索机遇
5. 应
泛
数据基础AI 提效
支付宝动效渲染标准数据、技术积累业务强诉求
99% 的业务选择GE 多年积累大量动效数据内部 Done、淘天、画眉、N项目
6. 现阶段能力
Single Agent + MCP
ReAct Mode
Agentic Work ow
2 MCP Server
10 tools
基础动效制作、资源处理等能力
7. 现阶段的问题
1. GE JSON 过于复杂,模型训练效果不佳
2. 仅输出动画数据、且效果固定、缺乏创造性
3. 编辑器集成工具较多,学习成本高,劝退普通用户
8. 一些解题思路
1. 改变让 LLM 直出 GE JSON 的思路
2. 让 LLM 关注于描述动效的样子和感觉
3. 跳脱复杂的交互,一语生动效
9. 然语
用户想要的
领域模型
DSL
Parser
GE JSON
渲染
10. 然语
用户想要的
领域模型
DSL
Parser
GE JSON
渲染
11. 解决思路
DSL模型学习、输出 DSLParser 解析 & 输出
明确结构和规范LLM + 领域 LoRA 微调解析 LLM 输出的 DSL
定义结构化输出骨架自然语言(Prompt)转 DSLDSL 转标准结构化数据
作为 LLM 输出的目标格式提高 DSL 生成准确度输出 GE JSON 或其他格式产物
实现链路
DSL 规范
LLM + Prompt
DSL 数据
领域 LoRA 训练
基础 LLM 输出
领域 LoRA 输出
Parser 实现
GE JSON
12. 核心点 DSL
整体架子
元素定义规范
动画片段
13. 核心点 DSL
足够简单、泛化性好、大模型擅长
整体架子
元素定义规范
动画片段
14. 前期准备
DSL 预览动画数据精筛
搭建快速预览 DSL 能力
排查问题 & 优质 DSL 挑选2.4W 条动效数据过滤、去重
优化动画描述,转换最新数据
15. 核心点 Parser
1. 解析 DSL
2. 拼装基础 JSON
3. 处理父子级修正 RTS
4. 处理元素时长和生命周期
5. 修正适配基础曲线数据
6. 曲线数据变体
7. 输出 GE JSON
16. 核心点 Parser
1. 解析 DSL
数据极简,逻辑内聚
2. 拼装基础 JSON
3. 处理父子级修正 RTS
4. 处理元素时长和生命周期
5. 修正适配基础曲线数据
6. 曲线数据变体
7. 输出 GE JSON
动态时序,自动计算
17. 核心点 Parser
1. 解析 DSL
2. 拼装基础 JSON
3. 处理父子级修正 RTS
4. 处理元素时长和生命周期
5. 修正适配基础曲线数据
6. 曲线数据变体
7. 输出 GE JSON
终点优先,布局稳定
18. 曲线变体
同一份动画,根据场景可以做出无限中变体
变体三旋钮:强度 / 速度 / 扰动
同一个跳动曲线,强度 0.8→轻微,2.5→强烈,扰动 0.3→随机抖动
19. 曲线变体
基础款慢速款炸裂款
{{{
}
element:"sprite_1"
animation:"旋转跳跃"
startTime:0
parameters:{
intensity:1
speed:1
loopCount:"In nity"
noise:0
}
}
element:"sprite_1"
animation:"旋转跳跃"
startTime:0
parameters:{
intensity:1
speed:0.5
loopCount:"In nity"
noise:0
}
}
element:"sprite_1"
animation:"旋转跳跃"
startTime:0
parameters:{
intensity:1.5
speed:1.2
loopCount:"In nity"
noise:0.5
}
20. 一些非预期的状况
过度叠加效应动画布局的“设计感”缺失
动态参数 + 原始动画数据本身存在“非均匀性”(快
慢、强弱不一)布局全靠大模型脑洞,部分场景过于抽象
动画参数的精准调控策略为 AI 设计师装上“护栏”与“导航”
1. 基础数据原子化
2. 动画数据分类
3. 元素归类1. 限定场景
2. 限定元素
3. 引导生成
从 “一刀切” 到 “精准应用”
在约束中创造,在引导中精准
21. Agent
意图识别
满血模式
从无到有。
让 AI 为你全新创作一切。
Work ow 规划 | User Prompt 优化 | Layout 优化 | Context 管理 | History Summarize
MCP
DSL
成
RAG
异常链路处理 & 兜底
DSL Schema 硬校验
生图
Parser 交互
22. Agent
意图识别
模板模式
化静为动。
现有模版,一句话赋予生命。
Work ow 规划 | User Prompt 优化 | Layout 优化 | Context 管理 | History Summarize
MCP
模版数据处理
RAG
异常链路处理 & 兜底
DSL Schema 硬校验
动画应用
23. Zero-training 上线 + 后训练增强
领域模型
筛选优质 DSL
DSL 训练数据
基础 LLM 先行
基模 Qwen3-Next-80B-A3B-Instruct领域 LoRA 持续优化
Prompt 工程( 静态 Few-shot 模板等)持续训练优质 DSL 数据
字段级占位符(防止幻觉)评估、提
缺键时→用默认值,不补解释字段
可
度
24. DSL 和真实 JSON 对比
258
GE JSON,压缩
15 : 1
GE JSON
DSL JSON
vs 3981
25. 演示DEMO
26. 阶段路线
后续动作
当前阶段
可用生成
丰富语义蒙版
领域大模型
持续优化快速、稳定、优质 DSL + 多模态能力
相机
转场
DSL 1.0 冻结
覆盖 80 % 常见运营场景动效
27. 接入方式
快速使用后续开放 Agent 能力
实现标准的 MCP Client 即可快速接入
https://modelcontextprotocol.io/docs/sdk#sdks协议部分考虑通用协议
https://a2a-protocol.org/latest/