从意图识别到 UI 生成：构建实时智能交互闭环

如果无法正常显示，请先停止浏览器的去广告插件。

1. 从意图识别到 UI 生成：构建实时智能交互闭环念响 × 颢阳｜ 2025.11 蚂蚁终端体验科技大会

2. 从意图识别到 UI 生成：构建实时智能交互闭环分享人介绍徐奇昊杨颢念响颢阳蚂蚁集团蚂蚁集团花呗体验技术负责人支付宝智能体验 Guan 产品负责人算法负责人 × 付宝体验技术部

3. 业务挑战：精细化服务面临的问题和挑战 "如何更好地理解用户，更好更快地服务花呗用户？" 标准版青春版亿级用户迪士尼联名规模化表达方式模板化大量非标服务敏捷化个性化服务供给效率低用户理解不够深入

4. 💡 一次有趣的探索：大模型能读懂花呗用户吗？ "AI 相比于传统的专家经验，效果如何？" 实验设计：基于用户行为回放和画像特征，尝试用大模型来解析用户的意图和服务偏好，提升用户体验 1W+ 100+ 人次参加实验有效意图类别 85%20% 识别准确率效果惊人！AI 展现出巨大潜力，不只是模仿，它还能创造创意服务策划* 跳出传统模板内容

5. 更进一步：花呗 AI 卡片助手 "当用户访问花呗页面时，基于实时意图识别，策划并生成一张智能服务卡片" 实时化自动化个性化 ✨人找服务升级为服务找人，精细化、智能化程度更高

6. “感知 → 决策 → 生成” 三位一体 Multi-Agent 架构 01 意图识别 Agent 把“做了什么”变成“想做什么” 实时行为动线、用户画像特征、业务线索数据 02 服务策划 Agent03 生成式 UI Agent 决定“能提供什么服务”把数据变成“情感化交互” 服务推荐、工具召回、多模态建模、DSL 生成、原子能力调度实时渲染 1 秒内完成「看 → 想 → 做」 👩💻 用户来访 💬 用户反馈核心理念：不是简单的 AI 取代人工而是构建一个能够「实时感知、智能决策、个性化表达」的完整闭环系统

7. 如何让 AI "看懂无声行为"？

8. 01 意图识别 Agent：让 AI "看懂无声行为" "行为即语言 —— 用户的每一步操作，都是对业务需求的隐性表达" 多维数据输入，构建完整上下文 📍 实时行为点击、滚动、反复输入.... ｜秒级延迟实时捕获采集 SDK 日志服务时序数据库聚合&提纯拒识机制微调 Qwen3-0.6B 👤 用户画像💼 业务线索年龄/职业/消费力等是否有账单？额度使用率？业务维度画像特征是否首次使用？... 精准度如何保障？ RAG 注入可审计 RAG：Retrieval-Augmented Generation，通过检索外部知识增强生成准确性

9. “服务太多，根本找不到！”

10. 02 服务策划 Agent：智能策划重组原子服务 "识别出意图 ≠ 能够服务" 标准化服务数据包服务策划引擎分期服务账单分期 … 用户意图还款有压解构权益发放统筹分期服务编码：string 基础发奖预约分期账单分期& 免息权益服务重组花呗金皮肤发奖 … 服务描述：string 推荐原因：string 服务寻址：endpoint[] 落地页信息：url 准入条件：boolean 置信度：0.95 将产品服务解构为标准化、原子化、高质量的业务工具业产研需持续共建后端能力不再是"固定接口"，而是可被 AI 理解和调度的"服务资产"

11. “这个界面也太单调了！”

12. 03 生成式 UI Agent：把数据变成"有温度的表达" “数据 x DSL × 大模型" 文案 Agent设计 Agent素材 Agent组件 Agent 输出文案Design Token视觉素材高级组件信息输入引导用户意图 & 服务信息输出引导生成式 UI Agent UI DSL 定义文案风格 UI DSL Demo 设计风格业务自定义标签 UI 渲染器动态数据流式渲染

13. 03 生成式 UI Agent：UI 生成能力蒸馏-“多快好省”的生成 “打造更小更专业的UI生成垂类视觉大模型” 1. UI 生成数据集构造2.大模型微调3. 偏好学习利用通用大模型构造海量 UI 生成数据对 🤖理解 DSL 范式，JSON 稳定生成 👌生成质量更好的 UI的概率增加 🚀 90% 99% 格式准确率 20s 4s 推理速度 0.7 0.74 生成质量（ LLM-as-Judge X 6 维度）

14. 03 生成式 UI Agent：理解 × 生成-UI 智能的相互共鸣 “双任务联合训练 > 纯UI生成任务单独训练” M L L M S OTA UI 生成需要大模型对 UI 的类型、颜色、位置有「先验知识」 UI 理解协同促进擅长 UI 检测、UI 分类 OCR、颜色识别等任务知识共享 UI-UG 大模型 : A Uni ed MLLM for UI Understanding and Generation Github，HuggingFace，Paper已开源

15. 构建数据闭环：从可运营可调控到越用越聪明 “可持续优化的 AI 卡片推荐系统" 1. 离线 U I 生成 DSL、文案、卡片描述、意图、标签、操作日志等用户实时行为+画像+特征数据补全 & 准入 2.打标落库3.实时卡片召回4.容器渲染高点击示例入库干预不同意图权重曝光&点击&转化 → 反馈数据埋点 UI 生成偏好学习 CTR/CVR等核心数据…

16. 总结：我们做到了什么？ "打通了一个高复杂度的智能闭环" 提升 30% 意图识别准确率到达 88% 服务策划覆盖率到达 90% UI 生成良品率全链路打通支持 5 大类意图、覆盖 50+ 服务场景、生成 150+ 卡片业务价值验证交付周期缩短 60%、服务创新率 35%、评审通过率 > 80% AI 卡片为花呗阵地页持续供给个性化服务

17. 未来展望 "智能交互的未来，是让 AI 更好的为人服务" 关键词说明使用场景意图识别让用户的需求更早被识别金融、健康管理、家庭助手服务策划让业务能力沉淀为可调度的"服务资产"所有复杂业务系统生成式 UI让每一次服务都像一次有温度的对话主动服务、AI 对话场景 01 云端结合 02 意图记忆 THE NEXT 03 富交互卡片 04 场景拓展从产品的交付到表达，AI 全方位助力｜让用户感受到：“这个产品，真的懂我！”

18. Thanks “算法理解意图，前端我们正在做的，不只是技术升级，种对待更是户的式。成温度”