1. AI 驱动的体验洞察与增长 分享人：李亚平（凫羽） 蚂蚁集团 - 支付宝体验技术部 蚂蚁终端体验科技大会

2. /01 背景与思考 /02 AI 体验问题洞察技术 /03 总结与展望

3. 商家服务用户体验典型案例 告、 动跳转/ 动多跳等 式获得更多 告收 付码遮挡等被阻塞操作动线

4. 支付宝用户体验受影响 ：获得更多私域流量与商业化收入

5. 问题和思考 有限资源，体验投 少

6. 如何 感知、度量、保障体验，防 案与不 AI + 数据 驱动的体验问题 洞察与治理

7. AI + 数据驱动的体验问题洞察与治理 治 理 流 程 定义业务 体验指标 体验问题 主动洞察 个性化定义 标 准 层 数据规则诊断 治理方案 保障机制问题验收 多模态诊断大模型问题分级问题全链路管理周期性监控 用户体验规范 体验科室 首页体验规范、支付结果页体验规范、搜索体验规范、消息体验规范、公域投放运营规范、业务域体验规范… 多模态数据采集 数 据 层 体验问题用户 影响评估 行为埋点 业务数据 系统监控埋点 自动跳标准、弹窗标准… 数据加工 用户反馈 真机巡检采集UI 用户动线刻画 业务数据标准化 数据维度归一化 数据特征 动线特征页面|模块特征 内容特征舆情特征

8. /01 背景与思考 /02 AI 体验问题洞察技术 /03 总结与展望

9. 体验规范 - 定标准保下限 投承不 致 消息题不对版 消息内容与实际不符 滥 订阅消息 使 系统消息营销推 … 搜索 推荐 • • • • 投承不 致 价格前后不 不可 … 致 • 在搜索曝光，但点击后 • 权益名称/价格/折扣投 不可 ； 放与实际内容不 致 • 重 的素材导向错误； • 劣质内容（ 赌毒、乱 • 投放的商品价格/券前 码 、 屏 、 服 务 不 可 • 标/底纹词/ mytab 红点投承红包/优惠券/ 营销活动 • 投放 1屏 承接 • 投承不 致 • 弹窗阻断承接链路 超过2次跳转 • 承接 •…直塞券、券规则与活动宣 传不 致、券名称和规则 不 致、券核销链路异 常、发奖承诺未兑现、… 付结果 后投承不 致；商品 货空挂；地域不 致等 … 动线 预 • 营销类弹窗疲劳度未控 • • • 制/关闭按钮缺失/虚假 关闭按钮/关闭按钮不 明显； 预期 动跳转 营销类型返回拦截 … ）等 服务库 • 阻断式弹窗 • 服务名称与服务 不 致； • 服务描述&服务类 & 服务 不 •… 体验科 室 诊断技 术

10. 医务科室 动线科 外科 内科 肤科 检验科 检 - 动线设计本身存在阻断 户 或违背 户意图设置障碍动线设计合理，但 户在操 作时交互实现存在缺陷 - 返回拦截 - 动跳转 返回按钮 - - 违规七分屏承接- - 放射科 借鉴医院科室 针对用户旅程进行多维度的体验问题诊断服务 CT 动点 防抖 动点，但存在多次 点击 障碍科 户在使 过程中存在可 性的阻断或障碍 - 异常弹窗（Alert/ Toast） - 动点点击 响应 - 搜索结果点击不可 性能科 弹窗科 内容投放存在 法、误导、 欺骗等体验问题特指弹窗本身的设计存在蓄 意或 意体验缺陷指技术层 题 - 搜索承接出现 赌毒 - 投承不 致 - 低价诱导识别 内容不 - 服务名称&- 弹窗 关闭按钮、弱化关闭- FPS 不流畅 - FCP 指标过 - 接 调 时间 致 - 服务类 - 交互科 内容科 医技科室 体验科室 & 内容不 按钮、弹窗位置遮盖导航栏 - 弹窗违反疲劳度策略（1天1 次、7天2次、30天4次） 同时出现2个及以上弹窗 - - 浮层遮挡 动点 - 开屏弹窗 基于数据特征的问题诊断 多模态 可优化的性能问 模型诊断

11. 问题识别方案：基于数据特征的问题诊断 - 以自动跳为例 ， 为 户交互 连续 点击 渲染序列 连续2个及以上 击；每个 停留时 X ms 真机巡检 治理对抗 防延迟跳转 监控跳转 标数，过多的跳 转 标标记为营销属性 户点 于 真机巡检获取访问录屏，AI视 频检测，从 户视 判定跳 转是否合理 防模拟点击 监控异常点击率， 打开后3s 内点击率异常 视为模拟点击

12. 问题识别方案：基于数据特征的问题诊断 - 特征挖掘 数据源特征构建 行为埋点（UBA）原子化提取 曝光、点击、用户旅程序列 序列类、时长类、交互类、质量类、业务类 原始特征统计计算（均值、分位） 特征 🎨 体验缺陷类 🔄 行为异常类 循环访问、怒点、路径偏离 …自动跳、操作热区异常、UI 元 素错位、文字乱码/截断、 文案 不当.. 📈 指标异常类⚙ 技术缺陷类 系统监控埋点（APM） 性能、异常报错信息、停留时长、 滑动距离，前端/客户端/服务端 用户反馈（feedback） 原声反馈、NPS、UI截图 业务指标数据（BPM） 流量指标、功能完成率、交易明细 模型辅助特征生成 非监督模型： • 动线聚类分析 → 识别行为异常类路径 • 动线网络分析→ 识别关键路径断点 • 体验缺陷归因 → 定位问题发生位置 监督模型： • 异常文本分类 → 筛选体验缺陷真·问题 • 原声&体验规则回归分析 → 验证体验规则 • 体验多模态大模型 → 多源综合判断问题 产品配置数据 图文、商品、服务、素材、业务规则… 规则化组合 逻辑组合：与或非 (连续≥2) ∧ (停留<X ms) ∧ (无点击) 业务影响标准 性能差：加载耗时>3s 权重计算、模型增强 JS加载失败率、接口超时率、客 户端闪退率… 基础特征 序列类特征 弹窗序列、业务序列、长度 连续页面数、动线序列… 产品元信息（meta） 小程序基础信息、功能路径、迭代… 首屏白屏率、LCP P90、页面到 达率... 交互类特征 点击/滑动/循环 返回/秒返… 时长类特征 停留时长、加载耗时、响应 时长 质量类特征 白屏率、FPS、 FCP/LCP... 业务特征 是否完成、完成 率…

13. 问题识别方案：基于大模型的问题诊断 - 以开屏弹窗为例 检测 报告

14. 数据准备 去重|降噪|脱敏 数据标注 弹 窗 类 动线序列 操作 布 局 类 志 户原声 巡检图 32% 是 人工纠错 否 正确答案 <think>它提供了 个明确的交互 按钮——蓝 的**“我知道了”** 按钮。没有在右上 或左上 设 置 个常规的“X”关闭图标 </think>是的，图中存在弹窗 关闭按钮的现象。 图中是否存在弹 窗 关闭按钮问 题 <think>红框圈出的【换电】按钮 和右侧的【收藏】（星形）按钮， 它们之间的间距过 ，它们的触摸 热区很可能已经重叠或紧密相邻。 </think>是的，存在按钮互相影响 导致潜在误触的问题。 图中是否存在按 钮重叠的问题 数据样本 弹 窗 类 巡检视频 训练数据标准化 思考过程 监督微调——学会思考 数据样本 思考过程 正确答案 强化学习训练数据-1亿tokens 标签&置信度 低置信度 问题识别方案：多模态体验诊断大模型技术方案 布 局 类 强化学习——激发思考 正确答案 是、否... 图中是否存在弹窗 题 Qwen3-VL -监督微调 数据样本 关闭按钮问 准确性奖励 正确答案 是、是... ··· 图中是否存在 Qwen3-VL 本遮挡问题 推理答案 vs 正确答案 奖励 模型 多模态 体验诊断 大模型 4B参数 SOTA水平 准确率>81%

15. 问题识别方案：多模态体验诊断大模型 - 如何运行 这个页面有什么 体验问题？

16. 问题识别方案：多模态体验诊断大模型 - 如何运行 这个页面有什么 体验问题？ 弹窗无关闭按钮

17. Query 意图：评估 质量检查 户意图识别 意图类型识别 图0尺Query 改写 本合规性实体抽取 体 测 关键实体：点击有 奖、按钮、弹窗 体验规则 弹窗科室 障碍科室 检索 深度思考 弹窗无关闭按钮 组件识别 { "弹窗 关闭按钮": { "exist": true, 体验诊断 多模态理解 语义 弹窗缺陷动线缺陷 热区识别OCR标投承布局缺陷 布局识别动线理解为遇障价格投承 ··· 体验问题 规则匹配 体验科室 类型：体验问题检 诊断模块 模糊判断 验 模型 Query 处理模块 是否有体验问题 多模态体验诊断 ··· 结果 "description": " 明显关闭按钮（如X或返 回图标）" }, " 异常": { "exist": false, "description": "未发现 布局错乱、元素 加载失败或功能错误" }, "按钮重叠": { "exist": false, "description": "按钮位置独 ， 重叠" }, " 字重叠": { "exist": false, "description": " 字清晰， 重叠" } ……

18. 组织保障 ○ 未按规范治理体验问题 处罚机制 ○ 治理延期、验收不通过或者治理后复发 问题机器 触达 ID 键建群， · 排期与上线校验数据化验收持续跟踪& 期监测 0000 动寻找负责· 定时催促负责 动发送问题现场· 延期未确认升级上级负责 确认问题 影响量 · 定期通知负责 · 上线前N 确认上线时间· 上线次对 次确认“是否能准（影响户量、 时修复” 核 指标· 户投诉量）· 重复出现则 下降幅度 定级 S ＞A＞B＞C 期监测核 指标波动 动触发 流程并下发处罚通知 严重程度 体验问题 舆情反馈量级 业务PV、UV 、搜索、推荐） 限期整改 & 过程追踪 0 · 根据应 ○ 全站通报批评、公域流量降权（ 影响使 效率 影响信任 智 次治理

19. /01 背景与思考 /02 AI 体验问题洞察技术 /03 总结与展望

20. 数据 获得中国电 质量管理协会颁发 《2025 年全国 户体验创新典型案 例》 6个18 类 问题科室数可洞察问题类型 5,82747% 发现问题数治理完成率 2725 8000w 次/日 ↓ 治理后影响用户降低 https://mp.weixin.qq.com/s/leNolODjHBvhZCVxNN5-8Q

21. 好体验，促增长 智能UI / UX 策略 具 户流失挽回、智能千 千 阶体验策略促增 体验增 分析 、端智能 具 户旅程分析、点击|下滑热 分析、流失报告 深度分析找机会点 体验问题主动洞察 具 体验标准、体验科室、体验治理 严控体验规范保底线

22. Thanks