基于多模态微调的UI缺陷检测

1. 基于多模态微调的UI缺陷检测海亮 - 美团技术专家美团质效技术部 1

2. 录

3. 1.UI缺陷检测现状 3

4. UI缺陷检测现状组件遮挡

5. UI缺陷检测现状

6. UI缺陷检测现状

7. UI缺陷检测现状 <think> 通模型 1. 检查整体布局：从截图来看，模块分布清晰，包括标题、期选择、数量选择、优惠信息、付式和底部提交按钮等模块。 2. 检查是否存在UI重叠或遮挡：未发现模块之间有重叠或遮挡的情况。 … 综合来看，布局合理，未发现明显的UI展示问题。</think><answer>不存在UI展示问题。</ answer> 7

8. UI缺陷检测现状数据隔离公开数据通专业领域模型微调模型 8 • LLM • 专业数据不公开，检索 • 测试是业务和专业领域模型的能来公开数据法通过络程都相关的综合

9. 2.训练专家模型 9

10. UI缺陷检测现状 RAG VS FT微调 • Token level 输 query，召回知识检索任务，不改推理模式 • Weight level 模型权重，理解深度特征，改变推理模式 • 多模态不适合召回，相关性 RAG FT 10 ，和缺陷不存在

11. 训练专家模型多模态模型基本结构 11 • 视觉多模态模型有视觉编码器Vision Encoder，位置编码Position Encoder，相纯本模型结构更复杂，可训练参数更多 • 多模态的训练同时需图像和本数据

12. 训练专家模型准备训练数据训练模型训练数据 • 实际UI缺陷数据很少 • 合成数据 • 合成数据训练，真实数据评测需标注 12 评测和应

13. 训练专家模型合成数据Pipeline 训练数据实际场景 • 数据配，好的训练题总能预测到真题 - 对应场景的深理解 • 实际业务UI缺陷分布的预测 13

14. 训练专家模型摸索 - RL强化学习调整策略评测结果

15. 训练专家模型 SFT训练 15 • 训练卡 - GPU x 1 • 训练式 - 7B VLM模型，LoRA微调节省GPU显存，速度快 • 数据量 - 200-300，仅本推理模式于让模型形成基

16. 训练专家模型整体布局较为清晰，元素之间的间距和对现“ 减券” 基字与其右侧的“免费开通”按钮之间存在重叠现象。这种重叠可能会遮挡部分字内容，影响操作。除此之外，明显的UI展示问题。 </think> 户的阅读和其他部分未发现

17. 训练专家模型 RL训练 17 • 训练卡 - GPU x 1 • 训练 • 学习什么是对，同时理解什么是错误，让模型产推理能，有助于在没有过的场景下提升鲁棒性式 - 7B VLM模型，LoRA

18. 训练专家模型奖励打分评价策略优惠信息模块，按钮遮挡，存在UI展示问题 1.0 模型更新参数按钮布局清晰，UI 展示正常 18 0.0

19. 训练专家模型 GRPO训练 19 • 推理模型R1证明了GRPO有效性 • 奖励机制简单，可以是规则打分，实现成本低 • Sampling策略，理正例和反例个batch同时推

20. 训练专家模型

21. 3.对评测 21

22. 对 SFT和GRPO <think> 从截图中可以看到，顶部的筛选栏中， “神券”标签显示正常…</think> <answer> 顶部筛选栏中，“密云区”和“通距离”筛选项的字显示异常，存在溢出或截断问题。 </answer>

23. 对 <think>从截图中可以看到，上的顶部导航栏 </think> <answer> 1.紫提示模块中，“查找” 字被遮挡或溢出，导致部分字不可。 2.状态提示模块中，“抱歉，暂结果”下出现了个空模块，内容被截断。 </answer>

24. 对

25. 对点 GPT-4.1 1/25=5%

26. 4.总结和展望 26

27. 总结和展望全景

28. 总结和展望 • UI检测 • iOS18升级测试，发版回归测试 • 2024.9-2025.1召回有效UI缺陷8个均处理1.6w个测试场景

29. 总结和展望户的阅读和操作</think> 字

30. 总结和展望截屏 UI设计稿优化 GPU Mac • 从UI设计稿学习检测规范 • 降低推理成本，持Mac端侧推理，不限于UI检测，多Agent专家 30 向

31. 总结和展望能模型共同实现Agent能，编排能可以端到端后训练微调

32. Q&A

33. 欢迎加美团 WX：13821200873 邮箱：caimanling@meituan.com 更多技术货欢迎关注“美团技术团队”