Midscene x UI-TARS，UI 自动化的开源模型方案

Midscene x UI-TARS，UI 自动化的开源模型方案

摘要

字节跳动开源了UI-TARS模型，这是一种原生图像界面代理模型，能通过屏幕截图和自然语言指令预测操作步骤，提升UI自动化体验。与Midscene.js结合，UI-TARS实现目标驱动，减少token消耗，提高执行效率和数据隐私。虽然仍有局限性，但通过专业模型，任务准确性和速度显著提升，适用于自动化测试等场景。