GUI Agent 综述：从传统自动化到多模态大模型驱动的智能体

GUI Agent 综述：从传统自动化到多模态大模型驱动的智能体

摘要

GUI Agent正从传统自动化向多模态大模型驱动的智能体演进，具备“看懂”并“理解”界面的能力。其核心架构包括操作环境、提示工程、记忆机制等，应用于企业办公、软件测试和虚拟助手等领域。尽管面临隐私安全和泛化能力的挑战，未来发展方向包括多模态感知融合、跨平台泛化和多智能体协作，有望推动人机交互的智能化与自动化。