LangGraph Rollout: Evolving VeRL's Multi-Turn Capabilities for Agent RL

LangGraph Rollout: Evolving VeRL's Multi-Turn Capabilities for Agent RL

摘要

VeRL通过多轮对话和掩码重构，解决了Agent RL研究中的瓶颈，实现了LangGraph的快速集成。初始方案虽高效，但存在工具定义冗余和一致性挑战。通过自动工具封装，简化了工作流程，解决了生产与训练环境的差距。最终采用LangGraph集成，实现了训练与部署环境的完美对齐，支持复杂代理系统的演进。