行为正则化与顺序策略优化结合的离线多智能体学习算法

行为正则化与顺序策略优化结合的离线多智能体学习算法

摘要

离线多智能体强化学习（MARL）面临分布偏移和智能体协调难题。中山大学与美团合作提出样本内顺序策略优化（InSPO），通过逆KL散度和最大熵正则化，避免分布外动作并增强探索性。实验验证InSPO在桥博弈和星际争霸II中表现优异，有效解决局部最优问题，展现了在多智能体任务中的强大潜力。