强化学习新视角：从贝尔曼方程到TD方法的深度解析

强化学习新视角：从贝尔曼方程到 TD 方法的深度解析

摘要

强化学习的核心在于贝尔曼方程，它揭示了价值函数的递归特性。动态规划（DP）和蒙特卡洛（MC）是两种经典求解方法，DP依赖完整环境模型，MC则通过采样直接估计。时序差分（TD）方法融合了DP和MC的优点，无需等待回合结束即可更新价值函数，具有更高的样本效率。TD衍生出SARSA和Q-learning两种控制算法，分别代表同策略和异策略学习。理解TD是掌握现代强化学习技术的关键。