4×4 网格世界 / 价值迭代 vs 策略迭代

同一个 MDP,两种解法并排跑。每一步都给出全部 16 格的 状态价值 V(s) 与 贪心策略 π(s), 拖动 每步奖励 r 看看最优策略会怎样彻底改变。

走一步的即时奖励:负值=惩罚,正值=「活着就有收益」(撞墙也算一步)
未来奖励的折现率,越接近 1 越「有远见」
0.4
格子颜色 = 价值青色为正、红色为负,颜色越深 |V(s)| 越大
↑
箭头 = 策略 π(s)当前状态下 argmax 的动作,四方向之一
蓝色描边本步相对上一步,该格策略发生了改变
地形墙 (1,1) 不可进入;右上 +1 终点、其下 −1 陷阱为终止状态,V ≡ 0