4×4 网格世界
/ 价值迭代 vs 策略迭代
同一个 MDP,两种解法并排跑。每一步都给出全部 16 格的
状态价值 V(s)
与
贪心策略 π(s)
, 拖动
每步奖励 r
看看最优策略会怎样彻底改变。
每步奖励 r
−0.04
走一步的即时奖励:负值=惩罚,正值=「活着就有收益」(撞墙也算一步)
折扣因子 γ
0.90
未来奖励的折现率,越接近 1 越「有远见」
恢复默认 r、γ
同步播放两部算法
0.4
格子颜色 = 价值
青色为正、红色为负,颜色越深 |V(s)| 越大
↑
箭头 = 策略 π(s)
当前状态下 argmax 的动作,四方向之一
蓝色描边
本步相对上一步,该格策略发生了改变
地形
墙 (1,1) 不可进入;右上 +1 终点、其下 −1 陷阱为终止状态,V ≡ 0