步调员学习强化学习之根本概念的数学表达

根本概念

迷宫游戏为例

状态(State)：S = {s1, . . . , s9}
办法(Action)：A = {a1, . . . , a5}
状态转移(State transition)：

嘉奖(Reward)：r(s, a) 是 s和a的函数

序列(Trajectories)

计谋1的序列：

计谋2的序列：

回报(return)：也叫累计嘉奖。回报部门包罗即时嘉奖(immediate reward)和将来嘉奖(future rewards)，这也很好明白，由于智能体目标是最大化累计嘉奖。
对于计谋1：回报为 return = 0 + 0 + 0 + 1 = 1.
对于计谋2：回报为 return = 0 − 1 + 0 + 1 = 0
扣头因子(discounted return)：discounted return =

  此中 

扣头因子的引入：1）制止回报无穷大；2）短期嘉奖和长期嘉奖的平衡
片断(episode)：片断任务(episodic tasks)体现序列是有限步调；连续任务(continuing tasks)体现序列是无穷步调