强化学习数学根本学习(三)

媒介

这次是蒙特卡洛方法
正文

蒙特卡洛方法(Monte Carlo，MC)

在强化学习（Reinforcement Learning, RL）中，蒙特卡洛方法是一类基于采样的学习方法，重要用于办理那些状态空间或动作空间过大，以至于无法利用动态规划方法的题目。蒙特卡洛方法通过模仿大量的随机履历（即，遵照某种计谋与情况互动的序列），来估计代价函数。
换句话说,求解rl题目的时间,我们要么须要模子,要么须要数据,这次的mc就是基于数据的无模子方法(这个现实上可以可以分为蒙特卡洛方法和时序差分学习)
以是我们能列出:
蒙特卡洛方法的特点

• 全回报（Episodic）：通常用于具有明白开始和竣事的情境（即，episodic tasks）。
  
•         不须要知道情况的转移概率和嘉奖分布：蒙特卡洛方法是一种model-free的强化学习方法，这意味着它不须要事先知道情况的动态特性，即不须要知道状态转移概率和嘉奖分布。
  
•         通过大数据量的样本采样来举行估计：这种方法依靠于从现实的履历（即，episode）中网络大量的样本数据。通过这些样本，可以估计出代价函数或计谋。
  
•         本质上是大数定律的应用：蒙特卡洛方法基于大数定律，该定律指出，当独立同分布的随机变量样本数量充足大时，样本均值会趋近于这些随机变量的真实盼望值。在这里，每个episode可以看作是一个随机样本，而通过大量episode的匀称回报来估计状态的代价。
  
•         将计谋迭代中依靠于model的部门更换为model-free：在传统的动态规划（DP）方法中，须要知道情况模子来举行计谋迭代。蒙特卡洛方法则通过采样来绕过这一需求，使得强化学习可以在没有情况模子的情况下举行。
  

蒙特卡洛算法步调

•         初始化：
  
  
  
  • 设置初始的代价函数V(s) 对于全部状态 s。
    
  • 设置一个计谋 π，可以是随机的或基于某些开导式的。
    
  
  
•         互动与采样：
  
  
  
  • 利用计谋 π 与情况互动，天生多个完备的episode（即，从开始状态到制止状态的序列）。
    
  • 对于每个episode，纪录状态、动作、嘉奖和后续状态。
    
  
  
•         回报盘算：
  
  
  
  • 对于每个episode，盘算从每个状态开始到episode竣事的回报 Gt​。
    
  • Gt​ 可以是简朴回报（只思量终极嘉奖），大概是折现回报（思量将来嘉奖的折现和）。
    
  
  
•         更新代价函数：
  
  
  
  • 对于episode中的每个状态 st​，更新代价函数 V(st​)。
    
  • 更新规则通常是：                V(st​)←V(st​)+α(Gt​−V(st​))
    
  • 此中 α 是学习率。
    
  
  

MC Exploring Starts

MC Exploring Starts 是蒙特卡洛强化学习中的一个概念，它是一种办理议略评估题目的方法，特别是在没有明白探索计谋的情况下。这个方法的名称泉源于它假设在每个episode的开始，智能体都以非零概率选择全部大概的动作，即“探索性起始”（Exploring Starts）。
根本头脑

•         探索性起始：假设在每个episode的开始，智能体随机选择一个动作，而不是遵照某个特定的计谋。这意味着全部状态-动尴尬刁难都有时机被选中，从而确保了充实的探索。
  
•         计谋评估：MC Exploring Starts 的目标是评估给定计谋的代价函数，即盘算在该计谋下每个状态或状态-动尴尬刁难的盼望回报。
  

工作原理

•         初始化：为每个状态或状态-动尴尬刁难初始化一个回报的计数器和一个回报的总和。
  
•         天生episodes：利用探索性起始天生多个episodes。在每个episode中，智能体从初始状态开始，根据当前计谋和探索性起始的条件选择动作，直到到达制止状态。
  
•         纪录回报：对于每个episode，纪录从每个状态或状态-动尴尬刁难开始的回报。
  
•         更新代价：当一个episode竣事时，利用该episode中的回报来更新对应状态或状态-动尴尬刁难的代价估计。具体来说，对于每个访问过的状态或状态-动尴尬刁难，将其回报加到回报的总和中，并将计数器加一。然后，将回报的总和除以计数器得到匀称回报，这作为该状态或状态-动尴尬刁难的代价估计。
  

上风

• 不须要明白的探索计谋：由于假设了探索性起始，因此不须要额外的探索机制，如ε-greedy计谋。
  

范围

•         现实应用中的限定：在现实应用中，确保探索性起始大概是不现实的，由于这意味着智能体必须在每个episode的开始完全随机地选择动作，这在某些情况中大概是不安全的或不符合的。
  
•         收敛性：MC Exploring Starts 要求全部状态-动尴尬刁难都有非零概率被选中，这对于确保算法的收敛性是须要的。如果某些状态-动尴尬刁难从未被探索，那么它们的代价将无法被精确估计。
  

MC Exploring Starts 是蒙特卡洛方法的一个抱负化版本，它为明白蒙特卡洛算法提供了一个理论框架，但在现实应用中，通常会接纳其他探索计谋来确保对全部大概的状态-动尴尬刁难的探索。
MC ε-Greedy

MC ε-Greedy 是一种联合了蒙特卡洛(Monte Carlo, MC)方法和ε-Greedy 探索计谋的强化学习算法。它重要用于办理强化学习中的计谋评估和计谋改进题目。
MC ε-Greedy 算法步调

•         初始化：
  
  
  
  • 对于全部的状态s和动作a，初始化一个计数器N(s, a)来纪录(s, a)对被选中的次数，以及一个累加器Q(s, a)来纪录在状态s下接纳动作a所得到的总回报。
    
  • 设置一个参数ε（通常是一个较小的正数，如0.1），用于控制探索和利用的比例。
    
  
  
•         天生Episodes：
  
  
  
  • 对于每个episode，从初始状态开始，利用ε-Greedy计谋选择动作：
    
    
    
    • 以ε的概率随机选择一个动作。
      
    • 以1-ε的概率选择当前估计的最优动作（即Q值最大的动作）。
      
    
    
  • 实验选定的动作，观察情况反馈的下一个状态和嘉奖，直到到达制止状态。
    
  
  
•         纪录回报：
  
  
  
  • 对于每个episode，纪录从开始到竣事的每一步的状态、动作和嘉奖。
    
  
  
•         更新代价函数：
  
  
  
  • 当一个episode竣事后，利用该episode中的履历来更新动作值函数Q(s, a)。
    
  • 对于episode中出现的每个(s, a)对，盘算从该(s, a)对开始直到episode竣事的回报G。
    
  • 更新Q(s, a)的值为：Q(s, a) = Q(s, a) + (G - Q(s, a)) / N(s, a)。
    
  • 同时，更新N(s, a)的计数：N(s, a) = N(s, a) + 1。
    
  
  
•         计谋改进：
  
  
  
  • 在每个状态s下，根据更新的Q值来选择最优动作，即贪婪地选择Q(s, a)最大的动作。
    
  • 随着Q值的更新，计谋也会徐徐改进。
    
  
  

尾声

这个挺好明白的