⌈ 传知代码 ⌋ 强化学习和MCTS实践

前情提要
本文是传知代码平台中的相干前沿知识与技能的分享~
接下来我们即将进入一个全新的空间，对技能有一个全新的视角~
本文所涉及全部资源均在传知代码平台可获取
以下的内容肯定会让你对AI 赋能期间有一个颠覆性的认识哦！！！
以下内容干货满满，跟上步调吧~

---

   
   
  

---

本章重点

  

• 强化学习和MCTS实践
  

---

一. 概述

各人肯定赞叹于AlphaGo zero在围棋范畴的巨大乐成，这种乐成泉源于强化学习的发展，在这里将以五子棋为例，向各人先容怎样从零开始手搓一个带有盘算本事的AI人工智能。
根本的算法与AlphaGo zero差不多，重要是自我博弈强化学习以及蒙特卡洛搜索树(MCTS)。

---

二. 实现过程

前期预备——棋盘的绘制
在这里，我们接纳python中的pygame作为我们的棋盘绘制工具，在此之前我们先须要棋盘、玄色棋子、白色棋子的素材。这部分素材放在了附件中，各人可以恣意下载。
我们通过一个Board棋盘类，来席卷全部跟棋盘有关的利用和属性

1. class Board:
2.     def __init__(self, width = 15, height = 15, **kwargs):
3.         self.width = width  # 棋盘宽度
4.         self.height = height  # 棋盘高度
5.         self.winReg = 5  # 5个棋子一条线则获胜
7.         self.players = [1, 2]
9.         self.states = None  # 棋盘状态
10.         self.current_player = None
11.         self.available = None
12.         self.last_move = None

复制代码

这些初始化的属性的作用都在代码中标注了出来。这个棋盘还须要一个初始化函数，用来清空棋盘上的齐备

1.     def init_board(self, start_player=0):
2.         # 初始化棋盘
3.         self.current_player = self.players[start_player]  # 先手玩家
4.         self.available = list(range(self.width * self.height))  # 初始化可用的位置集合
5.         self.states = {
6.    
7.    }  # 初始化棋盘状态
8.         self.last_move = -1  # 初始化最后一次的移动位置

复制代码

棋局的状态
怎样生存棋局的状态呢？
我们参考的是AlphaGo Zero中的设置，即利用4个15x15的二值特性平面来形貌当前的局面，前两个平面分别表现当前player的棋子位置和对手player的棋子位置，有棋子的位置是1，没棋子的位置是0；第三个平面表现对手player近来一步的落子位置，也就是整个平面只有一个位置是1，别的全部是0；第四个平面表现的是当前player是不是先手player，假如是先手player则整个平面全部为1，否则全部为0

1.     def update_board_state(self):
3.         board_layers = np.zeros((4, self.width, self.height))
4.         if self.states:
5.             actions, players = np.array(list(zip(*self.states.items())))
6.             current_player_moves = actions[players == self.current_player]
7.             opponent_moves = actions[players != self.current_player]
8.             board_layers[0][current_player_moves // self.width, current_player_moves % self.width] = 1
9.             board_layers[1][opponent_moves // self.width, opponent_moves % self.width] = 1
10.             board_layers[2][self.last_move // self.width, self.last_move % self.width] = 1
11.         if len(self.states) % 2 == 0:
12.             board_layers[3][:, :] = 1.0
13.         return board_layers[:, ::-1, :]

复制代码

这里就涉及到我们怎样设定棋子在棋盘中的位置了，它有一个二维坐标，但是为了方便我们偶尔候会把它设置为一个一维的坐标并随时举行转化

1.     def move_to_location(self, move):
2.         
3.         h = move // self.width
4.         w = move % self.width
5.         return [h, w]
7.     def location_to_move(self, location):
9.         h = location[0]
10.         w = location[1]
11.         move = h*self

复制代码