【E資格不合格から学ぶ】AlphaGo（強化学習）のポイントを解説！

• ニューラルネットワークではなく線形の方策関数
• 探索中に高速に着手確率を出すために使用される

1. 教師あり学習によるRollOutPolicyとPolicyNetの学習
2. 強化学習によるPolicyNetの学習
3. 強化学習によるValueNetの学習

• KGS Go Server(ネット囲碁対局サイト)の棋譜データから3000万局面分の教師データを用意⇒ 教師と同じ着手を予測できるよう学習を行った。
• 具体的には、教師が着手した手を1とし残りを0とした19×19次元の配列を教師とし、それを分類問題として学習した。
• この学習で作成したPolicyNetは57%程の精度である。

• 現状のPolicyNetとPolicyPoolからランダムに選択されたPolicyNetと対局シミュレーションを行う。⇒その結果を用いて方策勾配法で学習を行った。
  PolicyPool：PolicyNetの強化学習の過程を500Iteraion(反復)ごとに記録し保存しておいたものである。
• 現状のPolicyNet同士の対局ではなく、PolicyPoolに保存されているものとの対局を使用する理由は、対局に幅を持たせて過学習を防ごうというのが主である。
• この学習をmini batch size 128で 10,000回行った。

• PolicyNetを使用して対局シミュレーションを行い、その結果の勝敗を教師として学習した。教師データ作成の手順は次のとおり。

1. SL PolicyNet(教師あり学習で作成したPolicyNet)でN手まで打つ。
2. N+1手目の手をランダムに選択し、その手で進めた局面をS(N+1)とする。
3. S(N+1)からRL PolicyNet(強化学習で作成したPolicyNet)で終局まで打ち、その勝敗報酬をRとする。

• S(N+1)とRを教師データ対とし、損失関数を平均二乗誤差とし、回帰問題として学習した。この学習をmini batch size 32 で5000万回行った。
• N手までとN+1手からPolicyNetを別々にしてある理由は、過学習を防ぐためであると論文では説明されている。

• モンテカルロ法を使った木の探索の事。
• 決定過程に対する、ヒューリスティクス（＝途中で不要な探索をやめ、ある程度の高確率で良い手を導ける）な探索アルゴリズムである。
• コンピュータ囲碁ソフトでは現在もっとも有効とされている探索法

他のボードゲームではminmax探索やその派生形のαβ探索を使うことが多い
↓
盤面の価値や勝率予想値が必要
↓
囲碁では盤面の価値や勝率予想値を出すのが困難

盤面評価値に頼らず末端評価値（=勝敗）のみを使って探索を行うことができないか？
↓
囲碁の場合、他のボードゲームと違い最大手数はマスの数でほぼ限定されるため、末端局面に到達しやすい。

1. 現局面から末端局面までランダムシミュレーション（PlayOutと呼ぶ）を多数回行い、その勝敗を集計して着手の優劣を決定する。
2. 該当手のシミュレーション回数が一定回数を超えたら、その着手したあとの局面をシミュレーション開始局面とするよう、探索木を成長させる。

• １．選択

　ｃ：勝敗期待値と着手予想確率のバランスを決めるパラメータ

　基本：第1項の勝敗期待値が高いものが選択
　補正：第2項がバイアス項となり選択数が少ないものが選ばれやすくなる。このときの着手予想確率はAlphaGoではPolicyNetの出力が用いられた。

• ２．評価
  ValueNetでの評価を行う
  その局面を開始局面として方策RollOut対局シミュレーションを行う
  　　　　　　↓
  両方の評価を合議したものをその着手の評価
• ３．バックアップ
  「選択」ステップでの評価を親ノードに遡って更新する。
• ４．成長
  　一定回数選択されたリーフノードの合法手を展開し、新たなリーフノードとする。

• 探索木の成長を行う。
• この木の成長を行うことによって、一定条件下において探索結果は最善手を返すということが理論的に証明されている。