方策改善（Policy Improvement）

強化学習における**動的計画法（Dynamic Programming）の枠組みにおいて、「方策改善（Policy Improvement）」は、現在の方策（policy）**を基に、より良い方策を得るためのプロセスを指します。これは、「方策評価（Policy Evaluation）」と密接に関係しており、両者を交互に繰り返すことで最適な方策を見つける「方策反復（Policy Iteration）」の一部を構成します。

---

1. 方策改善の基本的な考え方

方策改善は次のようなアイデアに基づいています：

現在の方策 π に従って状態の価値（V^π）を評価した後、もし他の行動 a がより高い期待報酬を与えるならば、方策をその行動に変更することで改善できる。

---

2. 改善のための数理的条件（逐点方策改善）

状態 $s$ における現在の価値関数 $V^\pi(s)$ を用いて、別の行動 $a$ を試す際の価値（行動価値関数） $Q^\pi(s, a)$ は次のように定義されます：

$$Q^\pi(s, a) = \sum_{s’} P(s’|s,a)\left[ R(s,a,s’) + \gamma V^\pi(s’) \right]$$

ここで：

• $P(s’|s,a)$：状態遷移確率

• $R(s,a,s’)$：即時報酬

• $\gamma$：割引率

• $V^\pi(s’)$：次状態の価値

このとき、現在の方策 $\pi$ を以下のように改善できます：

$$\pi'(s) = \arg\max_a Q^\pi(s, a)$$

これは、「現在の状態において最も高い行動価値を持つ行動を選ぶように方策を変更する」ことを意味します。

---

3. 方策改善定理（Policy Improvement Theorem）

方策改善定理は、改善が価値関数を単調に向上させることを保証します。

もし全ての状態 $s$ において、改善された方策 $\pi’$ が次を満たすなら：

$$Q^\pi(s, \pi'(s)) \geq V^\pi(s)$$

すると、$\pi’$ は $\pi$ よりも優れているか、同等である。すなわち：

$$V^{\pi’}(s) \geq V^\pi(s)$$

---

4. 方策改善の手続き

1. 方策評価：現在の方策 π に対して $V^\pi$ を求める。

2. 方策改善：各状態 $s$ において、$Q^\pi(s, a)$ を計算し、最良の行動を選ぶことで新しい方策 $\pi’$ を構築する。

3. 収束判定：$\pi’ = \pi$ なら最適方策に到達。そうでなければ、$\pi := \pi’$ として繰り返す。

---

5. 方策改善の重要性

• 収束保証：方策改善は価値を単調に改善するため、最適方策に有限回で到達可能です（有限状態空間において）。

• 計算効率：方策反復は、価値反復よりも速く収束する場合があります。

---

まとめ

• 方策改善は、現在の価値関数を用いて「行動をより良く選び直す」操作です。

• 行動価値関数 $Q^\pi(s, a)$ に基づき、最善の行動を選択することで方策を改善します。

• 方策評価と組み合わせることで、最適方策を効率的に導くことができます。