方策勾配の基礎理論

強化学習における方策勾配法（Policy Gradient Methods）は、エージェントの方策（policy）を直接パラメータ化し、報酬を最大化するようにそのパラメータを勾配法によって最適化するアプローチです。この手法は、特に連続的な行動空間や確率的な方策を必要とする問題において有効です。

以下に、「方策勾配の基礎理論」について体系的に説明します。

---

1. 方策のパラメータ化

強化学習の方策 π は通常、状態 $s$ に対して行動 $a$ を選ぶ確率を定める関数です。方策勾配法では、この方策をパラメータ $\theta$ で表現された確率分布として定義します：

$$\pi_\theta(a|s) = \text{行動} a \text{ を状態 } s \text{ でとる確率}$$

ここで、θ はニューラルネットワークなどの重みベクトルであり、学習対象です。

---

2. 目的関数（性能指標）

目的は、方策のパラメータ $\theta$ を調整して、期待される累積報酬 $J(\theta)$ を最大化することです。これは次のように定義されます：

$$J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{T} r_t \right]$$

ここで、$\tau$ はエピソード（状態・行動・報酬の列）を指し、報酬 $r_t$ は時刻 $t$ における即時報酬です。

---

3. 方策勾配定理（Policy Gradient Theorem）

この性能指標の勾配（最適化のために必要な情報）は、以下の「方策勾配定理」に基づいて求められます：

$$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \nabla_\theta \log \pi_\theta(a|s) \cdot Q^{\pi_\theta}(s, a) \right]$$

• $\log \pi_\theta(a|s)$：確率方策の対数微分

• $Q^{\pi_\theta}(s, a)$：状態 $s$、行動 $a$ における累積報酬の期待値（行動価値関数）

この式は、方策のパラメータに対する勾配を、エピソードからサンプルした状態・行動・報酬の系列を使って推定可能にします。

---

4. 勾配推定とサンプルベースの学習

実際の学習では、モンテカルロ法を用いてサンプルベースで勾配を推定します。一般的な推定式は次の通りです：

$$\nabla_\theta J(\theta) \approx \frac{1}{N} \sum_{i=1}^{N} \sum_{t=0}^{T} \nabla_\theta \log \pi_\theta(a_t^i|s_t^i) \cdot R_t^i$$

ここで、

• $R_t^i$ はエピソード $i$ における時刻 $t$ 以降の報酬の総和（リターン）

• $N$ はサンプル数（エピソード数）

---

5. ベースライン（Baseline）による分散削減

上記の勾配推定は分散が大きいため、ベースライン関数 $b(s)$ を用いて分散を削減する工夫がなされます：

$$\nabla_\theta J(\theta) \approx \mathbb{E}_{\pi_\theta} \left[ \nabla_\theta \log \pi_\theta(a|s) \cdot \left( Q^{\pi_\theta}(s, a) – b(s) \right) \right]$$

通常、$b(s) = V^{\pi}(s)$（状態価値関数）を使うことで、Advantage Function に基づく手法（例：A2CやPPOなど）が実装されます。

---

6. 方策勾配法の特徴と利点

• 直接的に方策を最適化するため、確率的な意思決定が容易

• 連続行動空間への適用が自然

• モデルフリー（環境の遷移確率を必要としない）

---

7. 代表的なアルゴリズム

• REINFORCE（Monte Carlo Policy Gradient）
  → モンテカルロ推定に基づく単純な方策勾配法

• Actor-Critic
  → 方策（Actor）と価値関数（Critic）を同時に学習

• PPO（Proximal Policy Optimization）
  → 方策の更新幅を制限して安定性を向上

• TRPO（Trust Region Policy Optimization）
  → KL距離によって方策更新を安定化

---

以上が「方策勾配の基礎理論」に関する詳細な解説です。