強化学習における方策勾配法やQ学習の理論背景

強化学習（Reinforcement Learning, RL）において、方策勾配法（Policy Gradient Method）やQ学習（Q-Learning）は、エージェントが環境と相互作用しながら最適な行動方策（policy）を学習するための代表的なアルゴリズム群です。これらの手法は、最適化理論の枠組みの中で理解され、特に勾配法や動的計画法に強く関連しています。

---

1. 強化学習の基礎枠組み

強化学習は通常、**マルコフ決定過程（Markov Decision Process, MDP）**として定式化されます。

• 状態空間：𝑆

• 行動空間：𝐴

• 遷移確率：𝑃(s’|s, a)

• 報酬関数：𝑟(s, a)

• 割引率：𝛾 ∈ [0, 1)

エージェントの目的は、**累積報酬（return）**を最大化するような方策π(a|s)を学習することです。

---

2. Q学習（Q-Learning）の理論背景

Q関数と最適Q関数

Q関数は、ある状態sで行動aをとったときに得られる将来の報酬の期待値を表します。

$$Q^\pi(s, a) = \mathbb{E}_\pi\left[\sum_{t=0}^{\infty} \gamma^t r_t \,\Big|\, s_0 = s, a_0 = a\right]$$

最適方策π*に対応するQ関数は次の**ベルマン最適方程式（Bellman Optimality Equation）**を満たします：

$$Q^*(s,a) = \mathbb{E}\left[ r(s,a) + \gamma \max_{a’} Q^*(s’,a’) \right]$$

Q学習の更新式

Q学習では、以下のようにQ関数を逐次的に更新します：

$$Q(s_t, a_t) \leftarrow Q(s_t, a_t) + \alpha \left[ r_t + \gamma \max_{a’} Q(s_{t+1}, a’) – Q(s_t, a_t) \right]$$

ここでαは学習率です。

特徴

• オフポリシー学習：行動方策と評価する方策が異なる（例：ε-greedyで探索）

• モデルフリー：環境の遷移確率P(s’|s, a)を知らなくてもよい

• 値関数ベース：方策πを明示的に持たない（最適方策はQ値から導出）

---

3. 方策勾配法（Policy Gradient Method）の理論背景

方策の直接最適化

方策勾配法は、パラメトリックな方策関数 π_θ(a|s) を定義し、パラメータθを期待報酬を最大化する方向に最適化します。

目的関数：

$$J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{T} r(s_t, a_t) \right]$$

方策勾配定理（Policy Gradient Theorem）

この目的関数の勾配は次のように与えられます：

$$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \nabla_\theta \log \pi_\theta(a|s) \cdot Q^{\pi_\theta}(s,a) \right]$$

この式により、モンテカルロサンプリングに基づく勾配推定が可能になります。

学習アルゴリズム

• REINFORCE法（モンテカルロ推定による単純な方策勾配）

• Actor-Critic法（Q関数またはV関数を別のネットワークで推定して分散を低減）

特徴

• オンポリシー学習：行動と評価が同じ方策に基づく

• 方策を直接学習：連続行動空間に自然に対応可能

• 勾配最適化に基づく：最適化理論と密接な関係がある（例：確率的勾配降下法）

---

4. 最適化理論との関係

---

まとめ

• Q学習は、値関数に基づき最適行動価値関数Q*を近似することで最適方策を導出するアルゴリズムで、動的計画法と再帰的最適化の枠組みを持ちます。

• 方策勾配法は、パラメトリックな方策を直接最適化する方法であり、勾配法を用いた最適化理論に基づいています。

• 両者はアプローチが異なるものの、いずれも強化学習の最適化問題を数理的に解決する手法として重要です。