方策の逐次改善

強化学習における**「方策の逐次改善（Policy Iterative Improvement）」とは、現在の方策を少しずつ改善していくことで、最適方策に近づける手法です。これはモデルフリー強化学習**において重要な考え方の一つであり、逐次的な学習（反復）によってより良い行動選択を学習するという枠組みで利用されます。

---

基本概念

「方策の逐次改善」は、次の2つのステップを交互に繰り返すことで実現されます：

1. 方策評価（Policy Evaluation）
   現在の方策がどれだけ良いか（＝価値関数）を求める。

2. 方策改善（Policy Improvement）
   評価した価値関数に基づき、より良い方策を見つけて方策を更新する。

このループを何度も繰り返すことで、最終的に**最適方策（optimal policy）**に収束します。

---

モデルフリー強化学習における適用

モデルフリー強化学習では、環境の遷移確率や報酬関数が事前に与えられていないため、上記の評価と改善はサンプル（経験）に基づいて行われます。

代表的な方法

1. モンテカルロ法（Monte Carlo）

• エピソードを実行し終えた後に、各状態の価値を更新。

• 方策は初訪問法や毎訪問法で得た価値関数を使って改善される。

• 改善は、ε-greedy（確率的に最良の行動を選ぶ）方策を用いて行われる。

2. 時間差分学習（Temporal Difference, TD）

• エピソードの完了を待たずに逐次的に価値を更新。

• TD(0)やSARSA、Q学習（Q-learning）などが該当。

• 改善ステップでは、現在の価値に基づいて方策をgreedyに更新する。

---

数式的理解（例：Q学習）

Q学習は、行動価値関数 $Q(s,a)$ を用いて方策の逐次改善を行います：

更新式

$$Q(s_t, a_t) \leftarrow Q(s_t, a_t) + \alpha \left[ r_{t+1} + \gamma \max_{a’} Q(s_{t+1}, a’) – Q(s_t, a_t) \right]$$

ここで：

• $\alpha$：学習率

• $\gamma$：割引率

• $r_{t+1}$：得られた報酬

• $\max_{a’} Q(s_{t+1}, a’)$：次状態における最善の行動価値

この更新により、方策は**「より良いQ値を持つ行動」へと逐次的に改善**されます。

---

方策の逐次改善の意義

• 漸進的学習：環境に関する完全な情報がなくても、経験に基づいて最適方策に近づける。

• 柔軟性：方策を直接更新する方式（SARSA）と、価値に基づいて更新する方式（Q学習）の両方に応用可能。

• 収束性：適切な条件の下で、最適方策に確率的に収束することが理論的に保証されている。

---

まとめ