方策（policy）、価値関数（value function）、モデル（model）

強化学習における基本概念である「方策（policy）」、「価値関数（value function）」、「モデル（model）」は、それぞれエージェントの意思決定と学習戦略において中核的な役割を果たします。以下にそれぞれの概念について詳しく説明します。

---

1. 方策（Policy）

定義:
方策とは、「エージェントがある状態においてどの行動を選択するかを決定する戦略」です。

• 確率的方策：状態に対して各行動を選択する確率を与えるもの（例：π(a|s) = 状態sで行動aを選ぶ確率）。

• 決定的方策：状態に対して常に同じ行動を選択する関数（例：π(s) = a）。

役割:
方策はエージェントの「行動のルール」です。強化学習の目的は、この方策を報酬が最大になるように最適化することです。

---

2. 価値関数（Value Function）

定義:
価値関数は、「ある状態（または状態・行動の組）がどれだけ良いか（将来得られる報酬の期待値）」を評価する関数です。

• 状態価値関数 Vπ(s)：方策πに従ったときに、状態sから始めて得られる期待累積報酬。

  $$V^{\pi}(s) = \mathbb{E}_{\pi}\left[\sum_{t=0}^{\infty} \gamma^t r_t \mid s_0 = s\right]$$

• 行動価値関数 Qπ(s, a)：状態sで行動aをとり、その後方策πに従ったときの期待累積報酬。

  $$Q^{\pi}(s, a) = \mathbb{E}_{\pi}\left[\sum_{t=0}^{\infty} \gamma^t r_t \mid s_0 = s, a_0 = a\right]$$

役割:
エージェントが「どの状態や行動が将来的により多くの報酬をもたらすか」を学ぶための基準となる。

---

3. モデル（Model）

定義:
モデルとは、「環境の動作の予測を行う機能」であり、以下の2つの情報を含みます。

1. 状態遷移確率：ある状態sで行動aをとったときに次の状態s′になる確率（P(s′|s, a)）。

2. 報酬関数：ある状態sで行動aをとったときに得られる報酬（R(s, a)）。

分類:

• モデルベース強化学習：環境モデルを明示的に学習または利用して、将来の状態や報酬を予測し、計画（planning）を行う。

• モデルフリー強化学習：モデルを用いず、経験から直接方策や価値関数を学習する。

役割:
モデルは、環境のシミュレーションを通じて方策や価値関数の改善を効率的に行うために利用される。

---

まとめ

これらは強化学習における「学習・行動・評価」の3本柱を構成する重要な概念です。