TD(0)法

TD(0)法（Temporal-Difference Learning 0）は、強化学習におけるモデルフリー方策評価手法の一つです。これは、価値関数の更新に実際の経験を用いながら、将来の報酬の推定に現在の推定値を利用する方法であり、動的計画法とモンテカルロ法の中間的なアプローチとして位置付けられます。

---

1. 基本概念

TD(0)法は、時刻$t$での状態$s_t$の価値$V(s_t)$を、次の一歩で得られる報酬$r_{t+1}$と次の状態$s_{t+1}$の現在の推定値$V(s_{t+1})$を使って逐次的に更新します。

---

2. TD(0)の更新式

以下がTD(0)法における価値関数の更新式です：

$$V(s_t) \leftarrow V(s_t) + \alpha \left[ r_{t+1} + \gamma V(s_{t+1}) – V(s_t) \right]$$

ここで、

• $V(s_t)$：時刻$t$の状態$s_t$の価値関数

• $\alpha$：学習率（0 < $\alpha$ ≤ 1）

• $r_{t+1}$：時刻$t+1$で得られた報酬

• $\gamma$：割引率（0 ≤ $\gamma$ < 1）

• $V(s_{t+1})$：次の状態$s_{t+1}$の価値関数（ブートストラップ）

この更新では、**TD誤差（TD error）**と呼ばれる以下の値を利用します：

$$\delta_t = r_{t+1} + \gamma V(s_{t+1}) – V(s_t)$$

---

3. TD(0)法の特徴

---

4. TD(0)と他手法の比較

---

5. TD(0)法の利点と欠点

利点

• モデルが不要で、実環境から直接学べる

• 状態がエピソードの途中であっても更新できる

• 計算コストが比較的低い

欠点

• 更新のばらつき（高分散）が大きくなる場合がある

• 長期的な報酬の影響を正確に捉えるには工夫が必要（後述のTD($\lambda$)など）

---

6. 応用例

TD(0)法は、方策評価（Policy Evaluation）に特化して使われ、例えばSARSAやQ学習などの制御（Control）アルゴリズムの基盤にもなっています。

---

まとめ

• TD(0)法は、報酬と現在の価値関数の推定を組み合わせて状態の価値を更新する手法。

• モデル不要で逐次更新でき、実環境との対話による学習に適している。

• モンテカルロ法よりも効率的だが、分散は大きくなりやすい。