割引報酬と累積報酬（Return）

強化学習における**マルコフ決定過程（Markov Decision Process, MDP）**において、「割引報酬」と「累積報酬（Return）」は、エージェントが将来得られる報酬の総和をどのように評価するかを定義する重要な概念です。以下に、それぞれの用語について詳しく説明します。

---

1. 累積報酬（Return）

累積報酬（Return）とは、ある状態から行動を開始して以降に得られる総報酬のことです。これは、エージェントが最終的にどれだけの「得」をするかを測る指標です。

累積報酬の定義（割引なし）:

エージェントが時刻 $t$ から得る報酬の合計を以下のように表します：

$$G_t = R_{t+1} + R_{t+2} + R_{t+3} + \cdots = \sum_{k=0}^{\infty} R_{t+k+1}$$

これは無限ホライズン（終了のない問題）やエピソードが有限で終了する問題のどちらにも適用できます。

---

2. 割引報酬（Discounted Return）

実際の強化学習では、将来の報酬を現在の価値よりも低く評価することが一般的です。これは、遠い将来の報酬には不確実性がある、あるいは「すぐの利益が重要」といった現実的な理由に基づきます。そこで導入されるのが割引因子（Discount Factor） $\gamma$ です。

割引報酬の定義:

$$G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \cdots = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$$

• $\gamma \in [0,1]$ は割引率。

  • $\gamma = 0$: 今の報酬のみ重視（将来の報酬は無視）。

  • $\gamma = 1$: 将来の報酬も等しく重視（割引なし）。

  • $0 < \gamma < 1$: 将来の報酬ほど価値が低くなる。

---

3. 割引報酬の意味と役割

実用上の利点

• 数学的収束性：無限ホライズンの問題でも割引率を使うことで、累積報酬の和が有限に収束する。

• 短期 vs 長期のバランス調整：$\gamma$ によってエージェントがどれだけ先を見越して行動すべきかを制御できる。

---

4. 累積報酬・割引報酬の関係

• 累積報酬は一般に「割引なしの報酬」であり、理論的にはわかりやすいですが、実用上は割引報酬が使われることが多いです。

• 状態価値関数や行動価値関数（例：$V^\pi(s), Q^\pi(s,a)$）も、通常は割引報酬を基に定義されます。

---

まとめ