ε-greedy法

強化学習における「ε-greedy（イプシロン・グリーディー）法」は、方策探索（exploration）と活用（exploitation）のトレードオフを解決するための、最も基本的かつ広く使われている手法の一つです。

---

ε-greedy法とは何か

ε-greedy法とは、一定の確率 ε（0 ≤ ε ≤ 1）で探索を行い、それ以外の確率（1 − ε）で既知の最良の行動（最大の推定価値を持つ行動）を選択する戦略です。

この方法は次のように定義されます：

• 確率 ε の場合 → ランダムに行動（探索）

• 確率 1−ε の場合 → 現在の価値関数に基づいて最良の行動を選択（活用）

---

背景：探索と活用のトレードオフとは

強化学習においてエージェントは、

• 「既に知っている良い行動（活用）」

• 「未知の行動を試すこと（探索）」

のどちらを選ぶべきかというジレンマに常に直面しています。

例えば、ある行動が今のところ良い報酬を与えているように見えても、他にもっと良い行動があるかもしれないという可能性を考慮する必要があります。探索を怠ると局所最適に陥る恐れがあります。

---

ε-greedy法のアルゴリズム概要

1. ある状態 $s$ において、乱数 $r \in [0, 1]$ を生成

2. $r < \varepsilon$ のとき → ランダムに行動 $a$ を選択（探索）

3. $r \geq \varepsilon$ のとき → $Q(s, a)$ が最大となる行動を選択（活用）

---

εの設定について

• 固定 ε：

  • 例：常に ε = 0.1 など

  • 簡単だが、学習が進んでも探索を続けるため、収束が遅くなる可能性がある

• ε減衰（ε-decay）：

  • ε を徐々に減らしていく（例：ε = 1 / 時間ステップ）

  • 学習初期に多く探索し、徐々に活用に移行するため効率的

---

ε-greedy法の利点と欠点

---

応用と関連

ε-greedy法は、Q学習やSARSAなど、モデルフリーの強化学習アルゴリズムと組み合わせて頻繁に用いられます。また、より高度な探索手法（例：UCB法、ソフトマックス法など）のベースラインとしても使用されます。

---

まとめ

ε-greedy法は、強化学習において**「安全かつ単純に探索を導入する」**ための手段です。特に、学習初期のランダム性と、学習が進んだ後の収束性のバランスを取るために、εを時間に応じて調整することが重要です。強化学習における基本中の基本の手法でありながら、今なお実用性の高いアプローチです。