ソフトマックス探索

強化学習におけるソフトマックス探索（Softmax Exploration）は、方策探索の手法の一つであり、探索（exploration）と活用（exploitation）のトレードオフをバランス良く実現する方法です。これは特に逐次的な行動選択において、確率的に行動を選択するための方法として使われます。

---

1. 背景：探索と活用のトレードオフ

強化学習においてエージェントは、

• **既に報酬が高いとわかっている行動（活用）**を取るか、

• **未知の行動を試してより良い結果を得る可能性を探る（探索）**か

の選択を繰り返します。

ε-greedy法では、εの確率でランダムに行動を選び、それ以外は最良の行動を選ぶ方式でしたが、この方法はランダムな探索が非効率的になる可能性があります。
ソフトマックス探索は、より洗練された確率分布に基づいて行動を選択する方法です。

---

2. ソフトマックス探索の概要

ソフトマックス探索では、各行動の価値（Q値など）に基づいて確率分布を構築し、それに従って行動を確率的に選びます。具体的には、**ボルツマン分布（Boltzmann distribution）**と呼ばれる関数を使います。

行動 $a$ の選択確率

$$P(a) = \frac{\exp(Q(a)/\tau)}{\sum_{b} \exp(Q(b)/\tau)}$$

• $Q(a)$：行動 $a$ の推定価値（Q値）

• $\tau$（タウ）：温度パラメータ（temperature parameter）。探索度合いを制御するパラメータ

• $\exp$：指数関数

---

3. 温度パラメータ $\tau$ の意味と影響

• 高温（$\tau$ が大きい）：

  • 各行動の選択確率がほぼ均等になる

  • → より探索重視の行動選択になる

• 低温（$\tau$ が小さい）：

  • 価値の高い行動が選ばれやすくなる

  • → より活用重視になる

• **極端に低温（$\tau \to 0$）**になると、ほぼ最良の行動しか選ばれなくなる（greedyに近づく）

---

4. 特徴と利点

• 価値の高い行動ほど高確率で選ばれるが、他の行動も一定確率で選ばれる

• 行動選択になめらかな確率分布を導入できるため、探索と活用のバランスが取りやすい

• ε-greedyに比べて、より精密に行動選択の確率を調整できる

---

5. 実用上の注意点

• 温度パラメータの調整が重要（定数で固定する方法もあれば、徐々に減衰させる方法もある）

• 高次元や行動空間が広い問題では、確率計算のコストが問題になる場合がある

---

6. ε-greedy法との比較

---

まとめ

ソフトマックス探索は、各行動の価値に基づいて確率的に行動を選択する方策探索手法であり、探索・活用のトレードオフを滑らかに調整できる優れた方法です。特に、価値の差を反映したい場合や、探索の度合いを制御したい場合に適しています。

必要に応じて、**温度パラメータを時間経過とともに調整（アニーリング）**することで、学習の初期には探索を重視し、後半には活用を重視するような調整も可能です。