エントロピーとクロスエントロピー

機械学習および強化学習における情報理論の概念は、確率分布の比較や方策の探索において非常に重要です。その中でも特に重要な概念である**エントロピー（entropy）とクロスエントロピー（cross entropy）**について、以下に詳しく説明します。

---

1. エントロピー（Entropy）

定義

エントロピーは、確率分布の不確実性（ランダム性）の尺度です。シャノン（Claude Shannon）が定式化したもので、確率分布 $P$ に対して次のように定義されます：

$$H(P) = – \sum_{x \in \mathcal{X}} P(x) \log P(x)$$

ここで：

• $\mathcal{X}$ は取り得るすべての値（例：行動や状態）、

• $P(x)$ は事象 $x$ の確率です。

意味

• エントロピーが高い → 予測が困難（分布がフラット）

• エントロピーが低い → 予測が容易（特定の値に集中）

強化学習での応用

• エントロピーは**方策の探索性（exploration）**を促す指標として使われます。

• 方策勾配法（例：REINFORCE）では、**エントロピー正則化（entropy regularization）**を報酬に加えて、方策が極端に確定的になるのを防ぎます。

$$\text{Objective} = \mathbb{E}[\text{報酬}] + \beta H(\pi(\cdot|s))$$

---

2. クロスエントロピー（Cross Entropy）

定義

クロスエントロピーは、ある「真の分布」 $P$ を「予測分布」 $Q$ で表現したときの情報量を測る尺度です：

$$H(P, Q) = – \sum_{x \in \mathcal{X}} P(x) \log Q(x)$$

• $P$：真の分布（例：実際に起こる行動の確率）

• $Q$：予測分布（例：ニューラルネットが出力する行動確率）

関係性

• クロスエントロピーは、**エントロピーとKLダイバージェンス（相対エントロピー）**の和として表現されます：

$$H(P, Q) = H(P) + D_{\mathrm{KL}}(P \| Q)$$

したがって、クロスエントロピーが小さいほど、Q は P に近いといえます。

強化学習・機械学習での応用

• 教師あり学習では、分類問題の損失関数としてよく使用されます（ソフトマックス＋クロスエントロピー）。

• 強化学習では、行動のログ確率に基づく損失や、**方策の模倣学習（behavior cloning）**で使われます。

---

まとめ

---

これらの概念は、強化学習における方策の最適化や安定性の向上に不可欠です。特に、エントロピーを報酬関数に組み込むことで、探索と活用のバランスをとるのが代表的な使い方です。