シャノン情報量

**シャノン情報量（Shannon Information Content）**は、情報理論において基本的な概念であり、「ある事象が起こったときに得られる情報の量（情報の驚きの度合い）」を定量的に表すものです。これはクロード・シャノン（Claude Shannon）によって提唱された概念で、確率論に基づく情報の測度です。

---

1. 定義

シャノン情報量は、ある離散的な事象 $x$ が起こる確率を $P(x)$ としたとき、以下の式で定義されます：

$$I(x) = -\log_b P(x)$$

• $I(x)$：事象 $x$ の情報量（情報コンテンツ）

• $P(x)$：事象 $x$ の確率（$0 < P(x) \leq 1$）

• $\log_b$：底 $b$ の対数（通常は $b = 2$ を用い、単位はビット）

---

2. 意味と直感

• 低確率の事象ほど情報量が大きい：まれにしか起きないことが実際に起こると、それだけ多くの情報をもたらす。

• 高確率の事象ほど情報量が小さい：よく起こることは「予想通り」であり、得られる情報は少ない。

例：

• $P(x) = 1$（絶対に起こる）とき、$I(x) = -\log_2(1) = 0$：情報は得られない。

• $P(x) = \frac{1}{2}$ のとき、$I(x) = 1$：1ビットの情報量。

• $P(x) = \frac{1}{4}$ のとき、$I(x) = 2$：2ビットの情報量。

---

3. エントロピーとの関係

シャノン情報量は、**エントロピー（Shannon Entropy）**の基礎を成します。エントロピーは「ある確率分布に従って得られる情報の平均量」を表すもので、次のように定義されます：

$$H(X) = \mathbb{E}[I(x)] = -\sum_{x \in X} P(x) \log_b P(x)$$

• $X$：離散確率変数

• $H(X)$：変数 $X$ のエントロピー（平均情報量）

---

4. 強化学習との関連

強化学習においてシャノン情報量の概念は以下のように重要です：

• 方策の確率的性質の評価：

  • エージェントがある状態において複数の行動をとる確率分布（方策）を持つとき、その方策の「不確実性」を測るのにエントロピーを用いる。シャノン情報量はこの測度の構成要素となる。

• 探索 vs 活用のバランス：

  • 情報量が大きい行動を選ぶことで、新しい知識を得ることができ、探索が促進される。

• 情報理論に基づく報酬設計：

  • 予測困難な（= 情報量の多い）状態遷移や報酬を高く評価する設計（Intrinsic Motivation）に活用される。

---

5. まとめ