ベイズ推定

「ベイズ推定（Bayesian Estimation）」は、観測データと事前知識（事前分布）を統合して、あるパラメータの確率的な推定を行う手法です。これはベイズの定理を基礎としており、頻度主義（頻度論）とは異なり、パラメータ自体を確率変数として扱います。

---

1. ベイズの定理のおさらい

ベイズ推定は、以下のベイズの定理に基づいています：

$$P(\theta | D) = \frac{P(D | \theta) \cdot P(\theta)}{P(D)}$$

ここで：

---

2. ベイズ推定の流れ

ベイズ推定では、以下のステップで推定が行われます：

Step 1: 事前分布 $P(\theta)$ の設定

• 経験やドメイン知識などを基に、パラメータ $\theta$ に対する事前の信念を表現。

• 例：コインの表が出る確率 $\theta \sim \text{Beta}(2,2)$

Step 2: 尤度関数 $P(D | \theta)$ の構築

• 実際に得られたデータ $D$ を基に、各 $\theta$ がデータをどれだけうまく説明できるかを表現。

• 例：コインを10回投げて7回表 → 二項分布の尤度関数を使用。

Step 3: 事後分布 $P(\theta | D)$ の計算

• ベイズの定理を使って、観測データを反映した $\theta$ の新しい分布を得る。

• この事後分布がベイズ推定におけるパラメータの推定結果。

---

3. 事後分布の活用方法

1. 点推定（代表値の抽出）

• 事後分布の平均（事後平均）：最も一般的な点推定法

• 最頻値（MAP推定）：事後分布の最大値（最大事後確率推定）

2. 信頼区間の代わりに「信用区間」

• 事後分布のある範囲における確率（例えば「95%の信用区間」）を用いる。

---

4. 頻度論との違い

---

5. ベイズ推定の利点と注意点

利点

• 事前知識の利用が可能（小サンプルでも有効）

• 結果が確率分布として解釈可能

• 不確実性の定量化が自然にできる

注意点

• 事前分布の設定に主観性が入りうる

• 計算が複雑になる場合があり、特に多次元パラメータではMCMCなどが必要

---

6. 機械学習・強化学習における応用例

• ベイズ線形回帰・ベイズロジスティック回帰

• ナイーブベイズ分類器

• ベイズ最適化（ハイパーパラメータ調整など）

• 強化学習でのベイズ的探索（例：Thompson Sampling）

---

まとめ

ベイズ推定は、観測データと事前知識を統合してパラメータを推定する強力な手法です。機械学習・強化学習においても、不確実性の扱いや探索的意思決定において重要な役割を果たしています。