最大尤度推定（MLE）

最大尤度推定（Maximum Likelihood Estimation, MLE）は、確率モデルにおけるパラメータ推定法の一つであり、与えられた観測データが最も起こりやすくなるようなパラメータを選ぶ方法です。機械学習や強化学習を含む多くの分野で広く利用されており、統計的推論の基本的な手法の一つです。

---

1. 基本概念

観測データ $D = \{x_1, x_2, …, x_n\}$ が確率分布 $p(x|\theta)$ に従うと仮定したとき、パラメータ $\theta$ を推定する目的があります。ここで、尤度関数（likelihood function）は次のように定義されます。

尤度関数

$$L(\theta; D) = p(D|\theta) = \prod_{i=1}^n p(x_i|\theta)$$

ここで、$p(x_i|\theta)$ は各データ点 $x_i$ がパラメータ $\theta$ のもとで観測される確率です。

---

2. 最大尤度推定の定義

最大尤度推定は、尤度関数を最大にするパラメータ $\theta$ を選ぶ方法です。

$$\hat{\theta}_{\text{MLE}} = \arg\max_{\theta} L(\theta; D)$$

実際には計算を容易にするため、対数を取って**対数尤度関数（log-likelihood）**を最大化します。

$$\ell(\theta; D) = \log L(\theta; D) = \sum_{i=1}^n \log p(x_i|\theta)$$

したがって、MLEは次のようにも表現されます：

$$\hat{\theta}_{\text{MLE}} = \arg\max_{\theta} \ell(\theta; D)$$

---

3. 例：正規分布のパラメータ推定

データが正規分布 $\mathcal{N}(\mu, \sigma^2)$ に従うと仮定します。MLEを使って、平均 $\mu$ と分散 $\sigma^2$ を推定する場合：

観測データ： $D = \{x_1, x_2, …, x_n\}$

正規分布の密度関数：

$$p(x|\mu, \sigma^2) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left( -\frac{(x – \mu)^2}{2\sigma^2} \right)$$

対数尤度関数：

$$\ell(\mu, \sigma^2) = \sum_{i=1}^n \left[ -\frac{1}{2}\log(2\pi \sigma^2) – \frac{(x_i – \mu)^2}{2\sigma^2} \right]$$

この式を $\mu$ と $\sigma^2$ で偏微分して最大値を求めると、以下の結果が得られます：

• 平均の推定値：

  $$\hat{\mu} = \frac{1}{n} \sum_{i=1}^n x_i$$

• 分散の推定値：

  $$\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (x_i – \hat{\mu})^2$$

これは標本平均と標本分散に一致しており、非常に直感的な結果です。

---

4. MLEの性質

長所

• 大数の法則により、サンプルサイズが大きくなると真のパラメータに収束する（一致性）。

• モデルの仮定が正しければ、最も効率のよい推定量（最小分散）となる。

短所

• 小さいサンプルではバイアスが生じる可能性がある。

• 解析的に解が求まらない場合、数値最適化が必要。

---

5. 機械学習との関係

機械学習の多くのモデル（ロジスティック回帰、ナイーブベイズ、隠れマルコフモデルなど）では、学習において最大尤度推定が基礎となっています。

また、ニューラルネットワークの学習も、クロスエントロピー損失関数の最小化が事実上の最大尤度推定（分類タスクにおいて）になっています。

---

まとめ

最大尤度推定（MLE）は、観測データが最も起こりやすくなるパラメータを選ぶ推定方法であり、機械学習・統計モデリングの基礎的かつ重要な手法です。モデルの仮定とデータに対する理解が深まると、MLEの使いどころと限界がより明確になります。