確率分布（ベルヌーイ、二項、正規分布など）

機械学習・強化学習において「確率分布」は非常に重要な概念であり、データの性質を理解したり、モデルの仮定を設計したりする際に広く利用されます。ここでは代表的な離散分布（ベルヌーイ分布・二項分布）および連続分布（正規分布）について詳しく説明します。

---

1. 確率分布とは

確率分布とは、ある確率変数が取り得る値と、それに対応する確率との関係を定量的に表現したものです。

• 離散確率分布：取り得る値が有限または可算個（例：サイコロ、コイン投げ）

• 連続確率分布：取り得る値が連続的（例：身長、温度）

---

2. 離散分布

2.1 ベルヌーイ分布（Bernoulli distribution）

概要:

ベルヌーイ分布は、**成功（1）または失敗（0）**のように、2つの値のいずれかを取る確率変数に対する分布です。

定義:

確率変数 $X \in \{0, 1\}$ が、確率 $p$ で 1（成功）、確率 $1 – p$ で 0（失敗）を取るとき、

$$P(X = x) = p^x (1 – p)^{1 – x} \quad \text{（ただし } x \in \{0,1\} \text{）}$$

例:

コインの表が出る確率が $p = 0.5$ のとき、1回の投げで表（1）が出る確率も裏（0）が出る確率も 0.5。

応用:

• ニューラルネットワークにおける2値分類

• 強化学習における1回の行動の成否のモデル化

---

2.2 二項分布（Binomial distribution）

概要:

ベルヌーイ試行を n回繰り返した結果 を表す分布です。つまり、「n回の独立な成功・失敗試行で、成功がちょうどk回起きる確率」。

定義:

$$P(X = k) = \binom{n}{k} p^k (1 – p)^{n – k} \quad (k = 0, 1, …, n)$$

• $n$：試行回数

• $k$：成功回数

• $p$：1回あたりの成功確率

例:

10回コインを投げて表が出る回数（成功）がちょうど7回である確率。

応用:

• A/Bテストにおける成功回数のモデル化

• ベイズ推論における尤度関数

---

3. 連続分布

3.1 正規分布（Gaussian / Normal distribution）

概要:

正規分布は、自然界や統計において非常によく現れる連続分布です。**平均値周辺にデータが集中して分布し、左右対称な釣鐘型（ベルカーブ）**になります。

定義:

確率密度関数（PDF）は以下の通りです。

$$f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x – \mu)^2}{2\sigma^2}\right)$$

• $\mu$：平均（中心）

• $\sigma^2$：分散（ばらつきの大きさ）

例:

身長や体重、試験の得点など、多くの自然現象や測定データは概ね正規分布に従います。

応用:

• 線形回帰やロジスティック回帰で誤差項が正規分布を仮定される

• ベイズ推論で事前分布・事後分布に使われる

• 強化学習における連続アクション空間のポリシー（例：ガウス方策）

---

4. その他の代表的な分布（参考）

---

5. 機械学習・強化学習における意義

• モデル化：現象を確率的に表現する（例：ノイズ、報酬、観測）

• 推論と学習：尤度関数や損失関数の定式化に確率分布が使われる

• 生成モデル：正規分布などを利用して新しいデータを生成（例：VAE, GAN）

• 強化学習：方策を確率分布として定義し、サンプリングに基づく行動選択を行う