確率の定義と公理

機械学習や強化学習では、確率は「不確実性の定量的な表現」として不可欠な概念です。ここでは、その基礎となる「確率の定義と公理」について詳しく説明します。

---

確率の定義

確率（Probability）とは、ある事象（出来事）が起こる可能性の程度を数値で表したものです。
典型的には、値は 0 から 1 の間で表現され、以下のように解釈されます：

• 0：決して起こらない

• 1：必ず起こる

• 0.5：起こる可能性と起こらない可能性が等しい

---

確率の公理（コルモゴロフの公理）

確率論の数学的基盤は、1933年にアンドレイ・コルモゴロフによって形式化されました。
確率空間を用いたこの形式では、次の3つの確率公理が定められています。

公理1：非負性（Non-negativity）

任意の事象 $A$ に対して、その確率は 0 以上の実数である。

$$P(A) \geq 0$$

公理2：全体事象の確率は1（Normalization）

標本空間 $\Omega$ における全体事象の確率は 1 である。

$$P(\Omega) = 1$$

公理3：加法性（Additivity）

互いに両立しない（＝同時には起こらない）互いに排反な事象 $A_1, A_2, \dots$ に対して、以下が成り立つ：

$$P\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} P(A_i)$$

特に有限個の排反な事象 $A, B$ については、

$$A \cap B = \emptyset \quad \Rightarrow \quad P(A \cup B) = P(A) + P(B)$$

---

確率空間の構成要素

確率論では、以下のように「確率空間」を定義します：

• 標本空間（Sample Space）$\Omega$：すべての可能な結果の集合

• 事象（Event）$A \subseteq \Omega$：興味のある結果の集合

• 確率測度（Probability Measure）$P$：事象 $A$ に対して確率 $P(A)$ を割り当てる関数

この三つ $(\Omega, \mathcal{F}, P)$ により、数学的に一貫性のある確率理論が成立します。
※ $\mathcal{F}$ は「事象の集合（σ-加法族）」で、数学的な詳細は省略しますが、計算や理論展開の際に重要です。

---

機械学習・強化学習への応用例

• 機械学習では、モデルの予測はしばしば確率で出力されます（例：ロジスティック回帰、ベイズ分類器など）。

• 強化学習では、状態から行動を選ぶ**方策（policy）**が確率的に定義されることが一般的です（例：確率的方策勾配法など）。

したがって、確率の厳密な理解と運用は、アルゴリズム設計や理論的解析において極めて重要です。