過学習とバイアス・バリアンストレードオフ

機械学習における「過学習（オーバーフィッティング）」と「バイアス・バリアンストレードオフ」は、モデルの性能と汎化能力（未知データへの適応力）を理解するうえで極めて重要な概念です。以下に詳しく説明します。

---

1. 過学習（Overfitting）とは

過学習とは、モデルが訓練データに過度に適合してしまい、汎化性能（テストデータに対する性能）が低下する状態のことです。

特徴:

• モデルが訓練データのノイズや外れ値まで学習してしまう。

• 訓練誤差は小さいが、テスト誤差が大きくなる。

• **複雑なモデル（深いニューラルネット、過度な次数の多項式回帰など）**で発生しやすい。

---

2. バイアス（Bias）とバリアンス（Variance）

バイアス（Bias）:

• モデルの予測と正解との乖離の平均的なずれ。

• モデルが単純すぎる（例: 線形モデルで非線形なデータを扱う）とバイアスが大きくなる。

• 高バイアスモデルは「アンダーフィット（過小適合）」を引き起こす。

バリアンス（Variance）:

• 異なる訓練データに対してモデルが出す予測のばらつき。

• モデルが複雑すぎると小さなデータの違いに敏感になり、バリアンスが大きくなる。

• 高バリアンスモデルは「過学習」を引き起こす。

---

3. バイアス・バリアンスのトレードオフ

定義:

• バイアスとバリアンスはトレードオフの関係にある。すなわち、バイアスを減らそうとするとバリアンスが増えやすく、逆もまた然り。

• 最終的に目指すのは、バイアスとバリアンスのバランスが取れたモデルです。

具体例（図的なイメージ）:

• バイアス高・バリアンス低: 常に同じ予測をしてしまう（的の中心から外れた場所に予測が集中）。

• バイアス低・バリアンス高: 当たることもあるが予測がばらばら（的の中心付近に分散して予測が点在）。

• 適切なバランス: 的の中心に近く、ばらつきも少ない。

---

4. 過学習との関係

• 過学習 = バリアンスが高すぎる状態。

• アンダーフィット = バイアスが高すぎる状態。

• モデル選択時には、過学習とアンダーフィットの両方を避ける必要がある。

---

5. 対策

過学習防止の方法:

• 正則化（L1, L2）

• 交差検証（Cross Validation）

• 早期終了（Early Stopping）

• ドロップアウト（Dropout, ニューラルネットの場合）

• モデルの単純化

• データの増加（データ拡張やサンプリング）

---

まとめ