決定木とランダムフォレスト

**決定木（Decision Tree）とランダムフォレスト（Random Forest）は、機械学習の教師あり学習（Supervised Learning）における分類（Classification）**の代表的なアルゴリズムです。以下にそれぞれについて詳しく説明します。

---

1. 決定木（Decision Tree）

概要

決定木は、データを条件に基づいて木構造で分岐させていき、最終的に分類や予測を行うアルゴリズムです。人間が直感的に理解しやすいルールベースのモデルで、可視化もしやすいという利点があります。

構造

• 内部ノード（Internal Node）：特徴量に対する条件（例: “x₁ > 5″）を表す

• 分岐（Branch）：条件に従ってデータが流れる道筋

• 葉ノード（Leaf Node）：分類結果やラベルを出力する最終ノード

分割の基準

データをどう分割するかを決定するために、以下のような不純度指標を使用します：

• ジニ不純度（Gini Impurity）

• エントロピー（Entropy）／情報利得（Information Gain）

• 分類誤差（Misclassification Error）

長所

• 解釈性が高い（ホワイトボックスモデル）

• 前処理が少なくて済む（スケーリングや正規化が不要）

短所

• **過学習（Overfitting）**しやすい

• 小さなデータ変化で構造が大きく変わることがある（不安定）

---

2. ランダムフォレスト（Random Forest）

概要

ランダムフォレストは、複数の決定木を組み合わせたアンサンブル学習法です。単一の決定木が持つ不安定さや過学習の弱点を補うために考案されました。

仕組み

• ブートストラップサンプリング（Bootstrap Sampling）：元の訓練データからランダムに重複を許してサンプルを作成

• ランダムな特徴選択（Feature Subsampling）：各決定木は特徴量の一部のみを用いて学習

• 各決定木が独立に分類を行い、**多数決（Voting）**で最終的なクラスを決定

特徴

• 個々の木は高バイアス・低分散

• 森全体としては低バイアス・低分散

長所

• 過学習に強い（バギングによって分散が抑えられる）

• 高い予測精度を実現

• 特徴量の重要度を算出できる（変数の寄与度評価が可能）

短所

• モデルが複雑でブラックボックスになりやすい

• 推論速度が遅くなる場合がある（大量の木を使用するため）

---

3. 決定木とランダムフォレストの比較

---

4. 実用例

• 医療診断（例：がんの有無判定）

• 顧客の離反予測

• スパムメール分類

• クレジットカード不正検知

---

まとめ

• 決定木はシンプルで直感的な分類器だが、過学習しやすいという欠点がある。

• ランダムフォレストは、複数の決定木を組み合わせることで、精度を高めつつ過学習を防ぐ強力な分類器である。

どちらも分類タスクにおいて非常に有用なモデルであり、実際の現場でも広く使われています。必要に応じて使い分けることが重要です。