線形回帰と最小二乗法

線形回帰と最小二乗法は、機械学習における教師あり学習（Supervised Learning）の回帰（Regression）問題において、最も基本的かつ理論的に重要な手法の一つです。以下で、それぞれの概念を詳しく解説します。

---

1. 線形回帰とは

概要

線形回帰（Linear Regression）は、入力変数（特徴量）と出力変数（目的変数）の間の線形関係をモデル化する手法です。目的は、与えられたデータに対して最もよく当てはまる**直線（または高次元では超平面）**を求めることです。

モデルの形式（単回帰の例）

1つの説明変数 $x$ に対する線形回帰モデルは次のように表されます：

$$y = w x + b$$

• $y$：予測される出力（目的変数）

• $x$：入力（説明変数）

• $w$：重み（傾き）

• $b$：バイアス（切片）

複数の説明変数（多変量線形回帰）の場合：

$$y = w_1 x_1 + w_2 x_2 + \cdots + w_n x_n + b = \mathbf{w}^\top \mathbf{x} + b$$

---

2. 最小二乗法（Least Squares Method）とは

目的

与えられた訓練データに対して、モデルの予測値と実際の観測値との誤差（二乗誤差）を最小化することを目的とします。これが最小二乗法の考え方です。

損失関数（目的関数）

与えられたデータセット $(x_i, y_i)$（$i = 1, 2, \dots, m$）に対して、損失関数 $J(w, b)$ は次のように定義されます：

$$J(w, b) = \frac{1}{2m} \sum_{i=1}^{m} (y_i – (w x_i + b))^2$$

この損失関数を最小化することで、最適なパラメータ $w, b$ を求めます。

---

3. パラメータの最適化：解析解

最小二乗法の解析的な解法（closed-form solution）は、**正規方程式（Normal Equation）**によって求められます。

特徴量行列 $X$ と目的変数ベクトル $\mathbf{y}$ を用いると、重みベクトル $\mathbf{w}$ は次の式で求められます：

$$\mathbf{w} = (X^\top X)^{-1} X^\top \mathbf{y}$$

ただし、行列 $X^\top X$ が可逆であること（正則）が条件です。

---

4. 幾何学的な解釈

線形回帰は、全データ点をできるだけ近くに通る超平面（または直線）を引くことと同義です。最小二乗法により求めた回帰直線は、**誤差ベクトルが最小の長さ（ユークリッド距離）**となるように設計されます。

---

5. 線形回帰モデルの仮定

線形回帰を適用する際には、以下の前提があることに注意が必要です：

1. 説明変数と目的変数の線形性

2. 誤差項の独立性

3. 誤差項の等分散性（ホモスケダスティシティ）

4. 誤差項の正規性（特に推定の信頼区間や仮説検定に重要）

5. 説明変数間に多重共線性がないこと（複数変数の場合）

---

6. 線形回帰の利点と欠点

利点

• 理論が明快で実装が簡単

• 計算コストが低い

• モデルの解釈が容易（重みの意味が明確）

欠点

• 非線形な関係には適さない

• 外れ値に弱い（誤差二乗なので影響が大きくなる）

• 説明変数に多重共線性があると不安定

---

まとめ

• 線形回帰は、データの線形関係をモデル化する基本的な回帰手法。

• 最小二乗法は、予測と実測値の誤差の二乗和を最小にするためのパラメータ推定手法。

• 単純ながらも、理論的にしっかりしており、他の複雑な回帰モデルの基礎にもなる重要な手法。