特異値分解（SVD）

特異値分解（Singular Value Decomposition, SVD）は、任意の実行列または複素行列に対して適用可能な非常に重要な分解手法です。機械学習、特に次元削減（例：主成分分析）、行列近似、レコメンデーションシステム、自然言語処理などの分野で広く使われています。

---

1. 特異値分解の定義

特異値分解とは、任意の $m \times n$ 行列 $A$ に対して、以下のように分解することです：

$$A = U \Sigma V^T$$

ここで：

• $A$：元の $m \times n$ 行列（実数または複素数）

• $U$：$m \times m$ の直交行列（列ベクトルは左特異ベクトル）

• $\Sigma$：$m \times n$ の対角行列（対角要素が特異値）

• $V$：$n \times n$ の直交行列（列ベクトルは右特異ベクトル）

• $V^T$：$V$ の転置（実数の場合）または共役転置（複素数の場合）

---

2. 特異値とは何か

• 特異値（singular values）とは、$A^TA$ または $AA^T$ の固有値の平方根です。

• 通常、特異値は大きい順に並べられます：

  $$\sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_r > 0$$

  ここで $r$ は行列のランク。

---

3. 幾何学的な意味

特異値分解は、行列 $A$ が空間に対してどう変換を加えるかを明示的に示します：

1. $V$ により、元の空間の**回転（もしくは反射）**が行われる

2. $\Sigma$ により、**軸方向の拡大縮小（スケーリング）**が行われる

3. $U$ により、結果の空間に対して再び**回転（または反射）**が行われる

---

4. SVDの応用

(1) 次元削減（PCA：主成分分析）

• $A = U \Sigma V^T$ の上位 $k$ 個の特異値・特異ベクトルを使って、近似行列 $A_k$ を作成。

• 情報を保ったままデータの次元数を削減できる。

(2) ノイズ除去

• 小さい特異値に対応する成分はノイズの可能性が高いため、それらを除去することでノイズ除去が可能。

(3) レコメンデーションシステム

• ユーザーとアイテムの行列に対して SVD を使って、潜在的な特徴ベクトルを抽出し、推薦を行う。

(4) 行列の圧縮

• フルランク行列の近似を小さなランクで表現することで、記憶容量の削減が可能。

---

5. 数値計算における性質

• 任意の行列に適用可能（正方行列である必要はない）

• 数値的に安定しており、擬似逆行列（Moore–Penrose 逆行列）の計算にも用いられる

• 固有値分解とは異なり、非対称行列にも使用可能

---

6. SVDの構築（概要）

1. $A^TA$ の固有値と固有ベクトルを求める → $V$ と $\Sigma$

2. $AV = U\Sigma$ を使って $U$ を求める

※ 実際の実装では数値線形代数ライブラリ（例：NumPy, LAPACK）が使用される。

---

7. 例（数値付き）

行列：

$$A = \begin{bmatrix} 3 & 1 \\ 1 & 3 \end{bmatrix}$$

この行列の SVD は以下のように分解されます（詳細な数値は省略）：

$$A = U \Sigma V^T$$

特異値は約 $\sigma_1 \approx 4, \sigma_2 \approx 2$
対応する $U, V$ は直交行列になります。

---

まとめ