特異値の定義と性質

特異値の定義

特異値分解（Singular Value Decomposition, SVD）は、任意の実（または複素）行列 $A \in \mathbb{R}^{m \times n}$ に対して次の形で表現できる分解です：

$$A = U \Sigma V^{\mathsf{T}}$$

• $U \in \mathbb{R}^{m \times m}$：直交行列（列ベクトルは直交基底）

• $V \in \mathbb{R}^{n \times n}$：直交行列（列ベクトルは直交基底）

• $\Sigma \in \mathbb{R}^{m \times n}$：対角成分に非負の実数が並ぶ行列（これらが 特異値（singular values））

特異値の定義：
行列 $A$ の特異値とは、行列 $A^{\mathsf{T}}A$（または $AA^{\mathsf{T}}$）の固有値の非負平方根として定義されます。
つまり、

$$\sigma_i = \sqrt{\lambda_i}, \quad \lambda_i \text{ は } A^{\mathsf{T}}A \text{ の固有値}$$

ここで、$\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_r > 0$ と並べるのが一般的で、$r = \text{rank}(A)$ です。

---

特異値の主な性質

1. 非負性

   • 特異値は必ず 0 以上の実数である。
     （固有値は負になる可能性があるが、その平方根を取るため）

2. 対称行列との関係

   • $A^{\mathsf{T}}A$ と $AA^{\mathsf{T}}$ は対称行列（正定値半正定値行列）であり、それぞれ同じ非零固有値を持つ。

   • その固有値の平方根が特異値になる。

3. ノルムとの関係

   • 最大特異値 $\sigma_1$ は行列の スペクトルノルム（作用素ノルム）に一致する：

     $$\|A\|_2 = \sigma_1$$

4. 行列の階数との関係

   • ゼロでない特異値の個数は、行列 $A$ の階数と一致する。

5. 行列式との関係

   • 正方行列の場合、行列式の絶対値は特異値の積に等しい：

     $$|\det(A)| = \prod_{i=1}^n \sigma_i$$

6. フロベニウスノルムとの関係

   • 行列のフロベニウスノルムは特異値の二乗和の平方根に一致する：

     $$\|A\|_F = \sqrt{\sum_{i=1}^r \sigma_i^2}$$

7. 直交基底との関係

   • 特異値分解によって得られる $U, V$ の列ベクトルは、それぞれ 左特異ベクトル（$U$の列）と 右特異ベクトル（$V$の列）と呼ばれる。

   • $A v_i = \sigma_i u_i$、$A^{\mathsf{T}} u_i = \sigma_i v_i$ が成立する。

---

まとめ

• 特異値は $A^{\mathsf{T}}A$ の固有値の平方根として定義される。

• 特異値は常に非負であり、行列の「大きさ」や「情報量」を測る指標となる。

• 最大特異値は作用素ノルム、全特異値の二乗和はフロベニウスノルムに対応する。

• 非零特異値の個数は行列の階数を表す。