固有値と固有ベクトル

機械学習・強化学習において、「固有値（eigenvalue）」と「固有ベクトル（eigenvector）」は、次元削減や状態空間の解析、行列の対角化など、多くのアルゴリズムに深く関係する重要な概念です。以下に詳しく説明します。

---

1. 固有値と固有ベクトルとは何か

定義：
ある正方行列 $A \in \mathbb{R}^{n \times n}$ に対して、ゼロベクトルでないベクトル $\boldsymbol{v} \in \mathbb{R}^n$ とスカラー（実数や複素数） $\lambda \in \mathbb{R}$ が存在して、以下の式を満たすとき、

$$A\boldsymbol{v} = \lambda \boldsymbol{v}$$

このとき、

• $\boldsymbol{v}$ を 固有ベクトル（eigenvector）

• $\lambda$ を 固有値（eigenvalue）

と呼びます。

意味：
行列 $A$ による変換によって、方向は変わらず、長さだけがスカラー倍されるベクトルが固有ベクトルです。その時のスカラー倍率が固有値です。

---

2. 固有値・固有ベクトルの求め方

上の式 $A\boldsymbol{v} = \lambda \boldsymbol{v}$ を変形すると、

$$(A – \lambda I)\boldsymbol{v} = \boldsymbol{0}$$

これは線形連立方程式であり、非自明解（ゼロでない解）を持つためには、次の行列式がゼロでなければなりません：

$$\det(A – \lambda I) = 0$$

この方程式を**固有方程式（characteristic equation）**と呼び、これを解くことで固有値 $\lambda$ を求めます。そして、各固有値に対して対応する固有ベクトル $\boldsymbol{v}$ を求めます。

---

3. 機械学習における活用例

(1) 主成分分析（PCA: Principal Component Analysis）

• データの分散共分散行列の固有値・固有ベクトルを求めて、**情報量が多い方向（主成分）**を抽出します。

• 固有ベクトルは「方向」、固有値は「重要度（情報量）」を示します。

(2) 強化学習のベルマン方程式

• **マルコフ決定過程（MDP）**の状態遷移行列の解析などで固有値が使われます。

• 長期的な報酬や定常状態の解析にも関係します。

(3) 行列の対角化や指数関数的計算の高速化

• 行列 $A$ を固有ベクトルで対角化できれば、行列のべき乗や指数関数などの計算が大幅に簡単になります。

• ニューラルネットワークの安定性解析などにも応用されます。

---

4. 幾何学的直観

• 通常、行列はベクトルの回転やスケーリングを行う変換とみなされますが、

• 固有ベクトルはその中で「方向が変わらない特別なベクトル」です。

• 例えば、2次元の回転行列には実数の固有値が存在しない場合があり、そのような行列は方向を完全に回転させてしまうことを意味します。

---

5. 性質と注意点

• $n \times n$ の正方行列は、高々 n 個の固有値を持ちます（重複含む）。

• 対称行列（例：共分散行列）は、

  • 固有値がすべて実数。

  • 固有ベクトルは互いに直交。

• 固有ベクトルはスカラー倍しても同じ意味を持つため、単位ベクトルに正規化されることが多いです。

---

まとめ

固有値と固有ベクトルの理解は、データの本質的な構造をつかむ上で不可欠であり、機械学習・強化学習の多くの応用に登場します。