正定値行列

**正定値行列（positive definite matrix）**とは、主に線形代数や機械学習、最適化の分野で非常に重要な役割を果たす特殊な対称行列です。以下に、定義・性質・判定方法・機械学習における応用などを含めて詳しく説明します。

---

正定値行列の定義

ある対称行列 $A \in \mathbb{R}^{n \times n}$ が正定値であるとは、任意のゼロでないベクトル $\mathbf{x} \in \mathbb{R}^n$ に対して次を満たすときです：

$$\mathbf{x}^\top A \mathbf{x} > 0$$

これは、二次形式 $\mathbf{x}^\top A \mathbf{x}$ が常に正になることを意味します。

---

正定値行列の特徴

以下のいずれも正定値行列の判定や性質に用いられます：

1. 固有値がすべて正：

   • 対称行列 $A$ が正定値 ⇔ 固有値がすべて正。

   • これは、固有値分解により $A = Q \Lambda Q^\top$ と書けるため、$\Lambda$ の対角要素がすべて正である必要があるということ。

2. すべての主小行列式が正：

   • 左上からの部分行列（サイズ 1×1, 2×2, …, n×n）の行列式がすべて正なら、正定値。

   • これはSylvesterの判定法と呼ばれる。

3. Cholesky分解可能：

   • $A = LL^\top$（ただし $L$ は下三角行列）というCholesky分解が可能なことも正定値行列の特徴です。

---

準正定値行列との違い

• 準正定値行列（positive semi-definite matrix）：

  • 条件：$\mathbf{x}^\top A \mathbf{x} \geq 0$（等号も許される）

  • 固有値がすべて非負。

  • 正定値行列とは異なり、ゼロの固有値があってもよい。

---

例

1. 行列 $A = \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix}$

   • 対称で、固有値は $\lambda_1 = 1, \lambda_2 = 3$（どちらも正）。

   • 任意のゼロでない $\mathbf{x}$ に対して $\mathbf{x}^\top A \mathbf{x} > 0$。

   • よって正定値。

2. 行列 $B = \begin{bmatrix} 1 & 2 \\ 2 & 1 \end{bmatrix}$

   • 固有値は $\lambda_1 = 3, \lambda_2 = -1$（負の固有値あり）。

   • よって正定値ではない。

---

機械学習・強化学習における応用

1. 最適化（凸最適化）：

   • 正定値行列は、目的関数のヘッセ行列（2階微分行列）として現れます。

   • この行列が正定値 ⇒ 関数は局所最小ではなく大域的な凸関数。

2. 正則化（リッジ回帰など）：

   • リッジ回帰では $X^\top X + \lambda I$ が正定値になるよう調整されます（$\lambda > 0$ の場合、必ず正定値）。

3. ガウス過程回帰：

   • カーネル行列（共分散行列）は、対称かつ正定値でなければなりません。

4. 強化学習（LQRなど）：

   • 線形二次制御（Linear Quadratic Regulator）において、コスト関数中の重み行列は正定値であることが求められる。

---

まとめ