線形独立と基底

機械学習・強化学習の基礎数学として重要な「線形独立」と「基底」について、以下のように詳しく説明します。

---

線形独立（Linear Independence）

定義

ベクトル集合 $\{ \mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n \}$ が線形独立であるとは、以下の条件を満たすことを意味します：

定数 $c_1, c_2, \dots, c_n$ に対して、

$$$$

c_1 \mathbf{v}_1 + c_2 \mathbf{v}_2 + \dots + c_n \mathbf{v}_n = \mathbf{0}
]
が成り立つとき、唯一の解が

$$c_1 = c_2 = \dots = c_n = 0$$

である。

つまり、どのベクトルも他のベクトルの線形結合で表すことができないということです。

直感的な理解

線形独立なベクトルは、互いに「冗長性のない」ベクトルです。それぞれが空間の異なる方向を指しており、他のベクトルで置き換えることができません。

例

• ベクトル $(1, 0)$ と $(0, 1)$ は線形独立（2次元空間における基本的な2方向）。

• ベクトル $(1, 2)$ と $(2, 4)$ は線形従属（後者は前者の2倍で表せる）。

---

基底（Basis）

定義

あるベクトル空間 $V$ において、基底とは以下の2つの条件を満たすベクトル集合です：

1. 線形独立であること

2. その空間のすべてのベクトルを線形結合で表現できること

つまり、基底は空間を「完全にかつ冗長なく」表す最小限のベクトル集合です。

次元との関係

ある空間の基底のベクトルの数を、その空間の**次元（dimension）**と呼びます。

• 2次元空間の基底：2つの線形独立なベクトル（例： $(1,0), (0,1)$）

• 3次元空間の基底：3つの線形独立なベクトル（例： $(1,0,0), (0,1,0), (0,0,1)$）

基底の重要性

機械学習では、ベクトル空間内の特徴量（feature vector）やデータ構造を効率的に表す際に、基底の概念が重要です。次元削減（例：主成分分析）では、新しい基底（主成分）への変換を行います。

---

線形独立と基底の関係

• 線形独立であっても、そのベクトル集合が空間を張っていなければ基底ではありません。

• 空間を張っていても、線形従属な集合は基底になりません。

• 基底は、「線形独立」かつ「空間を張る（生成する）」という2つの条件を満たした集合です。

---

機械学習・強化学習への応用例

• 特徴空間の構成：データがどのような基底で構成されているかによって、分類や回帰の性能が変わる。

• 次元削減手法（PCAなど）：元のデータを、より少数の線形独立な基底（主成分）で表現。

• 線形モデル（線形回帰、SVMなど）：重みベクトルと基底の構成が結果に大きく影響。