勾配法（勾配降下法、確率的勾配降下法など）

機械学習・強化学習における最適化理論の中心的手法の一つに「勾配法（Gradient Methods）」があります。これは、損失関数や目的関数の**最小値（あるいは最大値）**を求めるための反復的な最適化アルゴリズムの総称であり、中でも代表的なものが「勾配降下法（Gradient Descent）」およびその変種である「確率的勾配降下法（Stochastic Gradient Descent, SGD）」です。

---

1. 勾配法の基本概念

勾配法は、「関数の**勾配（gradient）**を用いて、その関数が最小（または最大）になる方向を見つける」ことに基づいています。

関数 $f(\theta)$ を最小化する場合、次のようにパラメータ $\theta$ を更新します：

$$\theta_{t+1} = \theta_t – \eta \nabla f(\theta_t)$$

• $\theta$：最適化したいパラメータ（例：機械学習モデルの重み）

• $\eta$：学習率（learning rate）…ステップサイズを決めるハイパーパラメータ

• $\nabla f(\theta)$：関数 $f$ に対するパラメータの勾配（偏微分ベクトル）

---

2. 勾配降下法（Gradient Descent）

特徴

• 全データセットに対して損失関数の勾配を計算

• 更新は滑らかで安定しているが、計算コストが高い

アルゴリズム手順

1. 初期パラメータ $\theta_0$ を決定

2. 損失関数 $L(\theta)$ の勾配を全データに対して計算

3. $\theta$ を更新：

   $$\theta_{t+1} = \theta_t – \eta \nabla L(\theta_t)$$

4. 収束するまで繰り返す

---

3. 確率的勾配降下法（Stochastic Gradient Descent, SGD）

特徴

• 毎回ランダムに選んだ1つのデータ（または小さなバッチ）に対して勾配を計算

• 計算が高速で、オンライン学習や大規模データに適している

• ただし、更新にノイズがあり、収束が不安定になりやすい

アルゴリズム手順

1. 初期パラメータ $\theta_0$ を設定

2. 各ステップでランダムにデータ点 $(x_i, y_i)$ を1つ選ぶ

3. 勾配を計算し更新：

   $$\theta_{t+1} = \theta_t – \eta \nabla_\theta L(\theta_t; x_i, y_i)$$

4. 繰り返す

---

4. ミニバッチ勾配降下法（Mini-batch Gradient Descent）

• 完全なGDとSGDの折衷案

• 毎回のステップでデータの一部（バッチ）を用いて勾配を計算

• 安定性と計算効率のバランスが良いため、実務上最も広く使われる

---

5. 拡張手法と改良アルゴリズム

勾配法には多くの改良版が存在し、代表的なものとして以下が挙げられます：

---

6. 勾配法の利点と課題

利点

• 実装が比較的容易

• 大規模な問題に対してもスケーラブル

• 多くの最適化問題で有効

課題

• 学習率の選定が難しい（大きすぎると発散、小さすぎると収束が遅い）

• 局所最小値や鞍点にとらわれることがある

• 非凸関数に対しては収束保証がない（深層学習ではこの状況が多い）

---

まとめ

勾配法は、機械学習・強化学習における損失最小化の中心技術であり、勾配の方向に基づいてパラメータを更新していく反復法です。特に確率的勾配降下法は大規模データにも対応でき、ニューラルネットワークをはじめとする深層学習の学習アルゴリズムの基盤となっています。勾配法を適切に理解し、状況に応じた改良手法を選択することが、学習効率とモデル性能を高める鍵となります。