最適化問題の定式化

機械学習や強化学習において最適化は中心的な役割を果たします。最適なモデルパラメータの探索や方策の改善など、さまざまなタスクが「最適化問題」として定式化されます。以下では、「最適化問題の定式化」について体系的に詳しく説明します。

---

1. 最適化問題とは

**最適化問題（Optimization Problem）**とは、ある目的関数（Objective Function）を最大化または最小化するような変数（パラメータ）の値を求める問題です。

一般的な形式は以下の通りです：

$$\begin{aligned} \text{minimize/maximize} \quad & f(\mathbf{x}) \\ \text{subject to} \quad & \mathbf{x} \in \mathcal{D} \end{aligned}$$

• $f(\mathbf{x})$：目的関数（損失関数、コスト関数など）

• $\mathbf{x}$：最適化の対象となる変数（パラメータ、重みなど）

• $\mathcal{D}$：制約条件によって定義される実行可能領域（feasible domain）

---

2. 最適化問題の構成要素

(1) 目的関数（Objective Function）

• 機械学習では通常、損失関数（Loss Function）または報酬関数（Reward Function）がこれに該当します。

  • 例1：回帰問題 → 二乗誤差損失 $f(\mathbf{w}) = \frac{1}{n} \sum_{i=1}^n (y_i – \mathbf{w}^T \mathbf{x}_i)^2$

  • 例2：強化学習 → 累積報酬の最大化 $f(\pi) = \mathbb{E}_{\pi} \left[ \sum_{t=0}^{\infty} \gamma^t r_t \right]$

(2) 決定変数（Decision Variables）

• 最適化する対象のパラメータ。

  • 機械学習：モデルの重み $\mathbf{w}$

  • 強化学習：方策 $\pi(a|s)$ や価値関数 $V(s)$

(3) 制約条件（Constraints）

• 決定変数が満たすべき条件。以下の2種類に分類されます：

  • 等式制約（equality constraints）：$h_j(\mathbf{x}) = 0$

  • 不等式制約（inequality constraints）：$g_i(\mathbf{x}) \leq 0$

• 例：正則化やパラメータの範囲制限など。

---

3. 最適化問題の分類

(1) 制約の有無による分類

• 無制約最適化（Unconstrained Optimization）

  • 制約がない。

  • 例：単純な勾配降下法による損失関数の最小化。

• 制約付き最適化（Constrained Optimization）

  • 不等式制約や等式制約が存在。

  • 例：ラグランジュ乗数法、KKT条件を用いた最適化。

(2) 目的関数と制約の性質による分類

• 線形計画問題（Linear Programming）

  • 目的関数および制約がすべて線形。

• 非線形計画問題（Nonlinear Programming）

  • 目的関数や制約のいずれかが非線形。

• 凸最適化（Convex Optimization）

  • 目的関数が凸関数であり、制約集合が凸集合。

  • 局所解が大域解であるという強力な性質を持つ。

---

4. 機械学習における具体例

例1：線形回帰

$$\begin{aligned} \min_{\mathbf{w}} \quad & \sum_{i=1}^n (y_i – \mathbf{w}^T \mathbf{x}_i)^2 \end{aligned}$$

• 無制約かつ凸最適化問題。

例2：サポートベクターマシン（SVM）

$$\begin{aligned} \min_{\mathbf{w}, b, \xi} \quad & \frac{1}{2} \|\mathbf{w}\|^2 + C \sum_{i=1}^n \xi_i \\ \text{subject to} \quad & y_i(\mathbf{w}^T \mathbf{x}_i + b) \geq 1 – \xi_i, \quad \xi_i \geq 0 \end{aligned}$$

• 制約付き凸最適化問題。

例3：強化学習の方策最適化

$$\begin{aligned} \max_{\pi} \quad & \mathbb{E}_{\pi} \left[ \sum_{t=0}^\infty \gamma^t r_t \right] \end{aligned}$$

• 非凸最適化問題。解が一意ではない場合が多く、勾配法に基づく近似が必要。

---

5. 定式化の意義

最適化問題として定式化することで、

• 問題構造の把握（凸か非凸か、制約の性質など）

• 解法選定（勾配法、ラグランジュ法、内点法、進化的手法など）

• 解析的性質（解の存在・一意性、最適性条件など）
  が明確になり、効率的で理論的に保証された学習アルゴリズムの設計が可能になります。

---

まとめ

「最適化問題の定式化」とは、機械学習や強化学習のタスクを目的関数の最小化（または最大化）と制約条件の下での変数の最適化問題として数学的に表現することです。この過程があってはじめて、理論的・実践的な最適化アルゴリズムを適用できる基盤が整います。定式化はモデル設計の最初のステップであり、非常に重要な数学的手法です。