偏微分

「偏微分（Partial Derivative）」は、多変数関数の微分の一種であり、他の変数を一定と仮定したうえで、特定の変数に関する変化率（導関数）を求める操作です。機械学習や強化学習では、**損失関数の最適化や勾配法（Gradient Descent）**において頻繁に用いられます。

---

1. 偏微分の基本的な定義

関数
  f(x, y)
のように、複数の変数（この場合は x と y）を持つ関数を考えます。x に関する偏微分は、y を定数とみなして微分を行うことを意味します。

定義式

$$\frac{\partial f}{\partial x} = \lim_{\Delta x \to 0} \frac{f(x + \Delta x, y) – f(x, y)}{\Delta x}$$
$$\frac{\partial f}{\partial y} = \lim_{\Delta y \to 0} \frac{f(x, y + \Delta y) – f(x, y)}{\Delta y}$$

このように、「∂」は偏微分の記号であり、通常の微分（d）と区別されます。

---

2. 偏微分の例

関数：

$$f(x, y) = x^2y + 3xy^2$$

この関数の x に関する偏微分は：

$$\frac{\partial f}{\partial x} = 2xy + 3y^2$$

y を定数とみなして微分しました。

同様に、y に関する偏微分は：

$$\frac{\partial f}{\partial y} = x^2 + 6xy$$

x を定数とみなして微分しました。

---

3. 機械学習との関係

偏微分は、損失関数（Loss Function）を最小化するための勾配を計算する際に使われます。

例えば、重み $w$ とバイアス $b$ を持つモデルの出力に対する損失関数 $L(w, b)$ があるとき、最適なパラメータを求めるには：

• $\frac{\partial L}{\partial w}$

• $\frac{\partial L}{\partial b}$

のような偏微分を求め、勾配降下法により更新を行います。

勾配降下法の更新式

$$w := w – \eta \frac{\partial L}{\partial w} \quad , \quad b := b – \eta \frac{\partial L}{\partial b}$$

（η は学習率）

---

4. 偏微分と勾配ベクトル

多変数関数のすべての偏微分をまとめると、**勾配ベクトル（Gradient）**になります：

$$\nabla f(x, y) = \left( \frac{\partial f}{\partial x}, \frac{\partial f}{\partial y} \right)$$

これは、関数 f の変化が最も急な方向を示すベクトルであり、機械学習の学習アルゴリズムにとって非常に重要です。

---

5. 高階の偏微分

偏微分をもう一度行うと、「高階偏微分」になります：

• $\frac{\partial^2 f}{\partial x^2}$：x について2階の偏微分

• $\frac{\partial^2 f}{\partial x \partial y}$：x と y に関する混合偏微分

---

まとめ