Soft Actor-Critic（SAC）

「Soft Actor-Critic（SAC）」は、深層強化学習における最新のオフポリシー手法の一つであり、**最大エントロピー強化学習（Maximum Entropy Reinforcement Learning）**に基づいています。SACは、サンプル効率が高く、安定性があり、連続行動空間のタスクに非常に適しているという特徴を持ちます。

---

1. 背景と目的

従来の強化学習アルゴリズム（例：DQNやDDPGなど）は、最適な期待報酬を得ることを目的にしていますが、探索が不十分になるという問題を抱えています。SACでは、この問題に対処するため、以下のような目標を導入します。

最大エントロピー方策

従来の強化学習では、
目的：

$$\pi^* = \arg\max_{\pi} \mathbb{E}_{\pi} \left[ \sum_t r(s_t, a_t) \right]$$

SACでは、報酬最大化と同時にエントロピー最大化も目指します。
目的：

$$\pi^* = \arg\max_{\pi} \mathbb{E}_{\pi} \left[ \sum_t r(s_t, a_t) + \alpha \mathcal{H}(\pi(\cdot|s_t)) \right]$$

ここで、

• $\mathcal{H}(\pi(\cdot|s_t)) = -\mathbb{E}_{a_t \sim \pi} [\log \pi(a_t|s_t)]$ はエントロピー

• $\alpha > 0$ はエントロピーの重み（温度パラメータ）

この枠組みでは、ランダム性（エントロピー）を保ちながら報酬も最大化するため、探索が促進されます。

---

2. SACの主な構成要素

SACはアクタークリティック型アルゴリズムで、以下の要素で構成されます：

(1) ポリシー（アクター）

• ガウス分布による確率的方策（Stochastic Policy）

• ネットワーク出力は平均 $\mu(s)$ と分散 $\sigma(s)$

(2) Q関数（クリティック）

• 2つのQ関数（Double Q-learning） を使い、過大評価を防止（Q1, Q2）

(3) V関数

• 状態価値関数 $V(s)$ を明示的に近似するか、Q関数とポリシーから導出する

(4) 温度パラメータ $\alpha$

• 手動または自動調整可能（自動調整では、ターゲットエントロピーに基づいて学習）

---

3. 学習の流れ

以下のような手順でパラメータが更新されます。

① Q関数の更新

損失関数（Bellman誤差）：

$$\mathcal{L}_Q = \mathbb{E}_{(s,a,r,s’)} \left[ (Q(s,a) – (r + \gamma V(s’))) ^2 \right]$$

② 方策（アクター）の更新

エントロピー項を加えた損失関数：

$$\mathcal{L}_\pi = \mathbb{E}_s \left[ \mathbb{E}_{a \sim \pi} [\alpha \log \pi(a|s) – Q(s,a)] \right]$$

③ 温度パラメータの更新（任意）

目標エントロピーとの差を元に最適化：

$$\mathcal{L}_\alpha = \mathbb{E}_{a \sim \pi} \left[ -\alpha \left( \log \pi(a|s) + \mathcal{H}_{\text{target}} \right) \right]$$

---

4. 特徴とメリット

---

5. 適用例

SACは以下のような連続制御タスクに広く適用されています：

• ロボット制御（腕の動き、歩行など）

• 自律走行のステアリング制御

• 物理シミュレーション環境（Mujoco、PyBulletなど）

---

6. まとめ

Soft Actor-Critic（SAC）は、

• 「エントロピー最大化による高い探索性能」

• 「安定した学習を可能にするダブルQ構造とオフポリシー更新」

• 「サンプル効率の良さと実用性の高さ」

を兼ね備えた、最先端の連続制御向け強化学習アルゴリズムです。