Advantage Actor-Critic（A2C, A3C）

Advantage Actor-Critic（A2C, A3C）は、方策勾配法と価値関数法を統合したActor-Critic法の一種で、強化学習における学習の安定性と効率性を向上させるために設計された先進的なアルゴリズムです。

---

1. 基本構造

Advantage Actor-Criticは、以下の2つのネットワーク（または出力）を用います。

• Actor（方策ネットワーク）：
  行動の選択（方策 π(a|s)）を行い、行動の確率分布を出力します。

• Critic（価値ネットワーク）：
  状態の価値（状態価値 V(s)）を評価し、Actorの方策改善を支援します。

このアプローチは、REINFORCEのような高分散な方策勾配法よりも、学習の安定性が高くなります。

---

2. Advantageの利用

通常のActor-Criticでは、価値関数V(s)を用いて勾配を計算しますが、Advantage関数：

$$A(s, a) = Q(s, a) – V(s)$$

を使うことで、学習のバイアスと分散のバランスをとります。
このAdvantageは、例えば以下のように近似されます：

$$A(s_t, a_t) \approx r_t + \gamma V(s_{t+1}) – V(s_t)$$

これにより、行動が「どれだけ良かったか（期待よりも良かったか）」を定量的に評価できます。

---

3. A2C（Advantage Actor-Critic）

A2Cは同期版のAdvantage Actor-Criticです：

• 1つの環境 or 複数の並列環境でデータを収集し、バッチとしてまとめて更新を行います。

• 並列環境でサンプルの多様性を得るが、**勾配更新は同期的（1回だけ）**に行われる。

• GPUなどのバッチ処理と相性が良い。

---

4. A3C（Asynchronous Advantage Actor-Critic）

A3Cは非同期版のAdvantage Actor-Criticで、DeepMindによって2016年に提案されました：

• 複数のスレッド/プロセスが異なる環境で同時に学習を進める。

• 各ワーカーは独立したActor-Criticモデルを持ち、一定ステップごとにグローバルネットワークに非同期で勾配を反映させる。

• 経験の多様性と探索性が高まり、学習が安定します。

A3Cの特徴

• ターゲットネットワーク不要（DQNと異なる点）。

• 経験再生バッファ（replay buffer）を使用しない。

• 複数のエージェントが環境を探索し、局所的な偏りを避ける。

• 高速な収束と安定した学習性能。

---

5. 利点と欠点

利点

• 高いサンプル効率（バッチ or 並列処理による多様な経験）。

• 安定した学習（Advantageの利用）。

• オンライン学習可能（特にA3C）。

欠点

• ハイパーパラメータ調整が難しい。

• 実装が複雑（特にA3Cの非同期処理）。

• 学習の再現性が低い（A3Cは非決定的な要素が多い）。

---

まとめ

Advantage Actor-Critic系の手法は、方策勾配の高分散問題と価値関数のバイアス問題をバランスよく解決する強力な方法であり、強化学習のさまざまな応用（ゲーム、ロボティクスなど）で活用されています。