ターゲットネットワークと経験再生（Replay Buffer）

強化学習（Reinforcement Learning: RL）の分野において、「ターゲットネットワーク（Target Network）」と「経験再生（Experience Replay または Replay Buffer）」は、**深層Qネットワーク（Deep Q-Network: DQN）**における安定性と学習効率を向上させるための重要な技術です。以下で、それぞれについて詳しく説明します。

---

1. ターゲットネットワーク（Target Network）

概要:

ターゲットネットワークは、Q関数を安定的に近似するために導入される固定された別のニューラルネットワークです。学習中のQネットワークの重みが頻繁に変わると、学習ターゲットも変動してしまい、学習が不安定になります。これを防ぐために、ターゲットネットワークを用います。

仕組み:

• 通常のDQNでは、行動価値関数 Q(s, a; θ) をニューラルネットワークで近似します。

• しかし、ターゲット値（ラベル）も Q に依存しており、自己参照的になります。

• そこで、ターゲット値の計算には別のネットワーク Q(s’, a’; θ⁻)（ターゲットネットワーク）を使用します。

• このターゲットネットワークのパラメータ θ⁻ は、定期的に現在のネットワークのパラメータ θ をコピーすることで更新されます（例: 数千ステップごと）。

ターゲット値の計算式:

$$y = r + \gamma \max_{a’} Q(s’, a’; \theta^-)$$

ここで:

• $r$: 即時報酬

• $s’$: 次の状態

• $\gamma$: 割引率

利点:

• 学習目標が安定することで、ニューラルネットワークの発散を防ぐ。

• 結果として、学習が安定し、収束しやすくなる。

---

2. 経験再生（Experience Replay / Replay Buffer）

概要:

経験再生は、エージェントの過去の経験（状態、行動、報酬、次状態など）を記録し、それを繰り返し学習に利用する手法です。

仕組み:

• エージェントは環境とのインタラクションから得た経験 $(s, a, r, s’)$ をリプレイバッファに保存します。

• 学習時には、このバッファからランダムにミニバッチをサンプリングしてニューラルネットワークを訓練します。

利点:

1. データの相関を減らす

   • 強化学習では連続したデータが強く相関しており、それをそのまま使うとニューラルネットワークが過学習しやすくなります。ランダムサンプリングにより独立性を高めます。

2. 経験の再利用

   • 重要な経験を何度も学習に使うことができ、サンプル効率が向上します。

3. オフポリシー学習が可能

   • 行動方策に依存しない学習が可能であり、Q学習と相性が良いです。

実装上の注意点:

• リプレイバッファのサイズ（例: 100,000ステップ）には限りがあり、古い経験はFIFO方式で削除されます。

• Prioritized Experience Replay という拡張技術では、より重要な経験（TD誤差の大きいもの）を優先的に学習に用います。

---

まとめ

これら2つの技術は、DQNを用いた深層強化学習において不可欠であり、学習の安定性と効率性を飛躍的に高めるために使われています。