エピソードサンプリング

強化学習における**「エピソードサンプリング（episode sampling）」とは、環境モデルを使用せずに、実際のエピソード（状態・行動・報酬の列）をサンプリングしながら学習を行うアプローチです。これはモデルフリー強化学習（model-free reinforcement learning）**に分類されます。

---

エピソードとは

1つのエピソードとは、環境とのインタラクションにおいて、初期状態から終端状態（または一定ステップ数）までの状態・行動・報酬の系列です。

形式的には、以下のような系列になります：

css
(s₀, a₀, r₁, s₁, a₁, r₂, ..., s_T)

ここで：

• s₀ は初期状態

• a₀ はエージェントの選んだ行動

• r₁ はその結果の報酬

• s₁ は次の状態

• …（T はエピソードの終端時刻）

---

エピソードサンプリングの目的

エピソードサンプリングは、以下のような目的で行われます：

• 価値関数の推定（状態価値または行動価値）

• 方策（policy）の評価と改善

• 期待値ではなく、実際に経験した報酬に基づいて学習

---

エピソードサンプリングの特徴

---

エピソードサンプリングを用いる主なアルゴリズム

• モンテカルロ法（Monte Carlo methods）
  エピソード全体を観測してから報酬を使って価値関数を更新。状態・行動の**累積報酬（リターン）**をもとに学習する。

• 時間差分学習（TD学習）
  エピソードの一部（または単一ステップ）を使って、価値関数を更新。例：SARSA, Q-learning

---

モデルベースとの違い

---

まとめ

エピソードサンプリングとは、モデルを使わずに、エージェントが環境と実際にインタラクションして得られる一連の状態・行動・報酬の履歴を通じて学習を行う手法です。モンテカルロ法やQ学習など、代表的なモデルフリーアルゴリズムの基盤となっており、特に現実環境での直接学習やブラックボックスな環境において有効です。