状態（state）、行動（action）、報酬（reward）

強化学習における「状態（state）」「行動（action）」「報酬（reward）」は、学習の中心となる基本要素です。これらは、エージェントと環境との相互作用を通じて定義され、学習プロセス全体を構成します。それぞれの概念について詳しく説明します。

---

1. 状態（State）

定義: 状態とは、ある時点での環境の情報を表すもので、エージェントが次の行動を決定するための入力になります。

• 状態は環境の状況を定量的に記述するベクトルや特徴量の集合として表現されます。

• 例: チェスでは盤面の駒の配置、ロボット制御では関節の角度や位置、スピードなどが状態になります。

重要性:

• 状態が適切に表現されていないと、エージェントは適切な行動を選択できません。

• 「マルコフ性」がある状態空間では、現在の状態だけを考慮すれば最適な行動を決定できます。

---

2. 行動（Action）

定義: 行動とは、エージェントが状態に応じて選択できる操作や決定のことを指します。

• 離散的（例: 上下左右に動く）あるいは連続的（例: アームを30度回す）である場合があります。

• 行動を選択するルールは「方策（ポリシー）」と呼ばれます。これは、状態から行動へのマッピング関数です。

重要性:

• 行動によって環境が変化し、新しい状態と報酬が得られます。

• エージェントは「将来の報酬を最大化する」ように行動を選びます。

---

3. 報酬（Reward）

定義: 報酬とは、ある状態で特定の行動を取った結果として環境からエージェントに返される数値で、目的の達成度を定量的に表します。

• 通常はスカラー値（実数）で与えられ、正の値は「良い行動」、負の値は「悪い行動」を意味します。

• 即時的な報酬を最大化するのではなく、累積報酬（将来の報酬も含めた合計）を最大にすることが目標となります。

重要性:

• 報酬は、エージェントの行動に対する「評価指標」の役割を果たします。

• 適切な報酬設計（reward shaping）が学習の効率に大きく影響します。

---

まとめ

これら3つは、強化学習におけるエージェントの意思決定と学習の循環構造を支える基本要素です。エージェントは、「状態 → 行動 → 報酬 → 新しい状態」というサイクルを通じて、最適な方策を学習していきます。