マルコフ性と履歴の取り扱い

強化学習におけるマルコフ決定過程（Markov Decision Process, MDP）では、「マルコフ性（Markov property）」という性質が中心的な役割を果たします。この性質は、強化学習における履歴の取り扱いにも深く関係しています。

---

マルコフ性とは

マルコフ性とは、「現在の状態が将来の状態に関するすべての情報を含んでいる」という性質を指します。すなわち、

次の状態と報酬は、現在の状態と行動にのみ依存し、過去の履歴には依存しない。

形式的には、以下の条件で表されます：

$$P(s_{t+1}, r_t \mid s_t, a_t) = P(s_{t+1}, r_t \mid s_1, a_1, r_1, …, s_t, a_t)$$

このように、過去の履歴がどれほど長くても、現在の状態にすべての必要な情報が集約されていればよいとするのがマルコフ性です。

---

履歴とマルコフ性の関係

履歴とは？

強化学習における**履歴（history）**とは、エージェントがこれまでに観測してきた状態・行動・報酬の系列を指します：

$$H_t = \{s_1, a_1, r_1, …, s_t\}$$

なぜ履歴ではなく状態だけで良いのか？

MDPにおいては、「現在の状態が履歴の要約である」と見なされているため、履歴全体を考慮する必要はありません。

ただし、現実の問題では状態が十分に情報を持たないこともあります（例：観測が部分的な場合）。そのような場合には、**Partially Observable MDP（POMDP）**のような枠組みが必要となります。

---

履歴を状態に含める工夫

もしマルコフ性が成り立たない（＝状態だけでは将来を予測できない）ならば、過去の履歴の一部を状態に組み込むことでマルコフ性を「人工的に」成立させることができます。たとえば：

• 連続する観測を1つの状態ベクトルに結合する

• リカレントニューラルネットワーク（RNN）を用いて履歴を内部状態として保持する

これにより、もともとマルコフ性を持たない環境でも、実質的にMDPとして扱うことが可能になります。

---

まとめ