部分観測（POMDP）

強化学習における「部分観測（Partially Observable Markov Decision Process, POMDP）」は、環境の完全な状態がエージェントから観測できない状況を扱うための理論的枠組みです。これは、従来のマルコフ決定過程（MDP）が**「現在の状態がすべての決定に十分な情報を与える」**という仮定を前提としているのに対し、より現実的で複雑な環境を想定しています。

1. POMDPの定義と構成要素

POMDPは、以下の7つの要素から構成されます：

  • S：環境の本当の状態の集合（ただし、直接は観測できない）

  • A：エージェントの行動の集合

  • T(s, a, s’)：状態遷移確率（行動aを取ったときに状態sからs’に遷移する確率）

  • R(s, a)：報酬関数（状態sで行動aを取ったときに得られる報酬）

  • Ω（オメガ）：観測の集合

  • O(o | s’, a)：観測確率（状態s’に遷移した後、観測oを得る確率）

  • γ：割引率（0 ≤ γ < 1）

2. 部分観測の特徴と課題

観測の不完全性

POMDPでは、エージェントは状態sを直接観測できず、代わりに観測値oを受け取ります。この観測値は状態sに関する不完全かつノイズのある情報にすぎません。

ベルマン方程式の適用困難

MDPにおける価値関数や方策の定式化は、明示的な状態sに基づいていますが、POMDPでは観測値oのみが得られるため、状態に基づく価値関数を直接定義できないという問題があります。

ベルリーフ（belief state）の導入

この問題を克服するため、POMDPではbelief state（信念状態）と呼ばれる状態分布の確率モデルを用います。これは「現在の時点で各状態にある確率分布」であり、以下のように更新されます：

bash
b'(s') = η · O(o | s', a) · Σ_s [ T(s, a, s') · b(s) ]

ここでηは正規化定数です。

3. POMDPにおける強化学習の理論的課題

（1）計算複雑性

POMDPの解法は通常、belief stateに基づく値関数を用いていますが、この値関数は高次元の連続空間（状態分布空間）上に定義されるため、近似的手法が不可欠です。

（2）信念状態の更新困難性

状態遷移モデルTや観測モデルOが不明な場合、belief stateを正確に更新するのは困難です。特にモデルフリーな強化学習ではこの問題が顕著です。

（3）長期的依存性の扱い

過去の観測や行動履歴が重要になるため、単純な現在の観測に基づいた方策では不十分です。これにより、再帰型ニューラルネットワーク（RNN）やメモリ機構の導入が必要とされます。

4. 解法のアプローチ例

  • 信念MDP法：belief stateを状態とみなして、通常のMDPとして解く。

  • RNNを用いた近似：観測と行動の履歴をRNNで学習し、内部状態として利用。

  • モデルフリーPOMDP学習：Actor-Critic や DQNの拡張版で観測列を直接処理。

5. まとめ

POMDPは、強化学習における部分観測という現実的な困難を理論的に取り扱う枠組みです。しかし、状態の不確実性と計算の複雑性のため、厳密な解析は困難であり、多くの場合は近似手法やニューラルネットワークを併用する実践的アプローチが用いられています。

生成日：2025/06/01