RAG-SequenceとRAG-Tokenの違い

RAG（Retrieval-Augmented Generation）には、主に2つの派生構造として RAG-Sequence と RAG-Token の2種類のアーキテクチャがあります。これらは、Retriever（検索器）から取得したドキュメントをGenerator（生成器）にどのように統合して最終出力を行うかにおいて異なります。

---

1. RAG-Sequence の概要

RAG-Sequenceは、「ドキュメント単位で生成」を行うアーキテクチャです。

特徴:

• 複数のドキュメント（例：Top-k件）をRetrieverが取得した後、それぞれのドキュメントに対して独立に文章生成を行う。

• 各ドキュメントについて生成された出力シーケンスに対して対数尤度（log-likelihood）を評価し、最も尤もらしい出力を選択する。

• 生成の単位は 「1ドキュメントにつき1シーケンス」。

利点:

• 実装が比較的シンプル。

• 各ドキュメントが独立して生成されるため、処理の並列性が高い。

欠点:

• 出力文が複数のドキュメントの情報を統合する能力に乏しい。

• ドキュメントを跨ぐ柔軟な情報統合が難しい。

---

2. RAG-Token の概要

RAG-Tokenは、「トークン単位でドキュメント統合」を行うアーキテクチャです。

特徴:

• 生成中の各トークンに対して、複数のドキュメントの条件付き確率分布を統合してトークンを生成する。

• より細かい粒度（token-level）で情報統合が行われるため、ドキュメントを跨ぐ高度な融合が可能。

• 出力トークンの確率は、各ドキュメントにおける出力確率を**加重平均（重みはドキュメントの事前確率）**して決定する。

利点:

• 複数ドキュメントの情報を柔軟かつ一貫的に統合して生成できる。

• 長文や複雑な質問への応答性能が高い。

欠点:

• モデルの計算量・実装が複雑。

• 推論時間が長くなる可能性がある。

---

3. 違いのまとめ

---

4. 使用シーンの違い

• RAG-Sequenceは、計算資源が限られた環境や簡潔な応答が求められる場面に向いています。

• RAG-Tokenは、より正確で情報統合が重要なタスク（例：長文要約、複雑な質問応答）に適しています。