RAG（Retrieval-Augmented Generation）の「オリジナルRAGモデル（Facebook AI）」は、Facebook AI（現Meta AI）が2020年に提案した、外部知識を参照しながら自然言語生成を行う革新的なモデルです。このモデルは、以下のような構造と設計思想に基づいています。
オリジナルRAGモデルの基本構造
オリジナルRAGは、大きく2つの主要コンポーネントから構成されます：
-
Retriever（検索器）
-
Generator（生成器）
この2つが密接に連携し、「外部知識に基づいた生成（Knowledge-augmented generation）」を実現します。
Retriever部分の設計（DPRによる検索）
-
Dense Passage Retriever（DPR） を使用し、事前にインデックス化された大量のドキュメント（Wikipediaなど）から関連文書を検索します。
-
質問や入力文をエンコードしてベクトル表現に変換し、それをベースに近い意味を持つ文書を取得します（密ベクトル検索）。
-
検索結果として Top-k（例えば5～20件） の文書が得られます。
Generator部分の設計（BARTによる生成）
-
Generatorは主に BART（またはT5などのTransformerベースのシーケンス生成モデル）を用いています。
-
入力文とRetrieverから得られた各文書を組み合わせて、それぞれを条件として生成処理を行います。
-
RAGには以下の2つの生成戦略があります：
▸ RAG-Sequence
-
各取得文書ごとに独立した生成を行い、最終的に最も確からしい1つの文を選びます。
-
専用の確率スコア（文書の尤度×生成文の尤度）を使ってランキング。
▸ RAG-Token
-
各トークンを生成する際に、すべての文書の出力確率を加重平均してトークンを決定します。
-
より統合的な生成が可能で、柔軟性が高い。
-
モデルの訓練方法
-
エンドツーエンドの微調整（fine-tuning） が可能です。
-
RetrieverとGeneratorを別々に訓練することもできますが、RAGでは両方を同時に最適化することで精度を高めます。
-
教師データには質問応答ペアや文要約ペアなどを使用。
オリジナルRAGの特徴と意義
-
外部知識の統合
モデル自身のパラメータに知識を記憶させるのではなく、外部のドキュメントベースを利用することで、より最新・広範な情報を利用できます。 -
メモリ効率の向上
内部パラメータに全てを記憶させる必要がないため、大規模な知識ベースを持つLLMよりもコンパクトな構成が可能です。 -
柔軟な知識更新
外部データベースの更新だけで知識のアップデートが可能であり、再学習が不要。
応用例
-
オープンドメイン質問応答（Open-domain QA）
-
長文要約
-
知識強化型チャットボット
-
ファクトベースの自然言語生成
以上が、「オリジナルRAGモデル（Facebook AI）」の構造と設計に関する詳細な説明です。RAGは、LLM単体では実現が難しい「根拠に基づく生成」を可能にする重要なアーキテクチャとして、多くの応用に発展しています。必要であれば、各構成要素のコードベースや論文のポイント解説もご提供可能です。
生成日：2025/06/07