精度（Precision/Recall）

RAG（Retrieval-Augmented Generation）における「評価指標としての精度（Precision）と再現率（Recall）」は、特に**Retrievalステップ（検索器）**の性能を定量的に評価するために重要です。以下にそれぞれの指標について詳しく説明します。

1. 精度（Precision）の定義と意義

**精度（Precision）**は、「検索された情報のうち、実際に正解（有用・正確）であったものの割合」を表します。

数式

Precision=正しく検索されたドキュメント数（True Positives）検索されたドキュメント総数（True Positives + False Positives）\text{Precision} = \frac{\text{正しく検索されたドキュメント数（True Positives）}}{\text{検索されたドキュメント総数（True Positives + False Positives）}}

例

  • 検索された10件の文書のうち、実際に答えに貢献したものが6件であれば、精度は 6/10 = 0.6 です。

意義

  • 精度が高いほど、「生成器が参照する文書の質が高い」ことを意味し、誤情報による生成の劣化を防ぐ上で重要です。

2. 再現率（Recall）の定義と意義

**再現率（Recall）**は、「正解ドキュメントのうち、検索器が実際に見つけ出せた割合」を示します。

数式

Recall=正しく検索されたドキュメント数（True Positives）本来正解であるドキュメント総数（True Positives + False Negatives）\text{Recall} = \frac{\text{正しく検索されたドキュメント数（True Positives）}}{\text{本来正解であるドキュメント総数（True Positives + False Negatives）}}

例

  • 答えに必要な文書が8件あったとして、そのうち6件を検索できた場合、再現率は 6/8 = 0.75 です。

意義

  • 再現率が高いほど、「正解に必要な情報を網羅的に取り出せている」ことを示し、情報の欠落による生成の不完全さを防ぐ上で重要です。

3. Precision / Recall のトレードオフ

  • 高精度を目指すと再現率が下がりやすく、逆に高再現率を目指すと精度が下がる傾向があります。

  • RAGにおいては、**目的に応じたバランス調整（例：Top-kの設定、類似度の閾値）**が必要です。

4. 応用例：RAG評価時の適用

RAGモデルのRetrieval評価においては、以下のように使われます：

  • Precision@k：Top-k件中、正解文書が何件含まれているか。

  • Recall@k：正解文書群の中から、Top-k件でどれだけカバーできたか。

  • クエリごとにこれらを計算し、全体平均を取って評価します。

5. 補足：生成ステップとの関係

精度・再現率は生成ステップ（Generator）の評価には直接用いられませんが、生成結果の質に間接的に大きく影響するため、Retriever部分の性能として非常に重要です。

生成日：2025/06/07