自動評価指標（BLEU / ROUGE / GPT-based 評価）

LLMフレームワークAutoGenにおける「生成データの品質向上手法」の一環として活用される**自動評価指標（Automatic Evaluation Metrics）**は、生成された出力の品質を効率的かつ客観的に評価するために重要な役割を果たします。AutoGenでは主に以下の3種類の指標が使用されます：

---

1. BLEU（Bilingual Evaluation Understudy）

• 概要：BLEUは機械翻訳評価のために開発された指標であり、生成文と参照文とのn-gramの一致度に基づいてスコアを算出します。

• 評価方法：

  • 生成文と1つ以上の参照文の間で、1-gram、2-gram、…などの一致率を計算。

  • 短すぎる文をペナルティする「brevity penalty（簡潔性ペナルティ）」も導入。

• 利点：

  • 高速で自動化しやすい。

  • 多数の生成例にスケーラブル。

• 課題：

  • 語順や表現の柔軟性には不寛容で、意味の類似度までは評価できない。

---

2. ROUGE（Recall-Oriented Understudy for Gisting Evaluation）

• 概要：ROUGEは主に要約タスクの評価で使用され、参照文との語句の重なりに基づいて評価します。AutoGenでは特に以下のサブ指標が使用されます：

  • ROUGE-N：n-gramの一致数（例：ROUGE-1、ROUGE-2）

  • ROUGE-L：最長共通部分列（LCS）に基づく類似性

• 評価方法：

  • 精度（Precision）、再現率（Recall）、F1スコアにより総合評価。

• 利点：

  • 要約・短文生成における品質評価に適している。

• 課題：

  • BLEUと同様、意味的な正確さや多様な言い回しの評価には弱い。

---

3. GPT-based 評価（LLM-based Evaluation）

• 概要：事前学習済みの大規模言語モデル（例：GPT-4）を用いて、生成文の自然さ・一貫性・意味的整合性を直接的に評価する手法です。

• 評価方法：

  • モデルに「生成文と参照文を比較し、スコアをつけてください」といった明示的な評価プロンプトを与える。

  • または、モデルに「これは良い出力か？」と自己判断をさせる方式も可能。

• 利点：

  • 言語的多様性や意味の合致度を考慮可能。

  • コンテキスト理解能力が高く、人間の判断に近い評価が可能。

• 課題：

  • 評価コストが高い（API使用料、計算資源）。

  • 一貫性の確保には評価プロンプトの慎重な設計が必要。

---

AutoGenにおける活用

AutoGenでは、上記の指標をタスクの特性に応じて組み合わせて使用します：

• 正解が明確なタスク（翻訳・要約など）：BLEUやROUGE。

• 正解が曖昧で表現が多様なタスク（対話応答・創造的生成など）：GPT-based評価。

• フィルタリングプロセスやCriticコンポーネントと連携し、自動評価スコアに基づくデータ選別や改善指示に活用されます。

---

まとめ

これらの指標は、AutoGenにおいて生成データの品質を定量的かつ効率的に評価・改善する基盤となっています。