LLMフレームワークAutoGenにおける「Critic Feedback Loop（反復的改善）」とは、合成データの品質を継続的かつ自動的に向上させるための重要なメカニズムです。この仕組みは、Critic（批評モジュール）による評価とフィードバックを活用して、生成プロセスにフィードバックを与え、出力を段階的に改善するというループ構造を持ちます。
1. 概要
Critic Feedback Loopは以下のサイクルで構成されます：
-
Generatorによる初期出力の生成
与えられたInstructionおよびPromptに基づき、LLMが出力（例：質問応答、要約、分類文など）を生成。 -
Criticによる評価
出力された内容に対し、事前に設計された基準（明確性、正確性、整合性、網羅性など）に基づいて評価を実施。 -
フィードバック生成
評価に基づき、出力の改善点や修正指示を自然言語で生成（例：「この回答には重要な情報が欠けている」「質問の意図とずれている」など）。 -
出力の再生成または修正
Criticのフィードバックを取り入れて、再度Generatorが修正出力を生成。 -
繰り返し（必要に応じて）
改善された出力が満足できる品質に達するまで、このループを繰り返す。
2. 技術的特性
-
自動化：CriticはLLMまたは専用の評価モデルとして実装されており、人手を介さず自動でフィードバックを生成。
-
プロンプトベースの評価：Criticは自然言語プロンプトを通して「良い例／悪い例」を理解し、評価指標を文章化できる。
-
多様な評価軸：論理的一貫性、知識の正確性、文法的正確性、命令への準拠度など、複数の観点で評価可能。
3. 具体的な適用例
-
Instruction tuning：Criticを用いてタスク指示に従っていない出力を自動的に検出し、改善指示を返すことで高品質なInstruction-tuningデータを得る。
-
データフィルタリング＋再生成：低品質な出力を除去するだけでなく、それを元に再生成を促すことで全体のデータ品質を底上げ。
-
多段階の改善：1回の評価・修正で十分でない場合も、複数回のループにより段階的に精度を向上。
4. メリット
-
人手によるラベル付けの削減
人間によるレビューを模倣できるため、大規模な手動アノテーションのコストを削減可能。 -
自己改善性の実現
システム自体が出力を評価・修正しながら学習・改善できる構造を持ち、自己強化的な学習ループを実装可能。 -
スケーラブルなデータ品質管理
数百万件規模の出力に対しても、同じ評価基準で処理可能。
5. 他技術との補完関係
-
Filterとの違いと連携
Filterは一回限りの品質選別だが、Critic Feedback Loopは改善を目的とした反復処理。Filter後にCriticを用いることで、捨てられる出力を再活用することもできる。 -
自己訓練・自己生成の基盤技術
Criticによるフィードバックループは、Self-InstructやEvol-Instructなどの自己学習技術にも応用可能。
まとめ
AutoGenのCritic Feedback Loopは、合成データ生成の品質向上において中心的な役割を担います。単なるフィルタリングにとどまらず、「批評と改善」の反復によって、高信頼・高精度なデータ生成を持続的に実現する枠組みです。特に、Instruction tuningやカスタムデータ生成において、その実用性は非常に高いものとなっています。
ChatGPT4o 生成日：2025/06/15