AI Agent Studioでエージェントを監視するためのRAG評価メトリック

エージェント評価に、ドキュメント・ツールを使用して生成された回答の品質を評価するための検索拡張生成(RAG)メトリックが含まれるようになりました。これらの指標は、エージェントが取得したコンテキストをどの程度効果的に使用して、正確で根拠のある応答を生成するかをより詳細に可視化します。

主な更新:

新規評価メトリック:
- Groundedness (Faithfulness) - 回答が取得した内容とどの程度一致しているかを測定します。
- 回答の関連性- 回答がユーザーの質問にどのように直接対処するかを評価します。
- コンテキスト関連性- 取得されたコンテキストの品質と妥当性を評価します。
ファインチューニングされた業界標準の評価テンプレートを使用して、LLM-as-a-Judge手法を使用します。

AI Agent Studioの「モニタリングと評価」タブからRAGメトリックを表示できます。

新しい評価指標は、RAGベースの応答の透明性と品質測定を強化し、エージェントの検索と推論のパフォーマンスを継続的に向上させます。

有効化および構成ステップ

AI Agent Studioを使用するにはアクセス権が必要です。