イメージ・モデレーション

OCI Generative AI Guardrailsでイメージのモデレーションを使用して、安全でないコンテンツのイメージを評価します。

イメージ・モデレーションは、既存のコンテンツ・モデレーション機能をイメージ入力に拡張します。Guardrailsシステム・バージョン1.1.0以降では、ApplyGuardrails APIを使用して、テキストとイメージの両方を含むスタンドアロン・イメージまたはマルチモーダル・リクエストを評価できます。

イメージ・モデレーションは、ユーザーがアップロードしたイメージ、生成されたイメージ、スクリーン・ショットおよび埋込みテキストを含むイメージ内の安全でないコンテンツを識別するのに役立ちます。

バージョンの選択については、Version Selection Workflowを参照してください。共有リクエスト構成については、「ApplyGuardrails APIの使用」を参照してください。

イメージ入力の使用

イメージ・コンテンツを評価するには、inputのかわりにmultimodalInputを使用し、イメージ・モデレーションをサポートするGuardrailsシステム・バージョン(1.1.0以降のバージョンなど)を指定します。

リクエストには、イメージのみのコンテンツ、またはテキストとイメージの組合せを含めることができます。テキスト・コンテンツとイメージ・コンテンツの両方が同じリクエストに含まれている場合、各モダリティは個別に評価されます。

multimodalInputフィールドには、次のtype値を持つアイテムを含めることができます。

TEXT
IMAGE

サポートされるイメージ形式は次のとおりです。

JPEG
PNG
WebP

1つのリクエストに最大5つのイメージを含めることができます。イメージとともにテキストを使用する場合は、multimodalInputに1つのTEXTアイテムのみを含めます。複数のテキスト値がある場合は、リクエストを送信する前に、それらを1つのTEXTアイテムに結合します。

モデレート結果

イメージ・モデレーションでは、別個のイメージ・モデレーション・レスポンス・オブジェクトは導入されません。かわりに、イメージ・モデレーション結果は、既存のOVERALLスコアを含む既存のcontentModeration結果の一部として返されます。

flaggedModalitiesフィールドは、モデレーション結果に検出または寄与した入力モダリティを識別します。

サポートされているモダリティ値は次のとおりです。

TEXT
IMAGE

たとえば、安全でないコンテンツがイメージでのみ検出された場合、OVERALLカテゴリには次のものが含まれます。

"flaggedModalities": ["IMAGE"]

テキスト・コンテンツとイメージ・コンテンツの両方がモデレーション結果に寄与する場合、レスポンスには両方のモーダリティが含まれます。

"flaggedModalities": ["TEXT", "IMAGE"]

返されたコンテンツ・モデレーション結果を使用して、検出のロギング、警告ユーザー、ブロック・リクエストなどのアクションをアプリケーションで実行します。