Documentation sur Oracle Cloud Infrastructure

Modération d'image

Utilisez la modération d'image dans les limites de protection du service d'intelligence artificielle générative pour OCI afin d'évaluer les images pour un contenu non sécurisé.

La modération d'image étend la fonction de modération de contenu existante aux entrées d'image. À partir de la version du système Guardrails 1.1.0, vous pouvez utiliser l'API ApplyGuardrails pour évaluer des images autonomes ou des demandes multimodales qui incluent à la fois du texte et des images.

La modération d'image permet d'identifier le contenu dangereux dans les images téléchargées par l'utilisateur, les images générées, les captures d'écran et les images contenant du texte intégré.

Pour la sélection de version, voir Flux de travail de sélection de version. Pour la configuration de demande partagée, voir Utilisation de l'API ApplyGuardrails.

Utilisation des entrées d'image

Pour évaluer le contenu de l'image, utilisez multimodalInput au lieu de input et spécifiez une version du système Guardrails qui prend en charge la modération d'image, telle que 1.1.0 ou une version ultérieure.

Les demandes peuvent inclure du contenu image seule ou une combinaison de texte et d'images. Lorsque le texte et le contenu de l'image sont inclus dans la même demande, chaque modalité est évaluée indépendamment.

Le champ multimodalInput peut inclure des éléments avec les valeurs type suivantes :

  • TEXT
  • IMAGE

Les formats d'image pris en charge sont les suivants :

  • JPEG
  • PNG
  • WebP

Une seule demande peut inclure un maximum de cinq images. Lorsque vous utilisez du texte avec des images, incluez un seul élément TEXT dans multimodalInput. Si vous avez plusieurs valeurs de texte, combinez-les en un seul élément TEXT avant de soumettre la demande.

Résultats de modération

La modération d'image n'introduit pas d'objet de réponse de modération d'image distinct. À la place, les résultats de modération d'image sont retournés dans le cadre du résultat contentModeration existant, y compris la note OVERALL existante.

Le champ flaggedModalities identifie la modalité d'entrée qui a été détectée ou qui a contribué au résultat de la modération.

Les valeurs de modalité prises en charge sont les suivantes :

  • TEXT
  • IMAGE

Par exemple, si un contenu non sécurisé est détecté uniquement dans une image, la catégorie OVERALL comprend :

"flaggedModalities": ["IMAGE"]

Si le texte et le contenu de l'image contribuent au résultat de la modération, la réponse inclut les deux modalités :

"flaggedModalities": ["TEXT", "IMAGE"]

Utilisez les résultats de modération de contenu retournés pour effectuer des actions dans l'application, telles que des détections de journalisation, des avertissements aux utilisateurs ou des demandes de blocage.

Limites et validation de modération d'image

Les entrées d'image sont soumises à la limitation du jeton d'image. La limite de jetons d'image par défaut est d'environ 200 000 jetons d'image par minute. Si vous en avez besoin, demandez une augmentation de limite de service.

Chaque entrée d'image peut contenir jusqu'à 170 millions de pixels. Les demandes de modération d'image sont validées avant le traitement. Une demande peut échouer lorsque multimodalInput ne répond pas aux exigences d'entrée prises en charge.

Condition Détail de l'erreur Action
Plus de cinq images sont fournies L'API Guardrails ne prend pas en charge plus de cinq images dans multimodalInput. Ne soumettez pas plus de cinq images dans une seule demande.
Plus d'un élément TEXT est fourni dans multimodalInput avec des images Plus d'une entrée de texte avec des images n'est pas prise en charge. Combinez tout le texte dans un seul élément TEXT avant de soumettre la demande.
La version du système Guardrails sélectionnée ne prend pas en charge la modération d'image La version Guardrails est manquante ou la version spécifiée n'inclut pas la prise en charge de la modération d'image. Incluez guardrailVersionConfig et réglez guardrailVersion à 1.1.0 ou à une version prise en charge ultérieure.
L'entrée d'image dépasse 170 millions de pixels La taille de l'image dépasse la limite maximale de pixels. Redimensionnez l'image et resoumettez la demande.