Bildmoderation
Verwenden Sie die Bildmoderation in OCI Generative AI Guardrails, um Images auf unsichere Inhalte auszuwerten.
Die Bildmoderation erweitert die bestehende Content-Moderationsfunktion auf Bildeingaben. Ab Guardrails-Systemversion 1.1.0 können Sie mit der API ApplyGuardrails Standalone-Images oder multimodale Anforderungen auswerten, die sowohl Text als auch Bilder enthalten.
Die Bildmoderation hilft dabei, unsichere Inhalte in vom Benutzer hochgeladenen Bildern, generierten Bildern, Screenshots und Bildern zu identifizieren, die eingebetteten Text enthalten.
Informationen zur Versionsauswahl finden Sie unter Workflow für Versionsauswahl. Informationen zur Konfiguration der gemeinsamen Anforderung finden Sie unter API ApplyGuardrails verwenden.
Bildeingaben verwenden
Um Imageinhalt auszuwerten, verwenden Sie multimodalInput anstelle von input, und geben Sie eine Guardrails-Systemversion an, die Imagemoderation unterstützt, wie 1.1.0 oder eine neuere Version.
Anforderungen können nur Bildinhalte oder eine Kombination aus Text und Bildern enthalten. Wenn sowohl Text- als auch Bildinhalte in derselben Anforderung enthalten sind, wird jede Modalität unabhängig ausgewertet.
Das Feld multimodalInput kann Elemente mit den folgenden type-Werten enthalten:
TEXTIMAGE
Folgende Bildformate werden unterstützt:
- JPEG
- PNG
- WebP
Eine einzelne Anforderung kann maximal fünf Bilder enthalten. Wenn Sie Text mit Bildern verwenden, nehmen Sie nur ein TEXT-Element in multimodalInput auf. Wenn Sie mehrere Textwerte haben, kombinieren Sie diese zu einem einzelnen TEXT-Element, bevor Sie die Anforderung weiterleiten.
Moderationsergebnisse
Bei der Bildmoderation wird kein separates Antwortobjekt für die Bildmoderation eingeführt. Stattdessen werden die Ergebnisse der Bildmoderation als Teil des vorhandenen contentModeration-Ergebnisses zurückgegeben, einschließlich des vorhandenen OVERALL-Scores.
Das Feld flaggedModalities gibt an, welche Eingabemodalität erkannt oder zum Moderationsergebnis beigetragen hat.
Folgende Modalitätswerte werden unterstützt:
TEXTIMAGE
Beispiel: Wenn unsicherer Inhalt nur in einem Image erkannt wird, enthält die Kategorie OVERALL Folgendes:
"flaggedModalities": ["IMAGE"]
Wenn sowohl Text- als auch Bildinhalte zum Moderationsergebnis beitragen, enthält die Antwort beide Modalitäten:
"flaggedModalities": ["TEXT", "IMAGE"]
Verwenden Sie die Ergebnisse der zurückgegebenen Inhaltsmoderation, um Aktionen in der Anwendung auszuführen, wie Logging-Erkennungen, Warnungsbenutzer oder Blockierungsanforderungen.
Limits für Bildmoderation und Validierung
Bildeingaben unterliegen einer Bild-Token-Drosselung. Der Standardgrenzwert für Image-Token beträgt etwa 200.000 Image-Token pro Minute. Wenn Sie mehr benötigen, fordern Sie eine Erhöhung des Servicelimits an.
Jede Bildeingabe kann bis zu 170 Millionen Pixel enthalten. Bildmoderationsanforderungen werden vor der Verarbeitung validiert. Eine Anforderung kann fehlschlagen, wenn multimodalInput die unterstützten Eingabeanforderungen nicht erfüllt.
| Bedingung | Fehlerdetail | Aktion |
|---|---|---|
| Mehr als fünf Bilder werden bereitgestellt | Guardrails-API unterstützt nicht mehr als fünf Images in multimodalInput. |
Senden Sie nicht mehr als fünf Bilder in einer einzigen Anfrage. |
Mehrere TEXT-Elemente werden in multimodalInput mit Bildern bereitgestellt |
Mehr als eine Texteingabe zusammen mit Bildern wird nicht unterstützt. | Kombinieren Sie den gesamten Text in einem einzelnen TEXT-Element, bevor Sie die Anforderung weiterleiten. |
| Die ausgewählte Guardrails-Systemversion unterstützt keine Imagemoderation | Guardrails-Version fehlt, oder die angegebene Version enthält keine Bildmoderationsunterstützung. | Nehmen Sie guardrailVersionConfig auf, und setzen Sie guardrailVersion auf 1.1.0 oder eine spätere unterstützte Version. |
| Bildeingabe überschreitet 170 Millionen Pixel | Die Bildgröße überschreitet das maximale Pixellimit. | Ändern Sie die Größe des Bildes, und leiten Sie die Anforderung erneut weiter. |