Moderación de imágenes

Utiliza la moderación de imágenes en OCI Generative AI Guardrails para evaluar imágenes en busca de contenido no seguro.

La moderación de imagen extiende la función de moderación de contenido existente a las entradas de imagen. A partir de la versión 1.1.0 del sistema Guardrails, puede utilizar la API ApplyGuardrails para evaluar imágenes autónomas o solicitudes multimodales que incluyan texto e imágenes.

La moderación de imágenes ayuda a identificar contenido inseguro en imágenes cargadas por el usuario, imágenes generadas, capturas de pantalla e imágenes que contienen texto incrustado.

Para la selección de versiones, consulte Flujo de trabajo de selección de versiones. Para la configuración de solicitud compartida, consulte Uso de la API ApplyGuardrails.

Uso de entradas de imagen

Para evaluar el contenido de la imagen, utilice multimodalInput en lugar de input y especifique una versión del sistema Guardrails que soporte la moderación de imágenes, como 1.1.0 o una versión posterior.

Las solicitudes pueden incluir contenido de solo imagen o una combinación de texto e imágenes. Cuando tanto el contenido de texto como de imagen se incluyen en la misma solicitud, cada modalidad se evalúa de forma independiente.

El campo multimodalInput puede incluir elementos con los siguientes valores type:

  • TEXT
  • IMAGE

Los formatos de imagen soportados incluyen:

  • JPEG
  • PNG
  • WebP

Una sola solicitud puede incluir un máximo de cinco imágenes. Al utilizar texto con imágenes, incluya solo un elemento TEXT en multimodalInput. Si tiene varios valores de texto, combínelos en un único elemento TEXT antes de enviar la solicitud.

Resultados de moderación

La moderación de imagen no introduce un objeto de respuesta de moderación de imagen independiente. En su lugar, los resultados de la moderación de imágenes se devuelven como parte del resultado contentModeration existente, incluida la puntuación OVERALL existente.

El campo flaggedModalities identifica qué modalidad de entrada se detectó o contribuyó al resultado de la moderación.

Los valores de modalidad admitidos son:

  • TEXT
  • IMAGE

Por ejemplo, si se detecta contenido no seguro solo en una imagen, la categoría OVERALL incluye:

"flaggedModalities": ["IMAGE"]

Si tanto el contenido de texto como el de imagen contribuyen al resultado de moderación, la respuesta incluye ambas modalidades:

"flaggedModalities": ["TEXT", "IMAGE"]

Utilice los resultados de moderación de contenido devueltos para realizar acciones en la aplicación, como detecciones de registro, usuarios de advertencia o solicitudes de bloqueo.

Límites y validación de la moderación de imágenes

Las entradas de imagen están sujetas a limitación de token de imagen. El límite predeterminado de token de imagen es de aproximadamente 200 000 tokens de imagen por minuto. Si necesita más, solicite un aumento del límite de servicio.

Cada entrada de imagen puede contener hasta 170 millones de píxeles. Las solicitudes de moderación de imágenes se validan antes del procesamiento. Una solicitud puede fallar cuando multimodalInput no cumple los requisitos de entrada soportados.

Condición Detalle de error Acción
Se proporcionan más de cinco imágenes La API de Barandillas no soporta más de cinco imágenes en multimodalInput. Envíe no más de cinco imágenes en una sola solicitud.
Se proporciona más de un elemento TEXT en multimodalInput con imágenes No se admite más de una entrada de texto junto con imágenes. Combine todo el texto en un solo elemento TEXT antes de enviar la solicitud.
La versión del sistema Guardrails seleccionada no admite la moderación de imágenes Falta la versión de las guías o la versión especificada no incluye soporte de moderación de imágenes. Incluya guardrailVersionConfig y defina guardrailVersion en 1.1.0 o una versión soportada posterior.
La entrada de imagen supera los 170 millones de píxeles El tamaño de la imagen supera el límite máximo de píxeles. Cambie el tamaño de la imagen y vuelva a enviar la solicitud.