Documentação do Oracle Cloud Infrastructure

Moderação da imagem

Use a moderação de imagem no OCI Generative AI Guardrails para avaliar imagens em busca de conteúdo não seguro.

A moderação de imagem estende o recurso de moderação de conteúdo existente para entradas de imagem. A partir do sistema Guardrails versão 1.1.0, você pode usar a API ApplyGuardrails para avaliar imagens stand-alone ou solicitações multimodais que incluem texto e imagens.

A moderação de imagem ajuda a identificar conteúdo inseguro em imagens carregadas pelo usuário, imagens geradas, capturas de tela e imagens que contêm texto incorporado.

Para seleção de versão, consulte Workflow de Seleção de Versão. Para obter a configuração da solicitação compartilhada, consulte Usando a API ApplyGuardrails.

Utilizando Entradas de Imagem

Para avaliar o conteúdo da imagem, use multimodalInput em vez de input e especifique uma versão do sistema do Guardrails que suporte moderação de imagem, como 1.1.0 ou uma versão posterior.

As solicitações podem incluir conteúdo somente de imagem ou uma combinação de texto e imagens. Quando o conteúdo do texto e da imagem são incluídos na mesma solicitação, cada modalidade é avaliada de forma independente.

O campo multimodalInput pode incluir itens com os seguintes valores type:

  • TEXT
  • IMAGE

Os formatos de imagem suportados incluem:

  • JPEG
  • PNG
  • WebP

Uma única solicitação pode incluir no máximo cinco imagens. Ao usar texto com imagens, inclua apenas um item TEXT no multimodalInput. Se você tiver vários valores de texto, combine-os em um único item TEXT antes de enviar a solicitação.

Resultados da moderação

A moderação de imagem não introduz um objeto de resposta de moderação de imagem separado. Em vez disso, os resultados da moderação de imagem são retornados como parte do resultado contentModeration existente, incluindo a pontuação OVERALL existente.

O campo flaggedModalities identifica qual modalidade de entrada foi detectada ou contribuiu para o resultado da moderação.

Os valores de modalidade suportados são:

  • TEXT
  • IMAGE

Por exemplo, se o conteúdo inseguro for detectado apenas em uma imagem, a categoria OVERALL incluirá:

"flaggedModalities": ["IMAGE"]

Se o conteúdo do texto e da imagem contribuir para o resultado da moderação, a resposta incluirá as duas modalidades:

"flaggedModalities": ["TEXT", "IMAGE"]

Use os resultados de moderação de conteúdo retornados para tomar medidas no aplicativo, como registrar detecções, avisar usuários ou bloquear solicitações.

Limites e Validação de Moderação de Imagem

As entradas de imagem estão sujeitas a limitação de token de imagem. O limite padrão de token de imagem é de cerca de 200.000 tokens de imagem por minuto. Se precisar de mais, solicite um aumento no limite de serviço.

Cada entrada de imagem pode conter até 170 milhões de pixels. As solicitações de moderação de imagem são validadas antes do processamento. Uma solicitação poderá falhar quando multimodalInput não atender aos requisitos de entrada suportados.

Condição Detalhe do Erro Ação
Mais de cinco imagens são fornecidas A API do Guardrails não suporta mais de cinco imagens no multimodalInput. Não envie mais do que cinco imagens em uma única solicitação.
Mais de um item TEXT é fornecido no multimodalInput com imagens Não há suporte para mais de uma entrada de texto com imagens. Combine todo o texto em um único item TEXT antes de enviar a solicitação.
A versão do sistema Guardrails selecionada não suporta moderação de imagem A versão do Guardrails está ausente ou a versão especificada não inclui suporte para moderação de imagem. Inclua guardrailVersionConfig e defina guardrailVersion como 1.1.0 ou uma versão mais recente suportada.
A entrada da imagem excede 170 milhões de pixels O tamanho da imagem excede o limite máximo de pixels. Redimensione a imagem e reenvie a solicitação.