Treinar e Implantar o Modelo

Depois que os dados forem apagados, preparados e movidos para o Object Storage, você estará pronto para treinar e implantar o modelo.

Crie e Treine o Modelo

Ao criar o modelo, você especifica o ativo de dados de treinamento e define alguns parâmetros. O modelo é treinado automaticamente quando você o cria.

O diagrama a seguir mostra o processo.

Veja a seguir a descrição da ilustração training-flow.png
Descrição da ilustração training-flow.png

Este é o processo para criar e treinar um modelo:

  1. Crie um projeto. Você cria um projeto em um compartimento no OCI e dá ao projeto um nome. O compartimento pode ser um especificamente para manter um ou mais projetos de detecção de anomalias.
  2. Especifique o ativo de dados de treinamento, que é um arquivo no Object Storage. O Arquivo deve estar limpo e pronto para treinamento. Se não for, você poderá usar serviços OCI, como o Data Science, para fazer a limpeza e o pré-processamento. O arquivo pode estar no formato CSV ou no formato JSON.
  3. Crie o modelo. Ao criar o modelo, você seleciona o ativo de dados de treinamento e define a Probabilidade de Alarme Falsa e o Índice de Fração de Treinamento. O modelo é treinado como parte do processo de criação.

A documentação do Anomaly Detection Service tem instruções detalhadas sobre como fazer isso. Você pode usar a interface do usuário da console ou pode usar a API REST.

Aqui está uma orientação sobre como definir a probabilidade de alarme falso e a razão de fração de trem:

Probabilidade do Alarme Falso
Essa é a probabilidade de uma anomalia detectada não ser na verdade uma anomalia. Defina esse valor para estar próximo ao mesmo nível da porcentagem de anomalias que você encontra em cenários de negócios reais. Um valor 0.01 (1%) é apropriado para muitos cenários. Quanto menor o valor, mais tempo leva para treinar o modelo. Além disso, se você definir a probabilidade de alarme falso de destino muito baixa, o modelo poderá não atingir o destino.
Índice de Fração de Treinamento
Esse é o volume de dados usado para treinamento. Por exemplo, o valor 0.7 especifica que 70% dos dados são usados para treinamento e 30% são usados para testar e avaliar o desempenho do modelo.

Implantar e Testar o Modelo

Depois de criar o modelo, implante-o antes de usá-lo.

Quando o modelo é implantado, ele está pronto para receber dados que você deseja testar anomalias.

Você pode usar a UI da Console para implantar o modelo ou usar a API REST. Ao implantar o modelo, você dá a ele um nome. Você também pode atribuir uma descrição a ela, mas isso é opcional. Um modelo pode ter mais de uma implantação.

A captura de tela a seguir mostra um exemplo de modelo na interface de usuário da console. Para adicionar uma implantação, clique no botão Adicionar Implantação.

Veja a seguir a descrição da ilustração add-deployment.png
Descrição da ilustração add-deployment.png

Detectar Variáveis

Você pode enviar dados para detecção de anomalias em lotes ou pode detectar anomalias no fluxo de dados.

O diagrama a seguir ilustra uma arquitetura de processamento em batch.

Veja a seguir a descrição da ilustração predictions-batch-flow.png
Descrição da ilustração predictions-batch-flow.png

Os lotes são processados da seguinte forma:

  1. Os dados são coletados em um bucket do serviço Object Storage do Streaming ou de outros bancos de dados por meio do Oracle Data Integration.
  2. O Object Storage é a zona de destino dos dados do lote a serem processados pelo serviço de Detecção de Anomalia.
  3. O pré-processamento de dados pode ser realizado em aplicativos hospedados, contêineres ou por meio de funções sem servidor. Os dados processados são enviados para o serviço de Detecção de Anomalia.
  4. O serviço de detecção de anomalias faz previsões usando o modelo que foi treinado e implantado durante a fase de treinamento.
  5. As inferências produzidas pelo serviço Anomaly Detection tornam-se ações imediatas enviadas a aplicativos ou plataformas de notificação via REST.
  6. Os resultados da inferência do serviço de Detecção de anomalias podem ser armazenados no armazenamento de objetos para uso posterior em serviços de análise, registro e notificação.

A arquitetura de streaming é mais complexa do que a arquitetura em lote, mas é necessária quando você deseja detectar anomalias em tempo real ou quase em tempo real.

O diagrama a seguir ilustra uma arquitetura de transmissão.

Veja a seguir a descrição da ilustração predictions-streaming-flow.png
Descrição da ilustração predictions-streaming-flow.png
  1. O serviço de streaming processa dados de diferentes origens de dados de streaming.
  2. O pré-processamento de dados, se necessário, é realizado em aplicativos hospedados, contêineres ou por meio de funções sem servidor. Os dados processados são enviados para a interface do fluxo do serviço Anomaly Detection. Se os dados forem bem conhecidos e nenhum processamento adicional for necessário, o fluxo poderá se conectar diretamente ao serviço de Detecção de Anomalia.
  3. O serviço de detecção de anomalias faz previsões usando o modelo treinado e implantado durante a fase de treinamento.
  4. O serviço de detecção de anomalias publica inferências em um fluxo de saída para ações a serem tomadas e registro.
  5. As inferências produzidas pelo serviço Anomaly Detection se tornam ações imediatas enviadas a aplicativos ou plataformas de notificação por meio de aplicativos em VMs ou contêineres ou por meio de Funções sem servidor.
  6. O fluxo de saída do serviço de Detecção de Anomalia pode preencher um pipeline para operações e análises posteriores.

Os resultados da inferência do serviço de Detecção de anomalias podem ser armazenados no armazenamento de objetos para uso posterior em serviços de análise, registro e notificação.