8 Conceitos Básicos do Monitoramento de Modelos

O monitoramento de modelo permite monitorar a qualidade das previsões de modelo ao longo do tempo e ajuda você a obter insights sobre as causas dos problemas de qualidade do modelo.

A página Monitor de Modelo permite criar, executar e rastrear monitores e resultados de modelo. Esta página lista os monitores de modelo. Você pode visualizar o desvio do modelo selecionando um único monitor de interesse do modelo, conforme mostrado na captura de tela abaixo. Nesta captura de tela, o monitor Consumo de Energia é selecionado. No painel inferior da página Monitores de Modelo, a Desvio de Modelo do monitor selecionado é exibida. O eixo X representa o período de análise, e o eixo Y representa os valores de desvio do modelo. A linha pontilhada vermelha horizontal é o valor limite. A linha representa o valor de desvio para cada ponto no tempo do período de análise. Passe o mouse sobre a linha para ver os valores de desvio.

Figura 8-1 Página Monitores de Modelo

Você pode executar as seguintes tarefas na página Monitores de Modelo:

• Criar: Crie um monitor de modelo.
• Editar: Selecione um monitor de modelo e clique em Editar para editar o monitor.
• Duplicar: Selecione um monitor de modelo e clique em Duplicar para criar uma cópia do monitor.
• Excluir: Selecione um monitor de modelo e clique em Excluir para excluir o monitor de modelo.
• Histórico: Selecione um monitor de modelo e clique em Histórico para exibir os detalhes de runtime do monitor de modelo. Se houver um job de monitoramento de dados associado ao monitor de modelo, os detalhes de runtime do monitor de dados serão exibidos no painel inferior. Clique em Voltar aos Monitores para voltar à página Monitoramento de Modelo.
• Iniciar: inicie um monitor de modelo.
• Interromper: Interrompa um monitor de modelo que esteja em execução.
• Mais: Selecione um monitor de modelo, clique em Mais e, em seguida, clique em:
  • Ativar: Ative uma programação de monitor de modelo. Por padrão, o monitor de modelo é ativado. O status é exibido como SCHEDULED.
  • Desativar: desative uma programação de monitor de modelo. O status é exibido como DISABLED.
  • Mostrar Monitores Gerenciados: Clique nesta opção para exibir os modelos criados e gerenciados pela API REST de Serviços OML.

A página Monitores de Modelo exibe as seguintes informações sobre os monitores de modelo:

• Nome: Este é o nome do monitor de modelo.
• Monitor de Dados: A marca de seleção nesta coluna indica que há um job do monitor de dados associado ao monitor de modelo. Clique nos três pontos a serem exibidos:

  Figura 8-2 Exibir Resultados e Configurações do Monitor de Dados

  
  • Resultados: Exibe os resultados de monitoramento de dados calculados pelo job do monitor de dados. O nome do monitor de dados é gerado automaticamente junto com o prefixo OML. Os recursos de desvio de dados e monitorados, juntamente com as estatísticas calculadas, são exibidos no modo somente exibição em uma página separada. Clique em Monitores no canto superior esquerdo para retornar à página Monitores de Modelo. Clique em Detalhes no canto superior direito para exibir as definições do monitor de dados.

    Figura 8-3 Resultados do Monitor de Dados

    
  • Definições: Exibe as definições do monitor de dados, as definições adicionais e os recursos monitorados no modo somente para exibição. Clique em Voltar no canto superior direito da página para retornar à página Monitores de Modelo.

    Figura 8-4 Configurações do Monitor de Dados

    
• Dados da Linha de Base: Esta é uma tabela ou view que contém dados da linha de base a serem monitorados.
• Novos Dados: Esta é uma tabela ou view com novos dados a serem comparados com os dados da linha de base.
• Última Data Inicial: Esta é a data em que o monitor do modelo foi iniciado pela última vez.
• Último Status: Este é o status mais recente do monitor de modelo. Os status são SUCCEEDED, FAILED, RUNNING, SCHEDULED.
• Data da Última Execução: Esta é a data em que a próxima execução está programada.
• Status: Este é o status atual do monitor de modelo.
• Programação: Esta é a frequência do job de monitoramento, ou seja, com que frequência o monitor de modelo é definido para ser executado nos Novos Dados.

• Criar um Monitor de Modelo
  Um monitor de modelo ajuda a monitorar vários modelos compatíveis e calcular o gráfico de divergência de modelo. Modelos compatíveis referem-se aos modelos que são treinados na mesma função de destino e mineração. O gráfico de desvio do modelo consiste em várias séries de pontos de desvio de dados, um para cada modelo monitorado.
• Exibir Resultados do Monitor de Modelo
  A página Resultados do Monitor de Modelo exibe os resultados do monitoramento de cada modelo que está sendo monitorado. Ao clicar em qualquer modelo executado com sucesso, você pode exibir a análise detalhada de cada modelo, como desvio de modelo, métricas de modelo, estatísticas de previsão, impacto do recurso, distribuição de previsão e importância preditiva versus desvio para cada recurso. O impacto preditivo versus a importância do desvio para cada recurso monitorado é calculado somente se o monitoramento de dados estiver ativado.
• Exibir Histórico do Modelo
  A página Histórico exibe os detalhes de runtime dos monitores de modelo.