8.2 Exibir Resultados do Monitor de Modelo

A página Resultados do Monitor de Modelo exibe os resultados de monitoramento de cada modelo que está sendo monitorado. Ao clicar em qualquer modelo executado com sucesso, você pode exibir a análise detalhada de cada modelo, como desvio de modelo, métricas de modelo, estatísticas de previsão, impacto do recurso, distribuição de previsão e importância preditiva versus desvio para cada recurso. O impacto preditivo versus a importância do desvio para cada recurso monitorado é calculado somente se o monitoramento de dados estiver ativado.

1 Página Resultados do Monitor de Modelo

A página Resultados do Monitor de Modelo lista todos os modelos monitorados pelo monitor. O nome do monitor é exibido na parte superior da página. Conforme visto nesta captura de tela, o nome do monitor Consumo de Energiaé exibido na parte superior. Os modelos GLM_8959AF817, GLMR_0E58D990CD e NN_4C90CF9FB8 monitorados pelo monitor de Consumo de Energia são listados na seção Modelos. Por default, os detalhes de todos os modelos monitorados são exibidos. Você pode optar por exibir os detalhes de um monitor de cada vez desmarcando os outros monitores.

Figura 8-8 Página Resultados do Monitor de Modelo

A página Resultados do Monitor de Modelo compreende estas seções:

• Definições - A seção Definições exibe as definições do monitor de modelo. Clique na seta em Configurações para expandir esta seção. Você tem a opção de editar as definições do monitor de modelo clicando em Editar no canto superior direito da página.

  Figura 8-9 Definições do Monitor de Modelo

  
• Modelos - A seção Modelos lista todos os modelos que são monitorados pelo monitor. Neste exemplo, os modelos GLM_8959AF817, GLMR_0E58D990CD e NN_4C90CF9FB8 monitorados pelo monitor de Consumo de Energia são listados.

  Figura 8-10 Modelos na página Resultados do Monitor de Modelos

  

  Você pode optar por exibir e comparar os resultados de um ou mais modelos monitorados desmarcando os que deseja excluir. Você também pode exibir os resultados de cada recurso do modelo clicando no modelo. Estes resultados - Gráfico de Impacto do Recurso, Distribuição de Previsão e Gráfico de Impacto Preditivo versus Importância de Desvio são exibidos em um painel separado que é exibido. O gráfico Impacto Preditivo versus Importância de Desvio será calculado somente se a opção Monitorar Dados estiver selecionada durante a criação do monitor do modelo.

• Desvio de Modelo - A seção Desvio de Modelo é exibida logo abaixo da seção Modelos. Desvio do modelo é a alteração percentual na métrica de desempenho entre o período de linha de base e o novo período. Um valor negativo indica que o novo período tem uma melhor métrica de desempenho, o que pode acontecer devido ao ruído.

  O eixo X representa o período de análise, e o eixo Y representa os valores de desvio. A linha pontilhada horizontal representa as configurações de limite de desvio que cada monitor obtém por padrão. O padrão abrange o caso de uso típico. No entanto, você pode optar por personalizá-lo com base em um caso de uso específico. A linha representa o valor de desvio para cada ponto no tempo do período de análise. Passe o mouse sobre a linha para ver os valores de desvio. Um desvio acima do limite indica uma mudança significativa nas previsões do modelo. Exceder o limite sugere que a reconstrução e a reimplantação do modelo podem ser necessárias. Se a deriva estiver abaixo do limite, indica que não há alterações suficientes nos dados para justificar uma investigação ou ação adicional. Ou seja, possivelmente reconstruir um modelo de machine learning usando esses dados.

  Figura 8-11 Desvio do Modelo na página Resultados do Monitor de Modelos

  

  Se você quiser exibir os detalhes de desvio de um modelo de cada vez, clique no nome do modelo à direita para marcá-lo ou desmarcá-lo, conforme mostrado aqui.

• Métrica - Esta seção Métrica exibe as métricas calculadas para os modelos selecionados. A métrica calculada é plotada ao longo do eixo y, e o período é plotado ao longo do eixo x. Neste exemplo, a métrica R2 ou R-quadrado é exibida para todos os três modelos. Passe o cursor sobre outros pontos na linha para exibir os detalhes da métrica calculada. O valor de R2 para todos os modelos é igual a 1. Aqui, o valor de R2 para todos os três modelos monitorados é 1. Isso indica que todos os três modelos são adequados para os dados

  Figura 8-12 Métrica

  
  As métricas calculadas para Regressão são:

  • R2 - Uma medida estatística que calcula a proximidade dos dados com a linha de regressão ajustada. Em geral, quanto maior o valor do R-quadrado, melhor o modelo se ajusta aos seus dados. O valor de R2 está sempre entre 0 e 1, em que:
    • 0 indica que o modelo não explica nenhuma variabilidade dos dados de resposta em torno de sua média.
    • 1 indica que o modelo explica toda a variabilidade dos dados de resposta em torno de sua média.
  • Erro médio quadrado - Esta é a média da diferença quadrada de alvos previstos e verdadeiros.
  • Erro Absoluto Médio - Esta é a média da diferença absoluta de alvos previstos e verdadeiros.
  • Erro Absoluto Mediano - Esta é a mediana da diferença absoluta entre alvos previstos e verdadeiros.
  As métricas calculadas para Classificação Binária são:

  • Precisão - Calcula a proporção de casos corretamente classificados - positivos e negativos. Por exemplo, se houver um total de casos classificados corretamente TP (Verdadeiros Positivos)+TN (Verdadeiros Negativos) de TP+TN+FP+FN (Verdadeiro Positives+True Negatives+False Positives+False Negativos), a fórmula será:

    Accuracy = (TP+TN)/(TP+TN+FP+FN)

  • Precisão equilibrada - Avalia o quão bom é um classificador binário. É especialmente útil quando as classes estão desequilibradas, ou seja, quando uma das duas classes aparece muito mais frequentemente do que a outra. Isso geralmente acontece em muitas configurações, como Detecção de Anomalias, etc.
  • ROC AUC (Área sob a Curva ROC) - Fornece uma medida agregada de discriminação, independentemente do limite de decisão. A curva AUC - ROC é uma medida de desempenho para os problemas de classificação em várias configurações de limiar.
  • Recall - Calcula a proporção de positivos reais que está corretamente classificada.
  • Precisão - Calcula a proporção de Positivos previstos que é Verdadeiro Positivo.
  • F1 Pontuação - Combina precisão e recuperação em um único número. F1 - a pontuação é calculada usando a média harmônica que é calculada pela fórmula:

    F1-score = 2 × (precision × recall)/(precision + recall)

  As métricas calculadas para Classificação de Várias Classes são:

  • Exatidão
  • Precisão Balanceada
  • Macro_F1
  • Macro_Precision
  • Macro_Recall
  • Weighted_F1
  • Weighted_Precision
  • Weighted_Recall
• Estatísticas de Previsão - Role para baixo para exibir a seção Estatísticas de Previsão. A estatística de previsão calculada é plotada ao longo do eixo y, e o período é plotado ao longo do eixo x. Nesta captura de tela, o Índice de Estabilidade da População para o Modelo Linear Generalizado - Modelo de regressão GLMR_0E58D990CD para 30/10/10 é exibido. Passe o cursor sobre outros pontos na linha para exibir a métrica calculada.

  Figura 8-13 Estatísticas de Previsão

  

  Clique na lista suspensa para exibir todas as estatísticas de previsão. As estatísticas das previsões do modelo variam de acordo com o tipo de modelo.

  Para Regressão, as estatísticas de previsão calculadas são:

  • Índice de Estabilidade da População - Esta é uma medida de quanto uma população mudou ao longo do tempo ou entre duas amostras diferentes de uma população em um único número. As duas distribuições são agrupadas em blocos, e o PSI compara as percentagens de itens em cada um dos blocos. O PSI é calculado como

    PSI = sum((Actual_% - Expected_%) x ln (Actual_% / Expected_%))

    A interpretação do valor PSI é:

    • PSI < 0.1 não implica alteração significativa da população
    • 0.1 <= PSI < 0.2 implica alteração moderada da população
    • PSI >= 0.2 implica uma mudança significativa na população
  • Min - Este é o valor mais baixo das estatísticas calculadas para o período de análise.
  • Média - Este é o valor médio das estatísticas calculadas para o período de análise.
  • Max - Este é o valor mais alto das estatísticas calculadas para o período de análise.
  • Desvio Padrão - Este é o valor que mostra quanta variação da média existe.
  Para Classificação Binária, as estatísticas de previsão calculadas são:

  • Índice de Estabilidade da População
  • Período
  • Min
  • Máxima
  • Desvio Padrão
  • Distribuição de compartimentos de probabilidades de previsão
  • Distribuição de classe
  Para Classificação de Várias Classes, as estatísticas de previsão calculadas são:

  • Índice de Estabilidade da População
  • Distribuição de Classe

2. Detalhes do Monitor de Modelo

Você pode exibir os detalhes de cada recurso do modelo clicando no nome do modelo. Esses detalhes incluem o gráfico Impacto do Recurso, a Distribuição da Previsão e o gráfico Impacto Preditivo versus Importância da Desvio. Neste exemplo, o modelo GLM_8959AF817 é selecionado.

Figura 8-14 Seleção de modelo para detalhes

Os resultados calculados são exibidos em um painel separado que é exibido. Você pode selecionar até 3 comparações de períodos de análise. Você também tem a opção de ocultar ou mostrar os detalhes da linha de base. Os detalhes calculados dos recursos do modelo são:

• Impacto do Recurso - O gráfico Impacto do Recurso calcula o impacto de cada recurso no modelo para o tempo especificado. O gráfico também oferece a opção de exibir o impacto do recurso em uma escala linear, bem como em uma escala logarítmica. Passe o mouse sobre o gráfico para exibir os detalhes - Nome do Recurso, Data e Impacto do Recurso.
  • Clique em Escala de Log para exibir o cálculo de impacto do recurso em uma escala logarítmica.
  • Clique em para exibir o cálculo de impacto do recurso em um gráfico de linhas.
  • Clique em para exibir o cálculo de impacto do recurso em uma tabela.
  • Clique na lista drop-down Limitar os recursos mais impactantes a para selecionar um valor.

  Figura 8-15 Impacto do Recurso de Visualização em uma escala de forro

  

  Nesta captura de tela, o recurso GLOBAL_INTENSITY, ou seja, a intensidade de corrente média por minuto global do consumo elétrico doméstico é vista como tendo o impacto máximo no modelo GLM_8959AF817 em comparação com os outros recursos. Clique em Escala de Log para exibir o cálculo de impacto do recurso em uma escala logarítmica, conforme mostrado na captura de tela abaixo. Clique em X no canto superior direito do painel para sair.

  Figura 8-16 Impacto do Recurso de Exibição em uma Escala Logarítmica

  
• Distribuição de Previsão - Role para baixo para exibir a Distribuição de Previsão. A Distribuição de Previsão é plotada para cada período de análise. Os dados da Linha de Base são exibidos, se selecionados. As caixas são traçadas ao longo do eixo X e os valores ao longo do eixo Y. Passe o mouse sobre cada histograma para exibir os detalhes calculados. Clique em X no canto superior direito do painel para sair.

  Figura 8-17 Distribuição de Previsão

  
• Impacto Preditivo versus Importância da Desvio - Role mais para baixo no painel para exibir o gráfico Impacto da Previsão versus Importância da Desvio. Este gráfico ajuda a entender como os recursos mais impactantes se desviam ao longo do tempo. A Importância do Recurso de Desvio é plotada ao longo do eixo Y e o Impacto do Recurso de Previsão é plotado ao longo do eixo X. Clique em X no canto superior direito do painel para sair.

  Observação:

  O gráfico Impacto da Previsão x Importância da Desvio será calculado somente se você selecionar a opção Monitorar Dados ao criar o monitor do modelo.

  Figura 8-18 Impacto do Recurso Preditivo versus Importância da Desvio

  

  Nesta captura de tela, você pode ver que o recurso GLOBAL_INTENSITY tem o impacto máximo no modelo preditivo selecionado GLM_8959AF817 em comparação com os outros recursos - SUB_METERING_3, GLOBAL_REACTIVE_POWER, VOLTAGE e SUB-METERING_1.