8.2 Visualizza risultati monitoraggio modello

Nella pagina Risultati monitoraggio modello vengono visualizzati i risultati del monitoraggio di ciascun modello monitorato. Facendo clic su qualsiasi modello eseguito correttamente, è possibile visualizzare l'analisi dettagliata di ciascun modello, ad esempio la deviazione del modello, le metriche del modello, le statistiche di previsione, l'impatto delle funzioni, la distribuzione delle previsioni e l'importanza predittiva rispetto alla deriva per ciascuna funzione. L'importanza dell'impatto predittivo rispetto alla deriva per ogni funzione monitorata viene calcolata solo se il monitoraggio dei dati è abilitato.

1 Pagina Risultati controllo modello

La pagina Risultati monitoraggio modello elenca tutti i modelli monitorati dal monitoraggio. Il nome del monitoraggio viene visualizzato nella parte superiore della pagina. Come illustrato in questo screenshot, il nome del monitor Consumo energia viene visualizzato nella parte superiore. I modelli GLM_8959AF817, GLMR_0E58D990CD e NN_4C90CF9FB8 monitorati dal monitor Consumo energia sono elencati nella sezione Modelli. Per impostazione predefinita, vengono visualizzati i dettagli di tutti i modelli monitorati. È possibile scegliere di visualizzare i dettagli di un monitor alla volta deselezionando gli altri monitor.

Figura 8-8 Pagina Risultati monitoraggio modello

La pagina Risultati controllo modello comprende le sezioni riportate di seguito.

• Impostazioni: nella sezione Impostazioni vengono visualizzate le impostazioni di monitoraggio del modello. Fare clic sulla freccia contro Impostazioni per espandere questa sezione. È possibile modificare le impostazioni di monitoraggio del modello facendo clic su Modifica nell'angolo superiore destro della pagina.

  Figura 8-9 Impostazioni monitor modello

  
• Modelli: la sezione Modelli elenca tutti i modelli monitorati dal monitoraggio. In questo esempio vengono elencati i modelli GLM_8959AF817, GLMR_0E58D990CD e NN_4C90CF9FB8 monitorati dal monitoraggio Power Consumption.

  Figura 8-10 Modelli nella pagina Risultati monitoraggio modelli

  

  È possibile scegliere di visualizzare e confrontare i risultati di uno o più modelli monitorati deselezionando quelli che si desidera escludere. È inoltre possibile visualizzare i risultati di ciascuna feature del modello facendo clic sul modello. Questi risultati, ovvero il grafico Impatto funzione, Distribuzione previsione e Impatto predittivo rispetto a Importanza deviazione, vengono visualizzati in un riquadro separato in cui viene visualizzata la diapositiva. Il grafico Impatto predittivo rispetto a Importanza deviazione viene calcolato solo se l'opzione Monitora dati è selezionata durante la creazione del monitoraggio del modello.

• Deriva modello: la sezione Deriva modello viene visualizzata appena sotto la sezione Modelli. La deviazione del modello è la variazione percentuale nella metrica delle prestazioni tra il periodo baseline e il nuovo periodo. Un valore negativo indica che il nuovo periodo ha una metrica delle prestazioni migliore che potrebbe verificarsi a causa di rumore.

  L'asse X rappresenta il periodo di analisi e l'asse Y rappresenta i valori di deriva. La linea tratteggiata orizzontale rappresenta le impostazioni delle soglie di deviazione ottenute da ciascun monitor per impostazione predefinita. Il valore predefinito copre il caso d'uso tipico. Tuttavia, è possibile scegliere di personalizzarlo in base a un caso d'uso specifico. La linea rappresenta il valore di deriva per ogni point-in-time per il periodo di analisi. Passare il puntatore del mouse sulla linea per visualizzare i valori di deviazione. Una deviazione al di sopra della soglia indica un cambiamento significativo nelle previsioni del modello. Il superamento della soglia suggerisce che potrebbe essere necessario ricreare e ridistribuire il modello. Se la deriva è inferiore alla soglia, indica che i dati non sono sufficientemente modificati per giustificare ulteriori indagini o azioni. Cioè, forse ricostruire un modello di machine learning utilizzando questi dati.

  Figura 8-11 Deviazione del modello nella pagina Risultati monitoraggio modelli

  

  Se si desidera visualizzare i dettagli di deviazione di un modello alla volta, fare clic sul nome del modello sulla destra per selezionarlo o deselezionarlo, come mostrato qui.

• Metrica: questa sezione Metrica visualizza le metriche calcolate per i modelli selezionati. La metrica calcolata viene tracciata lungo l'asse y e il periodo di tempo viene tracciato lungo l'asse x. In questo esempio viene visualizzata la metrica R2 o R-squared per tutti e tre i modelli. Passare il cursore su altri punti della linea per visualizzare i dettagli della metrica calcolata. Il valore di R2 per tutti i modelli è pari a 1. Il valore di R2 per tutti e tre i modelli monitorati è 1. Ciò indica che tutti e tre i modelli sono adatti per i dati

  Figura 8-12 Metrica

  
  Di seguito sono riportate le metriche calcolate per la regressione.

  • R2: misura statistica che calcola la distanza tra i dati e la linea di regressione adattata. In generale, maggiore è il valore di R-squared, migliore è il modello adatto ai dati. Il valore di R2 è sempre compreso tra 0 e 1, dove:
    • 0 indica che il modello non spiega alcuna variabilità dei dati di risposta intorno alla media.
    • 1 indica che il modello spiega tutta la variabilità dei dati di risposta intorno alla sua media.
  • Si tratta della media della differenza quadrata tra obiettivi previsti e veri.
  • Si tratta della differenza assoluta tra obiettivi previsti e veri.
  • Errore assoluto mediano - Questa è la mediana della differenza assoluta tra obiettivi previsti e veri.
  Di seguito sono riportate le metriche calcolate per la classificazione binaria.

  • Precisione - Calcola la proporzione di casi classificati correttamente, sia positivi che negativi. Ad esempio, se sono presenti un totale di casi TP (True Positives) + TN (True Negatives) classificati correttamente da TP+TN+FP+FN (True Positives+True Negatives+False Positives+False Negatives), la formula è:

    Accuracy = (TP+TN)/(TP+TN+FP+FN)

  • Precisione bilanciata: valuta la qualità di un classificatore binario. È particolarmente utile quando le classi sono squilibrate, cioè quando una delle due classi appare molto più spesso dell'altra. Ciò si verifica spesso in molte impostazioni, ad esempio Rilevamento anomalie e così via.
  • AUC ROC (Area sotto la curva ROC) - Fornisce una misura aggregata della discriminazione indipendentemente dalla soglia decisionale. La curva AUC - ROC è una misurazione delle prestazioni per i problemi di classificazione in varie impostazioni di soglia.
  • Richiamo - Calcola la proporzione di Positivi effettivi che è correttamente classificato.
  • Precisione - Calcola la proporzione di Positivi previsti che è Vero Positivo.
  • F1 Punteggio: combina precisione e richiamo in un singolo numero. F1: il punteggio viene calcolato utilizzando la media armonica calcolata con la formula:

    F1-score = 2 × (precision × recall)/(precision + recall)

  Le metriche calcolate per la classificazione a più classi sono le seguenti:

  • Precisione
  • Precisione bilanciata
  • Macro_F1
  • Macro_Precision
  • Macro_Recall
  • Weighted_F1
  • Weighted_Precision
  • Weighted_Recall
• Statistiche previsione: scorrere verso il basso per visualizzare la sezione Statistiche previsione. La statistica di previsione calcolata viene tracciata lungo l'asse y e il periodo di tempo viene tracciato lungo l'asse x. In questo screenshot viene visualizzato l'indice di stabilità popolazione per il modello lineare generalizzato - modello di regressione GLMR_0E58D990CD per 10/30/10. Passare il cursore su altri punti della linea per visualizzare la metrica calcolata.

  Figura 8-13 Statistiche di previsione

  

  Fare clic sull'elenco a discesa per visualizzare tutte le statistiche di previsione. Le statistiche delle previsioni del modello variano a seconda del tipo di modello.

  Per Regressione, le statistiche di previsione calcolate sono le seguenti:

  • Indice di stabilità della popolazione - Questa è una misura di quanto una popolazione si è spostata nel tempo o tra due diversi campioni di una popolazione in un singolo numero. Le due distribuzioni sono raggruppate in periodi fissi e PSI confronta le percentuali degli articoli in ciascuno dei periodi fissi. PSI viene calcolato come

    PSI = sum((Actual_% - Expected_%) x ln (Actual_% / Expected_%))

    L'interpretazione del valore PSI è:

    • PSI < 0.1 non implica alcun cambiamento significativo della popolazione
    • 0.1 <= PSI < 0.2 implica un moderato cambiamento di popolazione
    • PSI >= 0.2 implica un cambiamento significativo della popolazione
  • Min - Questo è il valore più basso delle statistiche calcolate per il periodo di analisi.
  • Media: valore medio delle statistiche calcolate per il periodo di analisi.
  • Max - Questo è il valore più alto delle statistiche calcolate per il periodo di analisi.
  • Deviazione standard - Questo è il valore che mostra quanta variazione dalla media esiste.
  Per Classificazione binaria, le statistiche di previsione calcolate sono le seguenti:

  • Indice di stabilità popolazione
  • Media
  • Minimo
  • Massimo
  • Deviazione standard
  • Distribuzione bin delle probabilità di previsione
  • Distribuzione classe
  Per Classificazione a più classi, le statistiche di previsione calcolate sono le seguenti:

  • Indice di stabilità popolazione
  • Distribuzione classe

2. Dettagli monitoraggio modello

È possibile visualizzare i dettagli di ciascuna feature del modello facendo clic sul nome del modello. Questi dettagli includono il grafico Impatto funzione, Distribuzione previsione e il grafico Impatto predittivo vs Importanza deviazione. In questo esempio viene selezionato il modello GLM_8959AF817.

Figura 8-14 Selezione del modello per i dettagli

I risultati calcolati vengono visualizzati in un riquadro separato in cui viene visualizzata la diapositiva. È possibile selezionare fino a 3 periodi di analisi di confronto. È inoltre possibile nascondere o mostrare i dettagli della baseline. I dettagli calcolati delle feature del modello sono:

• Impatto funzione: il grafico Impatto funzione calcola l'impatto di ciascuna funzione nel modello per l'ora specificata. Il grafico consente inoltre di visualizzare l'impatto della feature su una scala lineare e su una scala logaritmica. Passare il puntatore del mouse sul grafico per visualizzare i dettagli (Nome funzione, Data e Impatto funzione).
  • Fare clic su Scala log per visualizzare il calcolo dell'impatto della funzione su una scala logaritmica.
  • Fare clic su per visualizzare il calcolo dell'impatto delle funzioni in un grafico a linee.
  • Fare clic su per visualizzare il calcolo dell'impatto delle funzioni in una tabella.
  • Fare clic sull'elenco a discesa Limita le funzioni più efficaci da per selezionare un valore.

  Figura 8-15 Visualizzazione dell'impatto su una scala di rivestimento

  

  In questo screenshot, la funzione GLOBAL_INTENSITY, ovvero l'intensità di corrente media in minuti globale del consumo elettrico domestico, ha un impatto massimo sul modello GLM_8959AF817 rispetto alle altre funzionalità. Fare clic su Scala log per visualizzare il calcolo dell'impatto delle funzioni su una scala logaritmica, come mostrato nello screenshot riportato di seguito. Fare clic su X nell'angolo superiore destro del riquadro per uscire.

  Figura 8-16 Visualizzazione dell'impatto della caratteristica su una scala logaritmica

  
• Distribuzione previsione: scorrere verso il basso per visualizzare la distribuzione previsione. La distribuzione previsione viene tracciata per ogni periodo di analisi. Se selezionato, vengono visualizzati i dati della baseline. I bin vengono tracciati lungo l'asse X e i valori vengono tracciati lungo l'asse Y. Passare il puntatore del mouse su ciascun istogramma per visualizzare i dettagli calcolati. Fare clic su X nell'angolo superiore destro del riquadro per uscire.

  Figura 8-17 Distribuzione delle previsioni

  
• Impatto predittivo rispetto a importanza deviazione: scorrere più in basso nel riquadro per visualizzare il grafico Impatto previsione rispetto a importanza deviazione. Questo grafico consente di comprendere in che modo le funzioni di maggiore impatto si spostano nel tempo. L'importanza della funzione di deviazione viene tracciata lungo l'asse Y e l'impatto della funzione di previsione viene tracciato lungo l'asse X. Fare clic su X nell'angolo superiore destro del riquadro per uscire.

  Nota

  Il grafico Impatto previsione rispetto a Importanza deviazione viene calcolato solo se si seleziona l'opzione Monitora dati durante la creazione del monitor modello.

  Figura 8-18 Impatto predittivo della funzione rispetto all'importanza della deviazione

  

  In questo screenshot è possibile vedere che la funzione GLOBAL_INTENSITY ha il massimo impatto sul modello predittivo selezionato GLM_8959AF817 rispetto alle altre funzioni: SUB_METERING_3, GLOBAL_REACTIVE_POWER, VOLTAGE e SUB-METERING_1.