8.1 Creare un controllo modello

Un monitor modello consente di monitorare diversi modelli compatibili e di calcolare il grafico di deviazione del modello. I modelli compatibili si riferiscono a quei modelli addestrati sulla stessa destinazione e funzione di mining. Il diagramma di deriva del modello è costituito da più serie di punti di deriva dei dati, uno per ciascun modello monitorato.

Un monitor modello può facoltativamente monitorare i dati per fornire ulteriori approfondimenti. Questo approfondimento aggiuntivo è il grafico Impatto su funzione di deviazione rispetto a funzione di previsione generato quando si seleziona l'opzione Controlla dati durante la creazione del monitor modello.

In questo argomento viene descritto come creare un monitor modello. Nell'esempio viene utilizzato il set di dati Consumo elettrico domestico individuale che include varie metriche di consumo di un nucleo familiare dal 2007 al 2010. L'obiettivo è capire se e come il consumo domestico è cambiato in quattro anni. L'esempio mostra come tenere traccia degli effetti delle deviazioni dei dati sulla precisione predittiva del modello.

Il set di dati comprende le colonne riportate di seguito.

• DATE_TIME: contiene le informazioni relative alla data e all'ora nel formato dd:mm:yyyy:hh:mm:ss.
• GLOBAL_ACTIVE_POWER: questa è la potenza attiva media in minuti globale della famiglia (in kilowatt).
• GLOBAL_REACTIVE_POWER: questa è la potenza reattiva media in minuti globale della famiglia (in kilowatt).
• VOLTAGE - Questa è la tensione media dei minuti (in volt).
• GLOBAL_INTENSITY: questa è l'intensità di corrente media in minuti globale della famiglia (in ampere).
• SUB_METERING_1 - Questa è la sotto-misurazione di energia n. 1 (in watt-ora di energia attiva). Corrisponde alla cucina.
• SUB_METERING_2 - Questa è la sotto-misurazione di energia n. 2 (in watt-ora di energia attiva). Corrisponde alla lavanderia.
• SUB_METERING_3 - Questa è la sotto-misurazione di energia n. 2 (in watt-ora di energia attiva). Corrisponde a uno scaldabagno elettrico e condizionatore d'aria.

Per creare un controllo modello:

1. Nel menu di navigazione a sinistra dell'interfaccia utente di Oracle Machine Learning espandere Monitoraggio, quindi fare clic su Modelli per aprire la pagina Monitoraggio modello. In alternativa, è possibile fare clic sull'icona Monitoraggio modello per aprire la pagina Monitoraggio modello.
2. Nella pagina Monitoraggio modello, fare clic su Crea per aprire la pagina Monitoraggio nuovo modello.
3. Inserire i dettagli seguenti nella pagina Monitoraggio nuovi modelli:

   Figura 8-5 Pagina Nuovo monitor modello

   
   1. Nome controllo: immettere un nome per il controllo del modello. Qui viene utilizzato il nome Consumo energetico.
   2. Commento: immettere i commenti. Questo campo è facoltativo.
   3. Dati di base: questa è una tabella o una vista che contiene dati di baseline da monitorare. Fare clic sull'icona di ricerca per aprire la finestra di dialogo Seleziona tabella. Selezionare uno schema, quindi una tabella. Qui è selezionata la tabella contenente i dati per l'anno 2007.
   4. Nuovi dati: questa è una tabella o una vista con nuovi dati da confrontare con i dati della baseline. Fare clic sull'icona di ricerca per aprire la finestra di dialogo Seleziona tabella. Selezionare uno schema, quindi una tabella. Qui è selezionata la tabella contenente i dati per l'anno 2010.
   5. ID caso: questo campo è facoltativo. Immettere un identificativo caso per la baseline e i nuovi dati per migliorare la ripetibilità dei risultati.
   6. Colonna temporale: nome di una colonna che memorizza le informazioni sull'ora nella tabella o vista Nuovi dati. La colonna DATE_TIME viene selezionata dall'elenco a discesa.

      Nota

      Se la colonna temporale è vuota, tutti i nuovi dati vengono considerati come un periodo.

   7. Periodo analisi: indica il periodo di tempo durante il quale viene eseguito il monitoraggio del modello sui nuovi dati. Selezionare il periodo di analisi per il monitoraggio del modello. Le opzioni disponibili sono Day, Week, Month, Year.
   8. Data inizio: questa è la data di inizio della pianificazione del monitoraggio del modello. Se non si specifica una data di inizio, come data di inizio verrà utilizzata la data corrente.
   9. Ripeti: questo valore definisce il numero di volte in cui l'esecuzione del monitoraggio del modello verrà ripetuta per la frequenza definita. Immettere un numero compreso tra 1 e 99. Ad esempio, se si immette 2 nel campo Ripeti e Minuti nel campo Frequenza, il monitoraggio del modello verrà eseguito ogni 2 minuti.
   10. Frequenza: questo valore determina la frequenza con cui l'esecuzione del monitoraggio del modello verrà eseguita sui nuovi dati. Selezionare una frequenza per il monitoraggio del modello. Le opzioni disponibili sono Minuti, Ore, Giorni, Settimane, Mesi. Ad esempio, se si seleziona Minutes nel campo Frequenza, 2 nel campo Ripeti e 5/30/23 nel campo Data inizio, in base alla pianificazione il monitoraggio del modello verrà eseguito da 5/30/23 ogni 2 minuti.
   11. Funzione di mining: le funzioni di mining disponibili sono Regression e Classification. Selezionare una funzione a seconda dei casi. In questo esempio viene selezionato Regression.
   12. Destinazione: selezionare un attributo dall'elenco a discesa. In questo esempio, GLOBAL_ACTIVE_POWER viene utilizzato come destinazione per i modelli di regressione.
   13. Ricalcola: selezionare questa opzione per aggiornare i periodi già calcolati. Ciò significa che verranno calcolati solo i periodi di tempo non presenti nella tabella dei risultati di output. Per impostazione predefinita, il ricalcolo è disabilitato.
       • Se abilitata, l'analisi delle deviazioni viene eseguita per il periodo di tempo specificato nei campi Data inizio e Ora fine. L'analisi sovrascriverà i risultati già esistenti per il periodo di tempo specificato. Ciò significa che l'analisi verrà calcolata per il periodo di tempo con nuovi dati diversi dai dati correnti.
       • Se l'opzione è disabilitata, i dati relativi al periodo di tempo presente nella tabella dei risultati verranno mantenuti invariati. Solo i nuovi dati per il periodo di tempo più recente verranno presi in considerazione per l'analisi e i risultati verranno aggiunti alla tabella dei risultati.
   14. Monitora dati: selezionare questa opzione per abilitare il monitoraggio dei dati per i dati specificati. Quando l'opzione è abilitata, viene creato un monitoraggio dei dati insieme al monitor del modello per calcolare l'impatto delle funzioni di previsione rispetto all'impatto delle funzioni di deviazione nei risultati specifici del modello.
4. Fare clic su Impostazioni aggiuntive per espandere questa sezione e fornire impostazioni avanzate per il monitor modello:

   Figura 8-6 Sezione Impostazioni aggiuntive nella pagina Monitoraggio nuovo modello

   
   1. Metrica: a seconda della funzione di mining selezionata nel campo Funzione di mining nella pagina Crea monitoraggio modello, vengono elencate le metriche applicabili. Fare clic sull'elenco a discesa per selezionare una metrica.
      Per la funzione di mining Classificazione, le metriche sono:

      • Precisione - Calcola la proporzione di casi classificati correttamente, sia positivi che negativi. Ad esempio, se sono presenti un totale di casi TP (True Positives) + TN (True Negatives) classificati correttamente da TP+TN+FP+FN (True Positives+True Negatives+False Positives+False Negatives), la formula è:

        Accuracy = (TP+TN)/(TP+TN+FP+FN)

      • Precisione bilanciata: valuta la qualità di un classificatore binario. È particolarmente utile quando le classi sono squilibrate, cioè quando una delle due classi appare molto più spesso dell'altra. Ciò si verifica spesso in molte impostazioni, ad esempio Rilevamento anomalie e così via.
      • AUC ROC (Area sotto la curva ROC) - Fornisce una misura aggregata della discriminazione indipendentemente dalla soglia decisionale. La curva AUC - ROC è una misurazione delle prestazioni per i problemi di classificazione in varie impostazioni di soglia.
      • Richiamo - Calcola la proporzione di Positivi effettivi che è correttamente classificato.
      • Precisione - Calcola la proporzione di Positivi previsti che è Vero Positivo.
      • F1 Punteggio: combina precisione e richiamo in un singolo numero. F1: il punteggio viene calcolato utilizzando la media armonica calcolata con la formula:

        F1-score = 2 × (precision × recall)/(precision + recall)

      Per la classificazione a più classi, le metriche sono le seguenti:

      • Precisione
      • Precisione bilanciata
      • Macro_F1
      • Macro_Precision
      • Macro_Recall
      • Weighted_F1
      • Weighted_Precision
      • Weighted_Recall
      Per la regressione, le metriche sono le seguenti:

      • R2: misura statistica che calcola la distanza tra i dati e la linea di regressione adattata. In generale, maggiore è il valore di R-squared, migliore è il modello adatto ai dati. Il valore di R2 è sempre compreso tra 0 e 1, dove:
        • 0 indica che il modello non spiega alcuna variabilità dei dati di risposta intorno alla media.
        • 1 indica che il modello spiega tutta la variabilità dei dati di risposta intorno alla sua media.
      • Si tratta della media della differenza quadrata tra obiettivi previsti e veri.
      • Si tratta della differenza assoluta tra obiettivi previsti e veri.
      • Errore assoluto mediano - Questa è la mediana della differenza assoluta tra obiettivi previsti e veri.
   2. Soglia di deviazione: la deviazione acquisisce la variazione relativa delle prestazioni tra i dati della baseline e il nuovo periodo di dati. In base a un problema specifico di apprendimento automatico, impostare il valore di soglia per il rilevamento delle deviazioni del modello. L'impostazione predefinita è 0.7.
      • Una deviazione al di sopra di questa soglia indica un cambiamento significativo nelle previsioni del modello. Il superamento della soglia indica che potrebbe essere necessario ricreare e ridistribuire il modello.
      • Una deriva al di sotto di questa soglia indica che i dati non sono sufficientemente modificati per giustificare ulteriori indagini o azioni.
   3. Livello di servizio del database: questo è il livello di servizio per la mansione, che può essere BASSO, MEDIO o ALTO.
   4. Filtro analisi: abilitare questa opzione se si desidera l'analisi del monitoraggio del modello per un periodo di tempo specifico. Spostare il dispositivo di scorrimento a destra per abilitarlo, quindi selezionare una data rispettivamente nei campi Data - Da e Data - A. Questo campo è disabilitato per impostazione predefinita.
      • Data - Da: data di inizio o indicatore orario del monitoraggio in Nuovi dati. Si presuppone l'esistenza di una colonna temporale nella tabella. Questo campo è obbligatorio se si utilizza l'opzione Filtro analisi.
      • Data - A: data di fine o indicatore orario del monitoraggio nei nuovi dati. Si presuppone l'esistenza di una colonna temporale nella tabella. Questo campo è obbligatorio se si utilizza l'opzione Filtro analisi.
   5. Numero massimo di esecuzioni: indica il numero massimo di esecuzioni che il monitoraggio del modello può essere eseguito in base a questa schedulazione. L'impostazione predefinita è 3.
5. Nella sezione Modelli selezionare il modello da monitorare, quindi fare clic su Salva nell'angolo superiore destro della pagina. Dopo aver fornito un valore nei campi Funzione di mining e Destinazione, l'elenco dei modelli distribuiti viene ottenuto e visualizzato qui nella sezione Modelli. I modelli vengono distribuiti dalla pagina Modelli o dalla classifica AutoML. È possibile visualizzare l'elenco completo dei modelli distribuiti nella scheda Distribuzioni della pagina Modelli. I modelli distribuiti sono gestiti dai servizi OML.

   Nota

   Se si eliminano modelli, è necessario ridistribuirli. I modelli non sono modelli basati su schemi, ma modelli distribuiti nei servizi OML.

   Figura 8-7 Sezione Modelli nella pagina Monitoraggio nuovo modello

   
   Una volta creato correttamente il monitoraggio del modello, viene visualizzato il messaggio: Model monitor has been created successfully.

   Nota

   A questo punto è necessario andare alla pagina Monitoraggio modello, selezionare il monitoraggio modello e fare clic su Avvia per avviare il monitoraggio modello.