6 Guida introduttiva all'interfaccia utente di AutoML

AutoML User Interface (interfaccia utente AutoML) è un'interfaccia Oracle Machine Learning che offre la modellazione automatica del machine learning senza codice. Quando si crea ed esegue un esperimento nell'interfaccia utente AutoML, esegue la selezione automatica degli algoritmi, la selezione delle funzioni e l'ottimizzazione del modello, migliorando così la produttività e aumentando potenzialmente la precisione e le prestazioni del modello.

I passaggi seguenti comprendono un flusso di lavoro di modellazione del machine learning e sono automatizzati dall'interfaccia utente AutoML:

  1. Selezione algoritmo: classifica gli algoritmi in grado di produrre un modello più accurato in base al data set e alle sue caratteristiche e alcune caratteristiche predittive del data set per ogni algoritmo.
  2. Campionamento adattivo: trova un campione di dati appropriato. L'obiettivo di questa fase è quello di accelerare le fasi di selezione delle feature e di tuning del modello senza compromettere la qualità del modello.
  3. Selezione funzione: seleziona un sottoinsieme di funzioni più predittive della destinazione. L'obiettivo di questa fase è ridurre il numero di funzioni utilizzate nelle fasi successive della pipeline, in particolare durante la fase di tuning del modello per accelerare la pipeline senza ridurre l'accuratezza predittiva.
  4. Model Tuning: mira ad aumentare la qualità del singolo modello di algoritmo in base alla metrica selezionata per ciascuno degli algoritmi selezionati.
  5. Impatto previsione funzioni: questa è la fase finale della pipeline dell'interfaccia utente AutoML. Qui viene calcolato l'impatto di ogni colonna di input sulle previsioni del modello con tuning finale. L'impatto della previsione calcolata fornisce approfondimenti sul comportamento del modello AutoML ottimizzato.
Gli utenti business che non dispongono di un ampio background di data science possono utilizzare l'interfaccia utente AutoML per creare e distribuire modelli di machine learning. Oracle Machine Learning AutoML UI offre due funzionalità:
  • Crea modelli di apprendimento automatico
  • Distribuire modelli di Machine Learning

AutoML Esperimenti UI

Quando si crea un esperimento nell'interfaccia utente AutoML, vengono eseguiti automaticamente tutti i passi coinvolti nel flusso di lavoro di apprendimento automatico. Nella pagina Esperimenti vengono elencati tutti gli esperimenti creati. Per visualizzare i dettagli di un esperimento, fare clic su un esperimento. È inoltre possibile eseguire i task riportati di seguito.

Figura 6-1 Pagina Esperimenti

Pagina Esperimenti
  • Crea: fare clic su Crea per creare un nuovo esperimento dell'interfaccia utente AutoML. L'esperimento dell'interfaccia utente AutoML creato risiede all'interno del progetto selezionato nel progetto nell'area di lavoro.
  • Modifica: selezionare qualsiasi esperimento elencato qui e fare clic su Modifica per modificare la definizione dell'esperimento.
  • Elimina: selezionare qualsiasi esperimento elencato qui e fare clic su Elimina per eliminarlo. Impossibile eliminare un esperimento in esecuzione. Prima è necessario arrestare l'esperimento per eliminarlo.
  • Duplica: selezionare un esperimento e fare clic su Duplica per crearne una copia. L'esperimento viene duplicato istantaneamente ed è in stato Pronto.
  • Sposta: selezionare un esperimento e fare clic su Sposta per spostare l'esperimento in un altro progetto nella stessa area di lavoro o in un'altra area di lavoro. È necessario disporre del privilegio Administrator o Developer per spostare gli esperimenti tra progetti e aree di lavoro.

    Nota

    Un esperimento non può essere spostato se è in stato RUNNING, STOPPING o STARTING o se esiste già un esperimento nel progetto target con lo stesso nome.
  • Copia: selezionare un esperimento e fare clic su Copia per copiare l'esperimento in un altro progetto nella stessa area di lavoro o in un'altra area di lavoro.
  • Avvia: se è stato creato un esperimento ma non è stato eseguito, fare clic su Avvia per eseguire l'esperimento.
  • Stop: selezionare un esperimento in esecuzione e fare clic su Stop per interrompere l'esecuzione dell'esperimento.

Argomenti correlati

6.1 Accedi all'interfaccia utente di AutoML

È possibile accedere all'interfaccia utente AutoML da Oracle Machine Learning Notebooks.

Per accedere all'interfaccia utente AutoML, è necessario prima collegarsi a Oracle Machine Learning Notebooks da Autonomous Database:
  1. Per accedere a Oracle Machine Learning Notebooks da Autonomous Database:
    1. Selezionare un'istanza Autonomous Database e nella pagina dei dettagli Autonomous Database fare clic su Azioni database.

      Figura 6-2 Database Actions

      Azioni database
    2. Nella pagina Database Actions andare alla sezione Sviluppo e fare clic su Oracle Machine Learning.

      Figura 6-3 Oracle Machine Learning

      Oracle Machine Learning
      Viene visualizzata la pagina di accesso a Oracle Machine Learning.
    3. Immettere il nome utente e la password, quindi fare clic su Connetti.
    Viene visualizzata la home page di Oracle Machine Learning Notebooks.
  2. Nella home page di Oracle Machine Learning Notebooks, fare clic su AutoML..

    Figura 6-4 Opzioni AutoML

    Opzione AutoML nella home page e nel menu di navigazione a sinistra

    In alternativa, è possibile fare clic sul menu hamburger e fare clic su AutoML in Projects.

6.2 Crea esperimento interfaccia utente AutoML

Per utilizzare Oracle Machine Learning AutoML UI, iniziare creando un esperimento. Un esperimento è un'unità di lavoro che specifica in modo minimo l'origine dati, la destinazione di previsione e il tipo di previsione. Dopo l'esecuzione di un esperimento, viene visualizzato un elenco di modelli di apprendimento automatico in ordine di qualità del modello in base alla metrica selezionata. È possibile selezionare uno qualsiasi di questi modelli per la distribuzione o per generare un notebook. Il notebook generato contiene il codice Python utilizzando OML4Py e le impostazioni specifiche AutoML utilizzate per produrre il modello.

Per creare un esperimento, specificare quanto segue:
  1. In Nome, immettere un nome per l'esperimento.

    Figura 6-5 Creare un esperimento AutoML

    Segue la descrizione della Figura 6-5
    Descrizione della "Figura 6-5 Creare un esperimento AutoML"
  2. In Commenti, immettere eventuali commenti.
  3. Nel campo Origine dati selezionare lo schema e una tabella o una vista nello schema. Fare clic sull'icona di ricerca per aprire la finestra di dialogo Seleziona tabella. Sfogliare e selezionare uno schema, quindi selezionare una tabella dalla lista di schemi, che è l'origine dati dell'esperimento dell'interfaccia utente AutoML.

    Figura 6-6 Finestra di dialogo Seleziona tabella

    Finestra di dialogo Seleziona tabella
    1. Nella colonna Schema selezionare uno schema.

      Nota

      Quando si seleziona l'origine dati, le statistiche vengono visualizzate nella griglia Funzioni nella parte inferiore della pagina dell'esperimento. Lo stato Occupato viene indicato fino al completamento del calcolo. La colonna di destinazione selezionata in Previsione è evidenziata nella griglia Funzioni.
    2. A seconda dello schema selezionato, le tabelle disponibili sono elencate nella colonna Tabella. Selezionare la tabella e fare clic su OK.

    Nota

    Per creare un esperimento AutoML per una tabella o una vista presente nello schema di un altro utente, assicurarsi di disporre di privilegi espliciti per accedere a tale tabella o vista nello schema. Richiedere all'amministratore del database o al proprietario dello schema di fornire i privilegi per accedere alla tabella o alla vista. Ad esempio:
    grant select on <table> to <user>
  4. Nell'elenco a discesa Prevedi selezionare la colonna dalla tabella selezionata. Questa è la destinazione della previsione.
  5. Nel campo Tipo di previsione, il tipo di previsione viene selezionato automaticamente in base alla definizione dei dati. Se il tipo di dati lo consente, è tuttavia possibile sostituire il tipo di previsione dall'elenco a discesa. Di seguito sono riportati i tipi di previsione supportati.
    • Classificazione: per il tipo di dati non numerico, la classificazione è selezionata per impostazione predefinita.
    • Regressione: per il tipo di dati numerico, Regressione è selezionata per impostazione predefinita.
  6. L'ID caso aiuta nella campionatura dei dati e nella suddivisione del set di dati per rendere i risultati riproducibili tra esperimenti. Aiuta anche a ridurre la casualità nei risultati. Questo campo è facoltativo.
  7. Nella sezione Impostazioni aggiuntive, è possibile definire quanto segue:

    Figura 6-7 Impostazioni aggiuntive di un esperimento AutoML

    Segue la descrizione della Figura 6-7
    Descrizione della "Figura 6-7 Impostazioni aggiuntive di un esperimento AutoML"
    1. Reimposta: fare clic su Reimposta per ripristinare i valori predefiniti delle impostazioni.
    2. Numero massimo modelli principali: selezionare il numero massimo di modelli principali da creare. L'impostazione predefinita è Modelli 5. È possibile ridurre il numero di modelli principali a 2 o 3 poiché i modelli di tuning per ottenere il primo per ogni algoritmo richiede tempo aggiuntivo. Se vuoi ottenere i risultati iniziali ancora più velocemente, considera l'algoritmo migliore consigliato. A tale scopo, impostare Numero massimo di primi modelli su 1. Questo sintonizzerà il modello per quell'algoritmo.
    3. Durata massima esecuzione: indica il tempo massimo di esecuzione dell'esperimento. Se non si immette un'ora, l'esperimento potrà essere eseguito fino all'impostazione predefinita, ovvero 8 ore.
    4. Livello servizio database: si tratta del livello di servizio di connessione al database e del livello di parallelismo delle query. L'impostazione predefinita è Low. Ciò non comporta parallelismo e imposta un limite di runtime elevato. È possibile creare molte connessioni con il livello di servizio del database Low. È inoltre possibile modificare il livello di servizio del database in Medium o High.
      • Il livello High fornisce il massimo parallelismo, ma limita in modo significativo il numero di job concorrenti.
      • Il livello Medium abilita alcuni parallelismi, ma consente una maggiore concorrenza per l'elaborazione dei job.

      Nota

      La modifica dell'impostazione del livello di servizio del database nel livello sempre gratuito non avrà alcun effetto poiché esiste un limite di 1 OCPU. Tuttavia, se aumenti le OCPU allocate per la tua istanza di database autonomo, puoi aumentare il livello di servizio del database a Medium o High.

      Nota

      L'impostazione Livello servizio database non ha alcun effetto sulle risorse a livello di contenitore AutoML.
    5. Metrica modello: selezionare una metrica per scegliere i modelli vincenti. Le metriche riportate di seguito sono supportate dall'interfaccia utente AutoML.
      • Per la classificazione, le metriche supportate sono le seguenti:
        • Precisione bilanciata
        • ROC AUC
        • F1 (con opzioni ponderate). Le opzioni ponderate sono ponderate, binarie, micro e macro.
          • Micro-media: qui, tutti i campioni contribuiscono ugualmente alla metrica media finale
          • Macro-media: qui, tutte le classi contribuiscono ugualmente alla metrica media finale
          • Media ponderata: qui, il contributo di ogni classe alla media è ponderato in base alla sua dimensione
        • Precisione (con opzioni ponderate)
        • Richiamo (con opzioni ponderate)
      • Per la regressione, le metriche supportate sono le seguenti:
        • R2 (impostazione predefinita)
        • Errore quadrato medio negativo
        • Errore assoluto medio negativo
        • Errore assoluto mediano negativo
    6. Algoritmo: gli algoritmi supportati dipendono dal tipo di previsione selezionato. Fare clic sulla casella di controllo corrispondente rispetto agli algoritmi per selezionarla. Per impostazione predefinita, tutti gli algoritmi candidati vengono selezionati per essere considerati durante l'esecuzione dell'esperimento. Gli algoritmi supportati per i due tipi di previsione:
      • Per la classificazione, gli algoritmi supportati sono:
        • Decisione
        • Modello lineare generalizzato
        • Regressione del modello lineare generalizzato (Ridge)
        • Rete neurale
        • Foresta casuale
        • Support Vector Machine (Gaussiana)
        • Support Vector Machine (lineare)
      • Per Regression, gli algoritmi supportati sono:
        • Modello lineare generalizzato
        • Regressione del modello lineare generalizzato (Ridge)
        • Rete neurale
        • Support Vector Machine (Gaussiana)
        • Support Vector Machine (lineare)

      Nota

      È possibile rimuovere gli algoritmi da considerare se si dispone di preferenze per determinati algoritmi o se si dispone di requisiti specifici. Ad esempio, se la trasparenza del modello è essenziale, escludere modelli come Neural Network avrebbe senso. Si noti che alcuni algoritmi richiedono una maggiore intensità di calcolo rispetto ad altri. Ad esempio, Naïve Bayes e Decision Tree sono normalmente più veloci di Support Vector Machine o Neural Network.
  8. Espandere la griglia Funzioni per visualizzare le statistiche della tabella selezionata. Le statistiche supportate sono Valori distinti, Minimo, Massimo, Media e Deviazione standard. Le origini dati supportate per le funzioni sono tabelle, viste e viste analitiche. La colonna di destinazione selezionata in Previsione viene evidenziata qui. Al termine dell'esecuzione di un esperimento, nella griglia Funzioni viene visualizzata una colonna aggiuntiva Importanza. Importanza funzione indica il livello complessivo di sensibilità della previsione a una determinata funzione.

    Figura 6-8 Caratteristiche

    Funzioni
    È possibile eseguire i task riportati di seguito.
    • Aggiorna: fare clic su Aggiorna per recuperare tutte le colonne e le statistiche per l'origine dati selezionata.
    • Visualizza importanza: spostare il cursore sulla barra orizzontale in Importanza per visualizzare il valore dell'importanza della funzione per le variabili. Il valore viene sempre rappresentato nell'intervallo da 0 a 1, con valori più vicini a 1 più importanti.
  9. Al termine della definizione dell'esperimento, vengono abilitati i pulsanti Avvia e Salva.

    Figura 6-9 Opzioni di avvio dell'esperimento

    Opzioni di avvio dell'esperimento
    • Fare clic su Avvia per eseguire l'esperimento e avviare il workflow dell'interfaccia utente AutoML, visualizzato nella barra di avanzamento. Qui, hai la possibilità di selezionare:
      1. Risultati più rapidi: selezionare questa opzione se si desidera ottenere i modelli candidati prima, probabilmente a scapito della precisione. Questa opzione funziona con un set più piccolo di combinazioni di iperparamter, e quindi produce risultati più veloci.
      2. Migliore precisione: selezionare questa opzione se si desidera provare più combinazioni di pipeline per ottenere modelli più accurati. Una pipeline è definita come un algoritmo, un set di funzioni dati selezionato e un set di iperparametri dell'algoritmo.

        Nota

        Questa opzione funziona con il set più ampio di opzioni iperparametriche consigliate dal modello di meta-apprendimento interno. La selezione di Migliore precisione richiederà più tempo per eseguire l'esperimento, ma potrebbe fornire ai modelli maggiore precisione.

      Dopo aver avviato un esperimento, nella barra di avanzamento vengono visualizzate icone diverse per indicare lo stato di ogni fase del flusso di lavoro di apprendimento automatico nell'esperimento AutoML. La barra di avanzamento visualizza anche il tempo impiegato per completare l'esecuzione dell'esperimento. Per visualizzare i dettagli del messaggio, fare clic sulle rispettive icone del messaggio.

    • Fare clic su Salva per salvare l'esperimento ed eseguirlo in seguito.
    • Per annullare la creazione dell'esperimento, fare clic su Annulla.

6.2.1 Tipi di dati supportati per gli esperimenti dell'interfaccia utente AutoML

Quando si crea un esperimento AutoML, è necessario specificare l'origine dati e la destinazione dell'esperimento. In questo argomento vengono elencati i tipi di dati per Python e SQL supportati dagli esperimenti AutoML.

Tabella 6-1 Tipi di dati supportati dagli esperimenti AutoML

Tipi di dati Tipi di dati SQL Tipi di dati Python
Numerica NUMBER, INTEGER, FLOAT, BINARY_DOUBLE, NUMBER, BINARY_FLOAT, DM_NESTED_NUMERICALS, DM_NESTED_BINARY_DOUBLES, DM_NESTED_BINARY_FLOATS

INTEGER, FLOAT(NUMBER, BINARY_DOUBLE, BINARY_FLOAT)

Di categoria

CHAR, VARCHAR2, DM_NESTED_CATEGORICALS

STRING(VARCHAR2, CHAR, CLOB)

Testo non strutturato

CHAR, VARCHAR2, CLOB, BLOB, BFILE

BYTES (RAW, BLOB)

6.3 Visualizza un esperimento

Nella pagina Esperimenti dell'interfaccia utente AutoML vengono elencati tutti gli esperimenti creati. Ogni esperimento sarà in una delle seguenti fasi: Completato, In esecuzione e Pronto.

Per visualizzare un esperimento, fare clic sul nome dell'esperimento. Nella pagina Esperimento vengono visualizzati i dettagli dell'esperimento selezionato. Contiene le sezioni riportate di seguito.

Modifica esperimento

In questa sezione è possibile modificare l'esperimento selezionato. Fare clic su Modifica per apportare modifiche all'esperimento.

Nota

Impossibile modificare un esperimento in esecuzione.

Grafico metrica

Il grafico Metrica modello mostra il valore della metrica migliore nel tempo durante l'esecuzione dell'esperimento. Mostra un miglioramento della precisione man mano che l'esecuzione dell'esperimento progredisce. Il nome visualizzato dipende dalla metrica del modello selezionata quando si crea l'esperimento.

Classifica

Quando un esperimento viene eseguito, inizia a mostrare i risultati nella classifica. La classifica visualizza i modelli con le migliori prestazioni rispetto alla metrica del modello selezionata insieme all'algoritmo e alla precisione. È possibile visualizzare i dettagli del modello ed eseguire i task riportati di seguito.

Figura 6-10 Leader Board

Classifica
  • Visualizza dettagli modello: fare clic su Nome modello per visualizzare i dettagli. I dettagli del modello vengono visualizzati nella finestra di dialogo Dettagli modello. È possibile fare clic su più modelli nella classifica e visualizzare i dettagli del modello contemporaneamente. Nella finestra Dettagli modello sono illustrati i seguenti elementi:
    • Impatto previsione: visualizza l'importanza degli attributi in termini di previsione target dei modelli.
    • Matrice confusione: visualizza la diversa combinazione di valori effettivi e previsti in base all'algoritmo in una tabella. La matrice di confusione funge da misurazione delle prestazioni dell'algoritmo di apprendimento automatico.
  • Distribuisci: selezionare qualsiasi modello nella classifica e fare clic su Distribuisci per distribuire il modello selezionato. Distribuisci modello.
  • Rinomina: fare clic su Rinomina per modificare il nome del modello generato dal sistema. Il nome non deve superare i 123 caratteri e non deve contenere spazi vuoti.
  • Crea blocco note: selezionare qualsiasi modello nella scheda Guida e fare clic su Crea blocchi note da AutoML Modelli interfaccia utente per ricreare il modello selezionato dal codice.
  • Metriche: fare clic su Metriche per selezionare metriche aggiuntive da visualizzare nella classifica. Le metriche aggiuntive sono le seguenti:
    • Per classificazione
      • Precisione: calcola la proporzione di casi classificati correttamente, sia positivi che negativi. Ad esempio, se sono presenti un totale di casi TP (True Positives) + TN (True Negatives) classificati correttamente da TP+TN+FP+FN (True Positives+True Negatives+False Positives+False Negatives), la formula è: Accuracy = (TP+TN)/(TP+TN+FP+FN)
      • Precisione bilanciata: valuta la qualità di un classificatore binario. È particolarmente utile quando le classi sono squilibrate, cioè quando una delle due classi appare molto più spesso dell'altra. Ciò si verifica spesso in molte impostazioni, ad esempio Rilevamento anomalie e così via.
      • Richiamo: calcola la proporzione di Positivi effettivi correttamente classificati.
      • Precisione: calcola la proporzione di Positivi previsti che è Vero Positivo.
      • F1 Punteggio: combina precisione e richiamo in un singolo numero. F1: il punteggio viene calcolato utilizzando la media armonica calcolata con la formula: F1-score = 2 × (precision × recall)/(precision + recall)
    • Per regressione:
      • R2 (Predefinito): misura statistica che calcola la distanza tra i dati e la linea di regressione adattata. In generale, maggiore è il valore di R-squared, migliore è il modello adatto ai dati. Il valore di R2 è sempre compreso tra 0 e 1, dove:
        • 0 indica che il modello non spiega alcuna variabilità dei dati di risposta intorno alla media.
        • 1 indica che il modello spiega tutta la variabilità dei dati di risposta intorno alla sua media.
      • Errore quadrato medio negativo: è la media della differenza quadrata tra obiettivi previsti e veri.
      • Errore assoluto medio negativo: è la media della differenza assoluta tra obiettivi previsti e veri.
      • Negative Median Absolute Error: è la mediana della differenza assoluta tra gli obiettivi previsti e quelli veri.

Funzioni

La griglia Funzioni visualizza le statistiche della tabella selezionata per le statistiche supportate da experiment.The: Valori distinti, Minimo, Massimo, Media e Deviazione standard. Le origini dati supportate per le funzioni sono tabelle, viste e viste analitiche. La colonna di destinazione selezionata in Previsione viene evidenziata qui. Al termine dell'esecuzione di un esperimento, nella griglia Funzioni viene visualizzata una colonna aggiuntiva Importanza. L'importanza della funzione indica il livello complessivo di sensibilità della previsione a una particolare funzione. Passare il cursore sul grafico per visualizzare il valore di Importanza.Il valore viene sempre rappresentato nell'intervallo da 0 a 1, con valori più vicini a 1 più importanti.

Figura 6-11 Caratteristiche

Sezione Funzioni

6.3.1 Creazione di notebook dai modelli dell'interfaccia utente AutoML

È possibile creare blocchi appunti utilizzando il codice OML4Py che ricreerà il modello selezionato utilizzando le stesse impostazioni. Viene inoltre illustrato come assegnare un punteggio ai dati utilizzando il modello. Questa opzione è utile se si desidera utilizzare il codice per ricreare un modello di apprendimento automatico simile.

Per creare un blocco note da un modello di interfaccia utente AutoML:
  1. Selezionare il modello nella classifica in base al quale si desidera creare il blocco note e fare clic su Crea blocco note. Viene visualizzata la finestra di dialogo Crea blocco note.

    Figura 6-12 Crea blocco note

    Crea notebook
  2. Nel campo Nome blocco note, immettere un nome per il blocco note.
    L'endpoint API REST deriva i metadati dell'esperimento e determina le impostazioni riportate di seguito, a seconda dei casi.
    • Origine dati dell'esperimento (schema.table)
    • ID caso. Se l'ID caso dell'esperimento non è disponibile, viene visualizzato il messaggio appropriato.
    • Viene generato un nome di modello univoco basato sul nome del modello corrente
    • Informazioni relative al paragrafo relativo al punteggio:
      • ID caso: se disponibile, la colonna ID caso viene unita nella tabella di output assegnazione punteggio
      • Genera un nome di tabella di output di previsione univoco in base all'origine dati di build e al suffisso univoco
      • Nome colonna di previsione: PREDICTION
      • Nome colonna probabilità previsione: PROBABILITÀ (applicabile solo per classificazione)
  3. Fare clic su OK. Il blocco note generato viene elencato nella pagina Blocco note. Fare clic per aprire il blocco appunti
    Il blocco appunti generato visualizza i titoli dei paragrafi per ciascun paragrafo insieme ai codici python. Una volta eseguito, il blocco appunti visualizza le informazioni relative al blocco appunti e all'esperimento AutoML, ad esempio il nome dell'esperimento, l'area di lavoro e il progetto in cui è presente il blocco appunti, l'utente, i dati, il tipo di previsione e la destinazione di previsione, l'algoritmo e l'indicatore orario di generazione del blocco appunti. Notebook generato dall'interfaccia utente AutoML