Tutti i modelli ML iniziano con i dati. I data scientist che utilizzano OCI Data Science possono accedere e utilizzare le fonti di dati in qualsiasi ambiente cloud o on-premise, il che consente di avere più funzioni di dati e modelli migliori. Consulta l'elenco completo delle origini dati e dei formati supportati dall'SDK ADS.

Quando si utilizza il servizio Data Science, si consiglia di memorizzare i dati nella sessione notebook per un accesso rapido. Dalla sessione notebook è possibile accedere ai dati dalle origini riportate di seguito.

• Storage degli oggetti: per recuperare i dati, è innanzitutto necessario impostare una connessione allo storage degli oggetti. Dopo questa impostazione, puoi utilizzare l'SDK Python OCI in una sessione notebook per recuperare i dati. Puoi anche utilizzare l'SDK ADS per estrarre i dati dallo storage degli oggetti.
• Storage locale: per caricare un dataframe da un'origine locale utilizzando l'SDK ADS, utilizzare direttamente le funzioni dei pandas.
• Endpoint HTTP e HTTPS: per caricare un dataframe da un'origine server Web remota, utilizzare i pandas direttamente.
• Database: è possibile connettersi ad Autonomous Data Warehouse da una sessione notebook. Il notebook di esempio autonomous_database.ipynb illustra in modo interattivo questo tipo di connessione.
• Origini dati in streaming: la libreria client kafka-python è disponibile nelle sessioni notebook. La libreria client Python per il sistema di elaborazione dei flussi distribuiti Apache Kafka consente ai data scientist di connettersi al servizio di streaming utilizzando l'API compatibile con Kafka. Nell'ambiente della sessione notebook viene fornito l'esempio del notebook streaming.ipynb.
• Librerie di riferimento: per aprire un set di dati dalle librerie di riferimento, utilizzare DatasetBrowser. Per visualizzare le librerie supportate, utilizzare DatasetBrowser.list().

Sicurezza

Preparazione

I dati potrebbero essere incompleti, incoerenti o contenere errori. È possibile utilizzare ADS SDK per eseguire i task riportati di seguito.

• Combinare e pulire i dati utilizzando le operazioni di riga e colonna.
• Imputazione dei dati mediante la ricerca e la sostituzione di valori nulli.
• Codifica categorie.

Trasformazione

Nell'SDK ADS è possibile trasformare automaticamente un set di dati con i seguenti metodi:

• suggest_recommendations() visualizza i problemi e consiglia le modifiche e il codice per risolvere i problemi
• auto_transform() restituisce un data set trasformato con tutti i suggerimenti e le ottimizzazioni applicate automaticamente
• visualize_transforms() visualizza la trasformazione eseguita in un data set

OCI Data Science supporta anche strumenti di manipolazione dei dati open source come pandas, Dask e NumPy.

Visualizzare ed esplorare

La visualizzazione è uno dei passi iniziali utilizzati per derivare il valore dai dati. Consente agli analisti di ottenere insight in modo efficiente dai dati e guida l'analisi esplorativa dei dati. ADS SDK include uno strumento di visualizzazione intelligente che rileva automaticamente il tipo di dati e visualizza i grafici che rappresentano in modo ottimale le caratteristiche dei dati. Di seguito sono riportati alcuni metodi di visualizzazione automatica.

• show_in_notebook() fornisce un'anteprima completa delle informazioni di base di un set di dati
• show_corr() include il rapporto di correlazione, il metodo Pearson e il metodo Cramer V
  Suggerimento
  
  Leggi un post del blog che mostra come utilizzare queste tecniche per scoprire le relazioni nei tuoi dati.
• plot() utilizza la rappresentazione automatica per esplorare la relazione tra due colonne
• feature_plot() utilizza rappresentazioni e visualizzazioni personalizzate utilizzando tipi di funzioni

È inoltre possibile utilizzare il metodo ADS SDK call() per tracciare i dati utilizzando le librerie e i pacchetti preferiti, ad esempio seaborn, Matplotlib, Plotly, Bokeh e Geographic Information System (GIS). Consulta gli Esempi di SDK ADS.

AutoML

La creazione di un modello ML di successo richiede molte iterazioni e sperimentazioni e un modello viene raramente raggiunto utilizzando un set ottimale di iperparametri nella prima iterazione. AutoML automatizza quattro passaggi nel processo di modellazione ML:

1. La selezione degli algoritmi identifica i migliori algoritmi per i dati e il problema ed è più veloce di una ricerca esaustiva.
2. Il campionamento adattivo identifica la giusta dimensione del campione e si adatta ai dati non bilanciati.
3. La selezione delle funzioni identifica il sottoinsieme delle funzioni ottimale e riduce il numero di funzioni.
4. L'ottimizzazione del modello ottimizza automaticamente gli iperparametri per ottenere la massima precisione del modello.

Per ulteriori informazioni, consulta la documentazione della pipeline AutoML dell'SDK ADS.

Valutazione automatizzata mediante il kit SDK ADS

La valutazione automatica genera una suite completa di metriche e visualizzazioni per misurare le prestazioni dei modelli rispetto ai nuovi dati e per confrontare i candidati dei modelli. ADS offre una raccolta di strumenti, metriche e grafici relativi alla contradistinzione di diversi modelli. I valutatori sono i seguenti:

• Il classificatore binario viene utilizzato per i modelli in cui l'output è binario, ad esempio Sì o No, Su o Giù, 1 o 0. Questi modelli sono un caso speciale di classificazione multiclasse, quindi hanno specifiche metriche.
• Il classificatore multiclasse viene utilizzato per i modelli in cui l'output è discreto. Questi modelli dispongono di un set specializzato di grafici e metriche per la loro valutazione.
• La regressione viene utilizzata per i modelli in cui l'output è continuo, ad esempio prezzo, altezza, vendite o lunghezza. Questi modelli hanno le proprie metriche specifiche che aiutano a confrontare il modello.

Convalida, spiegazioni e interpretazione

La spiegabilità del Machine Learning (MLX) è il processo di spiegazione e interpretazione di ML e modelli di deep learning. La spiegabilità è la capacità di spiegare i motivi alla base della previsione di un modello. Interpretabilità è il livello al quale un essere umano può comprendere tale spiegazione. MLX può aiutarti a eseguire i seguenti task:

• Comprendere e interpretare meglio il comportamento del modello
• Debug e miglioramento della qualità del modello
• Aumenta la fiducia nel modello e la fiducia nella distribuzione del modello

Scopri di più sulla spiegabilità dei modelli per familiarizzare con gli spiegatori globali, gli spiegatori locali e gli spiegatori WhatIf.

Introduzione al catalogo modelli

Prima di poter distribuire un modello, è necessario salvarlo nel catalogo dei modelli. Il catalogo modelli è un repository centralizzato e gestito di artifact del modello. I modelli memorizzati nel catalogo possono essere condivisi tra i membri di un team e possono essere caricati di nuovo in una sessione notebook. Un artifact del modello è un file di archivio contenente i file e i dati seguenti:

• score.py: script Python che contiene la logica personalizzata per il caricamento di oggetti modello serializzati in memoria e definisce un endpoint di inferenza (predict())
• runtime.yaml: l'ambiente runtime del modello, che fornisce il riferimento all'ambiente Conda necessario ai fini della distribuzione del modello.
• Eventuali file aggiuntivi necessari per eseguire il modello nell'artifact
  Importante
  
  Qualsiasi codice utilizzato per l'inferenza deve essere archiviato allo stesso livello di score.py o a un livello inferiore. Se i file richiesti sono presenti in livelli di cartella superiori al file score.py, vengono ignorati, il che potrebbe causare un errore di distribuzione.
• Metadati sulla provenienza del modello, comprese le informazioni relative a Git
• Script o notebook utilizzato per eseguire il push del modello nel catalogo

Prepara metadati e documentazione modello

I metadati del modello sono facoltativi ma consigliati. Vedere Preparazione dei metadati del modello e Utilizzo dei metadati. I metadati includono le informazioni elencate di seguito.

• Schemi di input e output del modello: descrizione delle funzioni necessarie per eseguire una previsione del modello riuscita
• Provenienza: documentazione che aiuta a migliorare la riproducibilità e la verificabilità del modello
• Tassonomia: descrizione del modello che si sta salvando nel catalogo modelli
• Test di introspezione del modello: una serie di test e controlli eseguiti su un artifact del modello per testare tutti gli aspetti dello stato operativo del modello

Salva il modello nel catalogo

Puoi salvare un modello nel catalogo utilizzando l'SDK ADS, l'SDK Python OCI o la console. Per informazioni dettagliate, vedere Salvataggio dei modelli nel catalogo modelli.

Distribuisce il modello

Il modo più comune per distribuire i modelli in produzione è come endpoint HTTP per fornire previsioni in tempo reale. Il servizio Data Science gestisce le distribuzioni dei modelli sotto forma di risorse e gestisce tutte le operazioni dell'infrastruttura, incluso il provisioning della computazione e il bilanciamento del carico. È possibile distribuire un modello utilizzando l'SDK ADS o la console.

Richiama il modello

Dopo la distribuzione e l'attivazione di un modello, l'endpoint può ricevere correttamente le richieste effettuate dai client. Il richiamo di una distribuzione del modello significa che è possibile passare vettori di funzioni o campioni di dati all'endpoint di previsione. Il modello restituisce quindi le previsioni per tali campioni di dati. Per ulteriori informazioni, vedere Richiamo di una distribuzione modello, quindi leggere informazioni sulla modifica, disattivazione e gestione di un modello distribuito.

Job

I job di Data Science ti consentono di definire ed eseguire un task ML ripetibile su un'infrastruttura completamente gestita. Utilizzando i job, è possibile eseguire le attività riportate di seguito.

• Esegui attività ML o di data science al di fuori di una sessione notebook
• Operatività di attività discrete di data science e ML, come operazioni eseguibili riutilizzabili
• Automatizza MLOps o la pipeline CI/CD
• Esegui job batch o carichi di lavoro attivati da eventi o azioni
• Eseguire l'inferenza del processo batch, mini batch o batch distribuito
• In una sessione notebook JupyterLab, creare task con tempi di esecuzione lunghi o task a uso intensivo di calcolo in un job Data Science per mantenere il notebook libero e continuare il lavoro

Controllo in corso

Monitoraggio e registrazione sono gli ultimi passi del ciclo di vita del lavoro. Forniscono approfondimenti sulle prestazioni e sulle metriche di un job, oltre a un record a cui è possibile fare riferimento in seguito per ogni esecuzione del job. Per ulteriori informazioni su monitoraggio, allarmi e metriche, vedere Metriche.

• Il monitoraggio è costituito da metriche e allarmi e consente di controllare lo stato, la capacità e le prestazioni delle risorse cloud. È quindi possibile utilizzare questi dati per determinare quando creare più istanze per gestire un maggiore carico, risolvere i problemi con un'istanza o comprendere meglio il funzionamento del sistema.
• Gli allarmi vengono attivati quando una metrica supera le soglie impostate.
• Le metriche tengono traccia dell'utilizzo della CPU o della GPU, della percentuale di utilizzo della memoria del contenitore di esecuzione del job disponibile, del traffico di rete del contenitore e dell'utilizzo del disco del contenitore. Quando questi numeri raggiungono una determinata soglia, puoi eseguire lo scale up delle risorse, come lo storage a blocchi e la forma di computazione, per accogliere il carico di lavoro.
• Gli eventi consentono di eseguire la sottoscrizione alle modifiche delle risorse, ad esempio gli eventi di esecuzione di job e job, nonché di rispondere utilizzando funzioni, notifiche o flussi. Vedere Creazione di automazione mediante eventi.

Log

È possibile utilizzare i log del servizio o i log personalizzati con le esecuzioni dei job. Un'esecuzione del job emette i log del servizio al servizio di log OCI. Con i log personalizzati, è possibile specificare quali eventi di log vengono raccolti in un contesto specifico e la posizione in cui vengono memorizzati i log. È possibile utilizzare il servizio Log per abilitare, gestire e sfogliare i log di esecuzione dei job per i job. Per informazioni complete, vedere Log e Informazioni sui log.