Esperimenti (anteprima)

In questo capitolo vengono fornite informazioni sulla creazione, la gestione e lo sviluppo di esperimenti nell'area di lavoro.

Gli esperimenti in Oracle AI Data Platform Workbench consentono ai data scientist, ai tecnici di apprendimento automatico e ai manager di collaborare allo sviluppo dei modelli. AI Data Platform Workbench consente di:

  • Traccia gli esperimenti per la creazione dei migliori modelli tramite analisi delle prestazioni, collaborazione, analisi delle condizioni sperimentali (iper-parametri, set di dati di input, feature engineering ecc.)
  • Assicurarsi che i vecchi esperimenti non si ripetano con le stesse condizioni sperimentali
  • Rieseguire vecchi esperimenti con diverse condizioni sperimentali per probabili guadagni di prestazioni
  • Riproducibilità di esperimenti precedenti
  • Facilita la riqualificazione con set di dati più recenti quando le prestazioni peggiorano o si richiede una nuova formazione
  • Carica un modello da Model Registry in notebook e confronta le prestazioni del modello rispetto a un nuovo modello in fase di sviluppo

Nota

Se non sono stati utilizzati esperimenti o modelli in precedenza in AI Data Platform Workbench, è necessario riavviare il cluster di calcolo associato o crearne uno nuovo da utilizzare con esperimenti e modelli.

Limitazioni

Gli esperimenti non sono attualmente supportati dai cluster di calcolo basati su ARM. Assicurarsi che il cluster di computazione collegato sia basato su Intel o AMD.

Crea esperimento (anteprima)

Puoi creare esperimenti direttamente nella pagina Esperimenti di Oracle AI Data Platform.

  1. Nella home page, fare clic su Esperimenti.
  2. Fare clic su Crea.
  3. Fornire nome e descrizione per l'esperimento.
  4. Facoltativo: fornire metadati aggiuntivi sotto forma di tag in formato libero o definite. Fare clic su Aggiungi per creare tag aggiuntive.
  5. Fare clic su Crea.

Modifica esperimento (anteprima)

I dettagli degli esperimenti vengono modificati nell'area di lavoro di Oracle AI Data Platform Workbench.

  1. Nella home page, fare clic su Esperimenti.
  2. Avanti sull'esperimento che si desidera modificare, fare clic su Modifica.
  3. Modifica i dettagli del tuo esperimento.
  4. Fare clic su Salva le modifiche.

Visualizza dettagli esecuzione esperimento (anteprima)

È possibile visualizzare la cronologia delle esecuzioni degli esperimenti precedenti, confrontarle e visualizzare i dettagli delle esecuzioni specifiche per gli esperimenti nell'area di lavoro di Oracle AI Data Platform Workbench.

  1. Nella home page, fare clic su Esperimenti.
  2. Fare clic sul nome dell'esperimento per il quale si desidera visualizzare i dettagli dell'esecuzione.
  3. Utilizza gli elenchi a discesa e la barra di ricerca per filtrare le esecuzioni degli esperimenti visualizzate.
  4. Per modificare l'esecuzione dell'esperimento, fai clic su Elenco o su Confronta.
    • In Elenco vengono visualizzate le esecuzioni degli esperimenti basate sui filtri nelle righe ordinate con le metriche relative all'esecuzione dell'esperimento mostrate in ogni colonna. È possibile ordinare in base alla metrica facendo clic sull'intestazione di colonna.
    • Compare visualizza i confronti tra grafici a barre e metriche chiave per ogni esperimento eseguito attualmente dai filtri.
  5. Fare clic sul nome dell'esecuzione di un esperimento per visualizzare i dettagli relativi all'esecuzione di tale esperimento.

Creare un'esecuzione esperimento in un notebook con codice di esempio (anteprima)

È possibile creare esecuzioni per un esperimento all'interno di un notebook modificando il codice di esempio con i dettagli dell'esperimento esistenti.

  1. Passare al notebook in cui si desidera creare un'esecuzione per un esperimento.
  2. Fare clic sulla scheda Esperimenti.
  3. Fare clic su Codice di esempio.
  4. Nel blocco di codice di esempio, sostituire experiment name="Customer Churn Prediction" con experiment name="<your_experiment_name>". È inoltre possibile copiare questo codice e modificarlo con il nome dell'esperimento:
    import mlflow 
experiment_name = "experiment name" #Replace this with your own experiment name 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  5. Autologs registra automaticamente un set predefinito di metriche, a seconda del modello selezionato. Per specificare manualmente le metriche, è possibile modificare questo codice per richiamare mlflow.log_metric(“<metric_name>”,<metric_variable>):
    import mlflow 
import numpy as np 
from sklearn.tree import DecisionTreeRegressor 
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score 

experiment_name = "Customer Churn Prediction" 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    model = DecisionTreeRegressor(random_state=42, max_depth=5) 
    model.fit(X_train, y_train) 

    preds = model.predict(X_test) 

    mse = mean_squared_error(y_test, preds) 
    rmse = float(np.sqrt(mse)) 

    mlflow.log_metric("test_rmse", rmse) 
    mlflow.log_metric("test_mae", float(mean_absolute_error(y_test, preds))) 
    mlflow.log_metric("test_r2", float(r2_score(y_test, preds))) 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  6. Eseguire il blocco di codice dal blocco note. L'esecuzione è stata registrata per l'esperimento specificato.

    Nota

    Più esecuzioni per un esperimento vengono registrate automaticamente con nomi diversi. Per gli scenari di sweep dei parametri, AI Data Platform Workbench acquisisce automaticamente tutte le esecuzioni e le metriche specificate con nomi diversi rispetto all'esperimento specificato.

Registra un modello da dettagli esecuzione esperimento (anteprima)

È possibile registrare un modello nell'area di lavoro di Oracle AI Data Platform Workbench da un esperimento specifico eseguito facendo clic sui dettagli dell'esecuzione dell'esperimento.

  1. Nella home page, fare clic su Esperimenti.
  2. Fare clic sul nome dell'esperimento per il quale si desidera visualizzare i dettagli dell'esecuzione.
  3. Fare clic sul nome dell'esecuzione dell'esperimento da cui si desidera registrare un modello.
  4. Fare clic su Registra.
  5. Fornire un nome e una descrizione per il modello.
  6. Scegliere la posizione nel catalogo principale per creare il modello.
  7. Selezionare il modello appropriato dall'elenco a discesa Modelli.
  8. Facoltativo: fornire metadati aggiuntivi sotto forma di tag in formato libero o definite. Fare clic su Aggiungi per creare tag aggiuntive.
  9. Facoltativo: fornire informazioni aggiuntive sotto forma di campi personalizzati, ad esempio il tipo di modello o i casi d'uso. Fare clic su Aggiungi per creare campi personalizzati aggiuntivi.
  10. Fare clic su Registra.

Elimina esperimento (anteprima)

I dettagli degli esperimenti vengono modificati nell'area di lavoro di Oracle AI Data Platform Workbench.

Nota

Non è possibile eliminare un esperimento se esiste un modello registrato basato su una serie di quell'esperimento.
  1. Nella home page, fare clic su Esperimenti.
  2. Avanti all'esperimento che si desidera eliminare, fare clic su Elimina.
  3. Fare clic su Elimina.