Expériences (aperçu)

Ce chapitre fournit des informations sur la création, la gestion et le développement d'expériences dans votre espace de travail.

Les expériences d'Oracle AI Data Platform Workbench permettent aux data scientists, aux ingénieurs de machine learning et aux responsables de collaborer au développement de modèles. AI Data Platform Workbench vous permet de :

  • Suivre les expériences de construction des meilleurs modèles via l'analyse des performances, la collaboration, l'analyse des conditions expérimentales (hyperparamètres, jeu de données d'entrée, ingénierie des fonctionnalités, etc.)
  • S'assurer que les expériences anciennes ne sont pas répétées avec les mêmes conditions expérimentales
  • Réexécuter d'anciennes expériences avec différentes conditions expérimentales pour des gains de performance probables
  • Reproductibilité des expériences antérieures
  • Faciliter le recyclage avec des jeux de données plus récents lorsque les performances se dégradent ou que le recyclage est justifié
  • Charger un modèle à partir du registre de modèle dans un bloc-notes et comparer les performances d'un modèle à celles d'un nouveau modèle en cours de développement

Remarques :

Si vous n'avez pas utilisé d'expériences ou de modèles précédemment dans AI Data Platform Workbench, vous devez redémarrer le cluster de calcul associé ou en créer un à utiliser avec les expériences et les modèles.

Limites

Les expériences ne sont actuellement pas prises en charge par les clusters de calcul basés sur ARM. Assurez-vous que le cluster de calcul associé est basé sur Intel ou AMD.

Création d'une expérience (aperçu)

Vous pouvez créer des expériences directement sur la page Expériences d'Oracle AI Data Platform.

  1. Sur la page d'accueil, cliquez sur Experiments.
  2. Cliquez sur Créer.
  3. Indiquez le nom et la description de votre expérience.
  4. Facultatif : fournissez des métadonnées supplémentaires sous forme de balises à format libre ou définies. Cliquez sur Ajouter pour créer des balises supplémentaires.
  5. Cliquez sur Créer.

Modification d'une expérience (aperçu)

Vous modifiez les détails des expériences dans votre espace de travail Oracle AI Data Platform Workbench.

  1. Sur la page d'accueil, cliquez sur Experiments.
  2. En regard de l'expérience à modifier, cliquez sur Modifier.
  3. Modifiez les détails de votre expérience.
  4. Cliquez sur Enregistrer les modifications.

Afficher les détails de l'exécution de l'expérience (aperçu)

Vous pouvez consulter l'historique des exécutions d'expériences passées, les comparer et voir les détails des exécutions spécifiques des expériences dans votre espace de travail Oracle AI Data Platform Workbench.

  1. Sur la page d'accueil, cliquez sur Experiments.
  2. Cliquez sur le nom de l'expérience pour laquelle vous voulez afficher les détails de l'exécution.
  3. Utilisez les listes déroulantes et la barre de recherche pour filtrer les exécutions d'expérience affichées.
  4. Cliquez sur Liste ou sur Comparer pour modifier l'affichage des exécutions d'expérience.
    • List affiche les exécutions d'expérience en fonction de vos filtres dans les lignes triées, avec des mesures sur l'exécution d'expérience affichée dans chaque colonne. Vous pouvez trier les résultats par mesure en cliquant sur cet en-tête de colonne.
    • Comparer affiche des comparaisons sous forme de graphique à barres des mesures clés pour chaque exécution d'expérience actuellement affichée par vos filtres.
  5. Cliquez sur le nom d'une exécution d'expérience pour en afficher les détails.

Création d'une exécution d'expérience dans un bloc-notes avec un exemple de code (aperçu)

Vous pouvez créer des exécutions pour une expérience dans un bloc-notes en modifiant un exemple de code avec des détails d'expérience existants.

  1. Accédez à votre bloc-notes où vous souhaitez créer une exécution pour une expérience.
  2. Cliquez sur l'onglet Experiments.
  3. Cliquez sur Exemple de code.
  4. Dans l'exemple de bloc de code, remplacer experiment name="Customer Churn Prediction" par experiment name="<your_experiment_name>". Vous pouvez également copier ce code et le modifier avec le nom de votre expérience :
    import mlflow 
experiment_name = "experiment name" #Replace this with your own experiment name 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  5. Les journaux automatiques enregistrent automatiquement un ensemble de mesures par défaut, en fonction du modèle sélectionné. Pour indiquer manuellement vos propres mesures, vous pouvez modifier ce code afin d'appeler mlflow.log_metric(“<metric_name>”,<metric_variable>) :
    import mlflow 
import numpy as np 
from sklearn.tree import DecisionTreeRegressor 
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score 

experiment_name = "Customer Churn Prediction" 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    model = DecisionTreeRegressor(random_state=42, max_depth=5) 
    model.fit(X_train, y_train) 

    preds = model.predict(X_test) 

    mse = mean_squared_error(y_test, preds) 
    rmse = float(np.sqrt(mse)) 

    mlflow.log_metric("test_rmse", rmse) 
    mlflow.log_metric("test_mae", float(mean_absolute_error(y_test, preds))) 
    mlflow.log_metric("test_r2", float(r2_score(y_test, preds))) 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  6. Exécutez le bloc de code à partir de votre bloc-notes. L'exécution est maintenant enregistrée dans l'expérience spécifiée.

    Remarques :

    Plusieurs exécutions d'une expérience sont automatiquement consignées sous des noms différents. Pour les scénarios de balayage de paramètres, AI Data Platform Workbench capture automatiquement toutes les exécutions et les mesures spécifiées avec des noms différents de ceux de l'expérience spécifiée.

Enregistrement d'un modèle à partir des détails d'exécution d'expérience (aperçu)

Vous pouvez inscrire un modèle dans votre espace de travail Oracle AI Data Platform Workbench à partir d'une expérience spécifique exécutée en cliquant sur les détails de cette expérience exécutée.

  1. Sur la page d'accueil, cliquez sur Experiments.
  2. Cliquez sur le nom de l'expérience pour laquelle vous voulez afficher les détails de l'exécution.
  3. Cliquez sur le nom de l'exécution d'expérience à partir de laquelle vous voulez enregistrer un modèle.
  4. Cliquez sur Inscrire.
  5. Indiquez un nom et un descriptif pour votre modèle.
  6. Choisissez l'emplacement dans le catalogue maître pour créer le modèle.
  7. Dans la liste déroulante Modèles, sélectionnez le modèle approprié.
  8. Facultatif : fournissez des métadonnées supplémentaires sous forme de balises à format libre ou définies. Cliquez sur Ajouter pour créer des balises supplémentaires.
  9. Facultatif : fournissez des informations supplémentaires sous forme de champs personnalisés, tels que le type de modèle ou les cas d'emploi. Cliquez sur Ajouter pour créer des champs personnalisés supplémentaires.
  10. Cliquez sur Inscrire.

Supprimer l'expérience (aperçu)

Vous modifiez les détails des expériences dans votre espace de travail Oracle AI Data Platform Workbench.

Remarques :

Vous ne pouvez pas supprimer une expérience si un modèle enregistré est basé sur une exécution de cette expérience.
  1. Sur la page d'accueil, cliquez sur Experiments.
  2. En regard de l'expérience à supprimer, cliquez sur Supprimer.
  3. Cliquez sur Supprimer.