Expériences (prévisualisation)

Ce chapitre fournit des informations sur la création, la gestion et le développement d'expériences dans votre espace de travail.

Les expériences dans Oracle AI Data Platform Workbench fournissent des moyens aux scientifiques des données, aux ingénieurs en apprentissage automatique et aux gestionnaires de collaborer au développement des modèles. AI Data Platform Workbench vous permet de :

  • Suivre les expériences pour construire les meilleurs modèles via l'analyse des performances, la collaboration, l'analyse des conditions expérimentales (hyperparamètres, jeu de données d'entrée, ingénierie des fonctionnalités, etc.)
  • S'assurer que les anciennes expériences ne sont pas répétées dans les mêmes conditions expérimentales
  • Réexécuter d'anciennes expériences avec différentes conditions expérimentales pour des gains de performance probables
  • Reproductibilité des expériences antérieures
  • Faciliter le réentraînement avec des jeux de données plus récents lorsque la performance se dégrade ou que le réentraînement est justifié
  • Charger un modèle à partir du registre de modèles dans un carnet et comparer la performance du modèle à un nouveau modèle en cours de développement

Note :

Si vous n'avez pas utilisé d'expériences ou de modèles précédemment utilisés dans l'atelier Plate-forme de données d'IA, vous devez redémarrer la grappe de calcul associée ou en créer une nouvelle à utiliser avec des expériences et des modèles.

Limitations

Les expériences ne sont actuellement pas prises en charge par les grappes de calcul basées sur ARM. Assurez-vous que la grappe de calcul attachée est basée sur Intel ou AMD.

Créer une expérience (Prévisualisation)

Vous pouvez créer des expériences directement dans la page Expériences d'Oracle AI Data Platform.

  1. Sur la page d'accueil, cliquez sur Experiments.
  2. Cliquez sur Créer.
  3. Entrer un nom et une description pour votre expérience.
  4. Facultatif : Fournissez des métadonnées supplémentaires sous forme de marqueurs à structure libre ou définis. Cliquez sur Ajouter pour créer des marqueurs supplémentaires.
  5. Cliquez sur Créer.

Modifier une expérience (Prévisualisation)

Vous modifiez les détails des expériences dans votre espace de travail Oracle AI Data Platform Workbench.

  1. Sur la page d'accueil, cliquez sur Experiments.
  2. À côté de l'expérience à modifier, cliquez sur Modifier.
  3. Modifiez les détails de votre expérience.
  4. Cliquez sur Enregistrer les modifications.

Voir les détails de l'exécution de l'expérience (Prévisualisation)

Vous pouvez voir l'historique des exécutions d'expérience passées, les comparer et voir les détails des exécutions spécifiques pour les expériences dans votre espace de travail Oracle AI Data Platform Workbench.

  1. Sur la page d'accueil, cliquez sur Experiments.
  2. Cliquez sur le nom de l'expérience pour laquelle vous voulez voir les détails de l'exécution.
  3. Utilisez les listes déroulantes et la barre de recherche pour filtrer les exécutions d'expérience affichées.
  4. Cliquez sur Liste ou sur Comparer pour modifier les exécutions d'expérience affichées.
    • Liste affiche les exécutions d'expérience basées sur vos filtres dans des rangées ordonnées avec des mesures sur l'exécution d'expérience affichées dans chaque colonne. Vous pouvez effectuer un tri par mesure en cliquant sur l'en-tête de cette colonne.
    • Comparer affiche des comparaisons de graphiques à barres des mesures clés pour chaque expérience exécutée actuellement par vos filtres.
  5. Cliquez sur le nom d'une exécution d'expérience pour voir les détails de cette exécution d'expérience.

Créer une exécution d'expérience dans un carnet avec un exemple de code (Prévisualisation)

Vous pouvez créer des exécutions pour une expérience dans un carnet en modifiant un exemple de code avec des détails d'expérience existants.

  1. Naviguez jusqu'à votre carnet où vous souhaitez créer une exécution pour une expérience.
  2. Cliquez sur l'onglet Exemples.
  3. Cliquez sur Exemple de code.
  4. Dans l'exemple de bloc de code, remplacez experiment name="Customer Churn Prediction" par experiment name="<your_experiment_name>". Vous pouvez également copier ce code et le modifier avec votre nom d'expérience :
    import mlflow 
experiment_name = "experiment name" #Replace this with your own experiment name 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  5. Les enregistreurs automatiques enregistrent automatiquement un jeu de mesures par défaut, selon le modèle sélectionné. Pour spécifier manuellement vos propres mesures, vous pouvez modifier ce code pour appeler mlflow.log_metric(“<metric_name>”,<metric_variable>) :
    import mlflow 
import numpy as np 
from sklearn.tree import DecisionTreeRegressor 
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score 

experiment_name = "Customer Churn Prediction" 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    model = DecisionTreeRegressor(random_state=42, max_depth=5) 
    model.fit(X_train, y_train) 

    preds = model.predict(X_test) 

    mse = mean_squared_error(y_test, preds) 
    rmse = float(np.sqrt(mse)) 

    mlflow.log_metric("test_rmse", rmse) 
    mlflow.log_metric("test_mae", float(mean_absolute_error(y_test, preds))) 
    mlflow.log_metric("test_r2", float(r2_score(y_test, preds))) 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  6. Exécutez le bloc de code à partir de votre carnet. L'exécution est maintenant enregistrée pour l'expérience spécifiée.

    Note :

    Plusieurs exécutions pour une expérience sont automatiquement enregistrées avec des noms différents. Pour les scénarios de balayage de paramètres, AI Data Platform Workbench capture automatiquement toutes les exécutions et les mesures spécifiées avec des noms différents pour l'expérience spécifiée.

Enregistrer un modèle à partir des détails d'exécution d'expérience (Prévisualisation)

Vous pouvez enregistrer un modèle dans votre espace de travail Oracle AI Data Platform Workbench à partir d'une expérience spécifique exécutée en cliquant sur les détails de cette expérience.

  1. Dans la page d'accueil, cliquez sur Exemples.
  2. Cliquez sur le nom de l'expérience pour laquelle vous voulez voir les détails de l'exécution.
  3. Cliquez sur le nom de l'exécution de l'expérience à partir de laquelle vous souhaitez enregistrer un modèle.
  4. Cliquez sur Enregistrer.
  5. Entrez un nom et une description pour votre modèle.
  6. Sélectionnez l'emplacement dans votre catalogue principal pour créer le modèle.
  7. Dans la liste déroulante Modèles, sélectionnez le modèle approprié.
  8. Facultatif : Fournissez des métadonnées supplémentaires sous forme de marqueurs à structure libre ou définis. Cliquez sur Ajouter pour créer des marqueurs supplémentaires.
  9. Facultatif : Fournissez des informations supplémentaires sous forme de champs personnalisés, tels que le type de modèle ou les cas d'utilisation. Cliquez sur Ajouter pour créer des champs personnalisés supplémentaires.
  10. Cliquez sur Enregistrer.

Supprimer l'expérience (Prévisualisation)

Vous modifiez les détails des expériences dans votre espace de travail Oracle AI Data Platform Workbench.

Note :

Vous ne pouvez pas supprimer une expérience s'il existe un modèle enregistré basé sur une exécution de cette expérience.
  1. Dans la page d'accueil, cliquez sur Exemples.
  2. À côté de l'expérience à supprimer, cliquez sur Supprimer.
  3. Cliquez sur Supprimer.