14 Experiments

Dieses Kapitel enthält Informationen zum Erstellen, Verwalten und Entwickeln von Experimenten in Ihrem Arbeitsbereich.

Experimente in Oracle AI Data Platform bieten Data Scientists, Ingenieuren für maschinelles Lernen und Managern die Möglichkeit, bei der Entwicklung von Modellen zusammenzuarbeiten. Mit der AI Data Platform können Sie:

  • Verfolgen Sie Experimente zum Erstellen bester Modelle über Leistungsanalyse, Zusammenarbeit, Analyse experimenteller Bedingungen (Hyperparameter, Eingabedatensatz, Feature Engineering usw.)
  • Stellen Sie sicher, dass alte Experimente nicht mit denselben experimentellen Bedingungen wiederholt werden
  • Führen Sie alte Experimente mit verschiedenen experimentellen Bedingungen für wahrscheinliche Leistungssteigerungen erneut aus
  • Reproduzierbarkeit früherer Experimente
  • Erleichtern Sie das Umtraining mit neueren Datasets, wenn die Performance beeinträchtigt oder ein Umtraining erforderlich ist
  • Laden Sie ein Modell aus Model Registry in ein Notizbuch, und vergleichen Sie die Modellperformance mit einem neuen Modell, das entwickelt wird

Hinweis:

Wenn Sie in Ihrer AI Data Platform noch keine Experimente oder Modelle verwendet haben, müssen Sie entweder das zugehörige Compute-Cluster neu starten oder ein neues erstellen, das mit Experiments und Modellen verwendet werden soll.

Einschränkungen

Experimente werden derzeit nicht von ARM-basierten Compute-Clustern unterstützt. Stellen Sie sicher, dass das angehängte Compute-Cluster entweder Intel- oder AMD-basiert ist.

Experiment erstellen

Sie können Experimente direkt auf der Seite "Experimente" von Oracle AI Data Platform erstellen.

  1. Klicken Sie auf der Homepage auf Experimente.
  2. Klicken Sie auf Create.
  3. Geben Sie einen Namen und die Beschreibung für das Experiment an.
  4. Optional: Geben Sie zusätzliche Metadaten in Form von Freiformtags oder definierten Tags an. Klicken Sie auf Hinzufügen, um zusätzliche Tags zu erstellen.
  5. Klicken Sie auf Create.

Experiment bearbeiten

Sie ändern Details für Experimente in Ihrem Oracle AI Data Platform-Workspace.

  1. Klicken Sie auf der Homepage auf Experimente.
  2. Klicken Sie neben dem Experiment, das Sie bearbeiten möchten, auf Bearbeiten.
  3. Ändern Sie die Details für Ihr Experiment.
  4. Klicken Sie auf Änderungen speichern.

Experimentausführungsdetails anzeigen

Sie können eine Historie vergangener Experimentausführungen anzeigen, diese vergleichen und die Details für bestimmte Ausführungen für Experimente in Ihrem Oracle AI Data Platform-Workspace anzeigen.

  1. Klicken Sie auf der Homepage auf Experimente.
  2. Klicken Sie auf den Namen des Experiments, für das Sie Ausführungsdetails anzeigen möchten.
  3. Verwenden Sie die Dropdown-Listen und die Suchleiste, um die angezeigten Experimentausführungen zu filtern.
  4. Klicken Sie auf Liste oder Vergleichen, um die Experimentausführungen zu ändern.
    • In der Liste werden Experimentausführungen basierend auf Ihren Filtern in geordneten Zeilen mit Metriken zum Experiment angezeigt, das in jeder Spalte angezeigt wird. Sie können nach Metrik sortieren, indem Sie auf diesen Spaltenheader klicken.
    • Unter Vergleichen werden Balkendiagrammvergleiche der Schlüsselmetriken für alle Experimente angezeigt, die derzeit von Ihren Filtern angezeigt werden.
  5. Klicken Sie auf den Namen einer Experimentausführung, um Details für diese Experimentausführung anzuzeigen.

Experimentausführung in einem Notizbuch mit Beispielcode erstellen

Sie können Ausführungen für ein Experiment in einem Notizbuch erstellen, indem Sie Beispielcode mit vorhandenen Experimentdetails ändern.

  1. Navigieren Sie zu Ihrem Notizbuch, in dem Sie eine Ausführung für ein Experiment erstellen möchten.
  2. Klicken Sie auf die Registerkarte Experimente.
  3. Klicken Sie auf Beispielcode.
  4. Ersetzen Sie im Beispielcodeblock experiment name="Customer Churn Prediction" durch experiment name="<your_experiment_name>". Sie können diesen Code auch kopieren und unter Ihrem Experimentnamen ändern:
    import mlflow 
experiment_name = "experiment name" #Replace this with your own experiment name 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  5. Autologs zeichnen automatisch ein Standardset von Metriken auf, je nach ausgewähltem Modell. Um Ihre eigenen Metriken manuell anzugeben, können Sie diesen Code ändern, um mlflow.log_metric(“<metric_name>”,<metric_variable>) aufzurufen:
    import mlflow 
import numpy as np 
from sklearn.tree import DecisionTreeRegressor 
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score 

experiment_name = "Customer Churn Prediction" 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    model = DecisionTreeRegressor(random_state=42, max_depth=5) 
    model.fit(X_train, y_train) 

    preds = model.predict(X_test) 

    mse = mean_squared_error(y_test, preds) 
    rmse = float(np.sqrt(mse)) 

    mlflow.log_metric("test_rmse", rmse) 
    mlflow.log_metric("test_mae", float(mean_absolute_error(y_test, preds))) 
    mlflow.log_metric("test_r2", float(r2_score(y_test, preds))) 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  6. Führen Sie den Codeblock in Ihrem Notizbuch aus. Die Ausführung ist jetzt für das angegebene Experiment registriert.

    Hinweis:

    Mehrere Ausführungen für ein Experiment werden automatisch mit unterschiedlichen Namen protokolliert. Bei Parameter-Sweep-Szenarios erfasst Oracle AI Data Platform automatisch alle Ausführungen und angegebenen Metriken mit unterschiedlichen Namen für das angegebene Experiment.

Modell aus Experimentausführungsdetails registrieren

Sie können ein Modell aus einem bestimmten Experiment in Ihrem Oracle AI Data Platform-Workspace registrieren, indem Sie auf die Details dieser Experimentausführung klicken.

  1. Klicken Sie auf der Homepage auf Experimente.
  2. Klicken Sie auf den Namen des Experiments, für das Sie Ausführungsdetails anzeigen möchten.
  3. Klicken Sie auf den Namen der Experimentausführung, bei der Sie ein Modell registrieren möchten.
  4. Klicken Sie auf Registrieren.
  5. Geben Sie einen Namen und die Beschreibung für das Modell an.
  6. Wählen Sie den Speicherort im Masterkatalog aus, an dem das Modell erstellt werden soll.
  7. Wählen Sie in der Dropdown-Liste Modelle das entsprechende Modell aus.
  8. Optional: Geben Sie zusätzliche Metadaten in Form von Freiformtags oder definierten Tags an. Klicken Sie auf Hinzufügen, um zusätzliche Tags zu erstellen.
  9. Optional: Geben Sie zusätzliche Informationen in Form von benutzerdefinierten Feldern an, z.B. Modelltyp oder Anwendungsfälle. Klicken Sie auf Hinzufügen, um zusätzliche benutzerdefinierte Felder zu erstellen.
  10. Klicken Sie auf Registrieren.

Experiment löschen

Sie ändern Details für Experimente in Ihrem Oracle AI Data Platform-Workspace.

Hinweis:

Sie können ein Experiment nicht löschen, wenn ein registriertes Modell auf einer Ausführung dieses Experiments basiert.
  1. Klicken Sie auf der Homepage auf Experimente.
  2. Klicken Sie neben dem Experiment, das Sie löschen möchten, auf Löschen.
  3. Klicken Sie auf Löschen.