Experimente (Vorschau)

Dieses Kapitel enthält Informationen zum Erstellen, Verwalten und Entwickeln von Experimenten in Ihrem Arbeitsbereich.

Experimente in Oracle AI Data Platform Workbench bieten Data Scientists, Machine-Learning-Ingenieuren und Managern die Möglichkeit, bei der Entwicklung von Modellen zusammenzuarbeiten. Mit AI Data Platform Workbench können Sie:

  • Verfolgen Sie Experimente zum Erstellen bester Modelle über Leistungsanalyse, Zusammenarbeit, Analyse experimenteller Bedingungen (Hyperparameter, Eingabedatensatz, Feature Engineering usw.)
  • Stellen Sie sicher, dass alte Experimente nicht mit denselben experimentellen Bedingungen wiederholt werden
  • Führen Sie alte Experimente mit verschiedenen experimentellen Bedingungen für wahrscheinliche Leistungssteigerungen erneut aus
  • Reproduzierbarkeit früherer Experimente
  • Erleichtern Sie das Umtraining mit neueren Datasets, wenn die Performance beeinträchtigt oder ein Umtraining erforderlich ist
  • Laden Sie ein Modell aus Model Registry in ein Notizbuch, und vergleichen Sie die Modellperformance mit einem neuen Modell, das entwickelt wird

Hinweis:

Wenn Sie zuvor keine Experimente oder Modelle in AI Data Platform Workbench verwendet haben, müssen Sie entweder das zugehörige Compute-Cluster neu starten oder ein neues erstellen, das mit Experiments und Modellen verwendet werden soll.

Einschränkungen

Experimente werden derzeit nicht von ARM-basierten Compute-Clustern unterstützt. Stellen Sie sicher, dass das angehängte Compute-Cluster entweder Intel- oder AMD-basiert ist.

Experiment erstellen (Vorschau)

Sie können Experimente direkt auf der Seite "Experimente" von Oracle AI Data Platform erstellen.

  1. Klicken Sie auf der Homepage auf Experimente.
  2. Klicken Sie auf Create.
  3. Geben Sie einen Namen und die Beschreibung für das Experiment an.
  4. Optional: Geben Sie zusätzliche Metadaten in Form von Freiformtags oder definierten Tags an. Klicken Sie auf Hinzufügen, um zusätzliche Tags zu erstellen.
  5. Klicken Sie auf Create.

Experiment bearbeiten (Vorschau)

Sie ändern die Details für Experimente im Arbeitsbereich von Oracle AI Data Platform Workbench.

  1. Klicken Sie auf der Homepage auf Experimente.
  2. Klicken Sie neben dem Experiment, das Sie bearbeiten möchten, auf Bearbeiten.
  3. Ändern Sie die Details für Ihr Experiment.
  4. Klicken Sie auf Änderungen speichern.

Experimentausführungsdetails anzeigen (Vorschau)

Sie können eine Historie vergangener Experimentausführungen anzeigen, diese vergleichen und die Details für bestimmte Ausführungen für Experimente in Ihrem Oracle AI Data Platform Workbench-Workspace anzeigen.

  1. Klicken Sie auf der Homepage auf Experimente.
  2. Klicken Sie auf den Namen des Experiments, für das Sie Ausführungsdetails anzeigen möchten.
  3. Verwenden Sie die Dropdown-Listen und die Suchleiste, um die angezeigten Experimentausführungen zu filtern.
  4. Klicken Sie auf Liste oder Vergleichen, um die Experimentausführungen zu ändern.
    • In der Liste werden Experimentausführungen basierend auf Ihren Filtern in geordneten Zeilen mit Metriken zum Experiment angezeigt, das in jeder Spalte angezeigt wird. Sie können nach Metrik sortieren, indem Sie auf diesen Spaltenheader klicken.
    • Unter Vergleichen werden Balkendiagrammvergleiche der Schlüsselmetriken für alle Experimente angezeigt, die derzeit von Ihren Filtern angezeigt werden.
  5. Klicken Sie auf den Namen einer Experimentausführung, um Details für diese Experimentausführung anzuzeigen.

Experimentlauf in einem Notizbuch mit Beispielcode erstellen (Vorschau)

Sie können Ausführungen für ein Experiment in einem Notizbuch erstellen, indem Sie Beispielcode mit vorhandenen Experimentdetails ändern.

  1. Navigieren Sie zu Ihrem Notizbuch, in dem Sie eine Ausführung für ein Experiment erstellen möchten.
  2. Klicken Sie auf die Registerkarte Experimente.
  3. Klicken Sie auf Beispielcode.
  4. Ersetzen Sie im Beispielcodeblock experiment name="Customer Churn Prediction" durch experiment name="<your_experiment_name>". Sie können diesen Code auch kopieren und unter Ihrem Experimentnamen ändern:
    import mlflow 
experiment_name = "experiment name" #Replace this with your own experiment name 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  5. Autologs zeichnen automatisch ein Standardset von Metriken auf, je nach ausgewähltem Modell. Um Ihre eigenen Metriken manuell anzugeben, können Sie diesen Code ändern, um mlflow.log_metric(“<metric_name>”,<metric_variable>) aufzurufen:
    import mlflow 
import numpy as np 
from sklearn.tree import DecisionTreeRegressor 
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score 

experiment_name = "Customer Churn Prediction" 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    model = DecisionTreeRegressor(random_state=42, max_depth=5) 
    model.fit(X_train, y_train) 

    preds = model.predict(X_test) 

    mse = mean_squared_error(y_test, preds) 
    rmse = float(np.sqrt(mse)) 

    mlflow.log_metric("test_rmse", rmse) 
    mlflow.log_metric("test_mae", float(mean_absolute_error(y_test, preds))) 
    mlflow.log_metric("test_r2", float(r2_score(y_test, preds))) 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  6. Führen Sie den Codeblock in Ihrem Notizbuch aus. Die Ausführung ist jetzt für das angegebene Experiment registriert.

    Hinweis:

    Mehrere Ausführungen für ein Experiment werden automatisch mit unterschiedlichen Namen protokolliert. Bei Parameter-Sweep-Szenarios erfasst AI Data Platform Workbench automatisch alle Ausführungen und angegebenen Metriken mit unterschiedlichen Namen für das angegebene Experiment.

Modell aus Experimentausführungsdetails registrieren (Vorschau)

Sie können ein Modell in Ihrem Oracle AI Data Platform Workbench-Workspace aus einem bestimmten Experiment registrieren, indem Sie auf die Details dieser Experimentausführung klicken.

  1. Klicken Sie auf der Homepage auf Experimente.
  2. Klicken Sie auf den Namen des Experiments, für das Sie Ausführungsdetails anzeigen möchten.
  3. Klicken Sie auf den Namen der Experimentausführung, bei der Sie ein Modell registrieren möchten.
  4. Klicken Sie auf Registrieren.
  5. Geben Sie einen Namen und die Beschreibung für das Modell an.
  6. Wählen Sie den Speicherort im Masterkatalog aus, an dem das Modell erstellt werden soll.
  7. Wählen Sie in der Dropdown-Liste Modelle das entsprechende Modell aus.
  8. Optional: Geben Sie zusätzliche Metadaten in Form von Freiformtags oder definierten Tags an. Klicken Sie auf Hinzufügen, um zusätzliche Tags zu erstellen.
  9. Optional: Geben Sie zusätzliche Informationen in Form von benutzerdefinierten Feldern an, z.B. Modelltyp oder Anwendungsfälle. Klicken Sie auf Hinzufügen, um zusätzliche benutzerdefinierte Felder zu erstellen.
  10. Klicken Sie auf Registrieren.

Experiment löschen (Vorschau)

Sie ändern die Details für Experimente im Arbeitsbereich von Oracle AI Data Platform Workbench.

Hinweis:

Sie können ein Experiment nicht löschen, wenn ein registriertes Modell auf einer Ausführung dieses Experiments basiert.
  1. Klicken Sie auf der Homepage auf Experimente.
  2. Klicken Sie neben dem Experiment, das Sie löschen möchten, auf Löschen.
  3. Klicken Sie auf Löschen.