実験(プレビュー)

この章では、ワークスペースで実験を作成、管理、および開発する方法について説明します。

Oracle AI Data Platform Workbenchの実験は、データ・サイエンティスト、機械学習エンジニア、マネージャがモデルの開発で共同作業するための手段を提供します。AIデータ・プラットフォーム・ワークベンチでは、次のことができます。

パフォーマンス解析、コラボレーション、実験条件(ハイパーパラメータ、入力データセット、フィーチャーエンジニアリングなど)の分析を通じて、最適なモデルを構築するための実験を追跡します。
同じ実験条件で古い実験を繰り返さないようにする
異なる実験条件で古い実験を再実行し、パフォーマンスを向上させる可能性が高い
以前の実験の再現性
パフォーマンスの低下または再トレーニングが必要になった場合に、より新しいデータセットで再トレーニングを容易にします
モデル・レジストリからノートブックにモデルをロードし、モデル・パフォーマンスと開発中の新しいモデルを比較します

ノート:

AIデータ・プラットフォーム・ワークベンチで以前に実験またはモデルを使用していない場合は、関連付けられたコンピュート・クラスタを再起動するか、実験およびモデルで使用する新しいコンピュート・クラスタを作成する必要があります。

制限事項

実験は現在、ARMベースのコンピュート・クラスタではサポートされていません。アタッチされたコンピュート・クラスタがIntelベースまたはAMDベースのいずれかであることを確認します。

実験の作成(プレビュー)

実験は、Oracle AI Data Platformの「実験」ページで直接作成できます。

ホーム・ページで、「実験」をクリックします。
「作成」をクリックします。
実験の名前と説明を指定します。
オプション: フリーフォーム・タグまたは定義済タグの形式で追加のメタデータを指定します。「追加」をクリックして追加のタグを作成します。
「作成」をクリックします。

実験の編集(プレビュー)

実験の詳細は、Oracle AI Data Platform Workbenchワークスペースで変更します。

ホーム・ページで、「実験」をクリックします。
編集する実験の横にある「Edit」をクリックします。
実験の詳細を変更します。
「変更の保存」をクリックします。

実験実行詳細の表示(プレビュー)

過去の実験実行の履歴を確認して比較し、Oracle AI Data Platform Workbenchワークスペースで実験の特定の実行の詳細を確認できます。

ホーム・ページで、「実験」をクリックします。
実行の詳細を表示する実験の名前をクリックします。
ドロップダウンリストと検索バーを使用して、表示されている実験実行をフィルタします。
「List」または「Compare」をクリックして、実験実行を変更します。
- 「リスト」には、各列に表示される実験実行に関するメトリックとともに、順序付けられた行のフィルタに基づいて実験実行が表示されます。メトリックでソートするには、その列ヘッダーをクリックします。
- Compareは、フィルタによって現在表示されている実験実行ごとに、主要なメトリックの棒グラフ比較を表示します。
実験実行の名前をクリックして、その実験実行の詳細を表示します。

サンプル・コードを使用したノートブックでの実験実行の作成(プレビュー)

既存の実験の詳細を使用してサンプルコードを変更することによって、ノートブック内の実験の実行を作成できます。

実験の実行を作成するノートブックに移動します。
「実験」タブをクリックします。
「Sample code」をクリックします。

サンプル・コード・ブロックで、experiment name="Customer Churn Prediction"をexperiment name="<your_experiment_name>"に置き換えます。このコードをコピーして、実験名で変更することもできます。

import mlflow 
experiment_name = "experiment name" #Replace this with your own experiment name 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)

自動ログでは、選択したモデルに応じて、デフォルトのメトリック・セットが自動的に記録されます。独自のメトリックを手動で指定するには、次のコードを変更してmlflow.log_metric(“<metric_name>”,<metric_variable>)を起動します。

import mlflow 
import numpy as np 
from sklearn.tree import DecisionTreeRegressor 
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score 

experiment_name = "Customer Churn Prediction" 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    model = DecisionTreeRegressor(random_state=42, max_depth=5) 
    model.fit(X_train, y_train) 

    preds = model.predict(X_test) 

    mse = mean_squared_error(y_test, preds) 
    rmse = float(np.sqrt(mse)) 

    mlflow.log_metric("test_rmse", rmse) 
    mlflow.log_metric("test_mae", float(mean_absolute_error(y_test, preds))) 
    mlflow.log_metric("test_r2", float(r2_score(y_test, preds))) 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)

ノートブックからコード・ブロックを実行します。これで、実行は指定された実験に登録されました。

ノート:
1つの実験に対する複数の実行は、異なる名前で自動的に記録されます。パラメータ・スイープ・シナリオの場合、AIデータ・プラットフォーム・ワークベンチは、指定された実験に対して異なる名前のすべての実行および指定されたメトリックを自動的に取得します。

実験実行詳細からのモデルの登録(プレビュー)

特定の実験実行から、その実験実行の詳細をクリックスルーして、Oracle AI Data Platform Workbenchワークスペースにモデルを登録できます。

ホーム・ページで、「実験」をクリックします。
実行の詳細を表示する実験の名前をクリックします。
モデルを登録する実験実行の名前をクリックします。
「登録」をクリックします。
モデルの名前と説明を指定します。
モデルを作成するマスター・カタログ内の場所を選択します。
「モデル」ドロップダウン・リストから、適切なモデルを選択します。
オプション: フリーフォーム・タグまたは定義済タグの形式で追加のメタデータを指定します。「追加」をクリックして追加のタグを作成します。
オプション: モデル・タイプやユース・ケースなど、カスタム・フィールドの形式で追加情報を指定します。追加のカスタム・フィールドを作成するには、「追加」をクリックします。
「登録」をクリックします。

実験の削除(プレビュー)

実験の詳細は、Oracle AI Data Platform Workbenchワークスペースで変更します。

ノート:

実験の実行に基づく登録済モデルがある場合、その実験は削除できません。

ホーム・ページで、「実験」をクリックします。
削除する実験の横にある「Delete」をクリックします。
「削除」をクリックします