實驗 (預覽)

本章提供有關在您的工作區中建立、管理及開發實驗的資訊。

Oracle AI Data Platform Workbench 中的實驗為資料科學家、機器學習工程師和經理提供了協同合作模型開發的方法。AI Data Platform Workbench 可讓您：

  • 透過績效分析、協同合作、實驗條件分析 (超參數、輸入資料集、特徵工程等)，追蹤建立最佳模型的實驗
  • 確保舊實驗不會在相同的實驗條件下重複
  • 重新執行具有不同實驗條件的舊實驗，以提高效能
  • 先前實驗的再現性
  • 保證效能降低或重新訓練時，可使用較新的資料集進行重新訓練
  • 將模型從模型登錄載入筆記本並比較模型效能與開發的新模型

附註：

如果您之前未在 AI Data Platform Workbench 中使用實驗或模型，則必須重新啟動關聯的運算叢集，或建立新的運算叢集以與實驗和模型搭配使用。

限制

以 ARM 為基礎的運算叢集目前不支援實驗。請確定附加的運算叢集是以 Intel 或 AMD 為基礎。

建立實驗 (預覽)

您可以直接在 Oracle AI Data Platform 的「實驗」頁面中建立實驗。

  1. 在首頁中，按一下實驗。
  2. 按一下建立。
  3. 提供實驗的名稱與描述。
  4. 選擇性：以任意格式或已定義標記的形式提供其他中繼資料。按一下新增以建立其他標記。
  5. 按一下建立。

編輯實驗 (預覽)

您可以修改 Oracle AI Data Platform Workbench 工作區中實驗的詳細資訊。

  1. 在首頁中，按一下實驗。
  2. 在您要編輯的實驗旁邊，按一下編輯。
  3. 修改您的實驗詳細資訊。
  4. 按一下節省變更。

檢視試驗執行明細 (預覽)

您可以查看過去實驗執行的歷史記錄、加以比較，以及查看 Oracle AI Data Platform Workbench 工作區中實驗的特定執行詳細資訊。

  1. 在首頁中，按一下實驗。
  2. 按一下您要檢視執行詳細資訊的實驗名稱。
  3. 使用下拉式清單和搜尋列來篩選顯示的實驗執行。
  4. 按一下清單 (List) 或比較 (Compare) ，即可變更實驗執行。
    • 清單會根據排序資料列中的篩選顯示實驗執行，其中包含每個資料欄中顯示之實驗執行的測量結果。您可以按一下該資料欄標頭，依測量結果排序。
    • 比較：顯示篩選目前顯示之每個實驗執行的主要測量結果長條圖比較。
  5. 點擊實驗執行名稱，即可檢視該實驗執行的詳細資訊。

使用範例程式碼在記事本中建立實驗執行 (預覽)

您可以修改含有現有實驗詳細資訊的範例程式碼，在記事本中建立實驗的執行。

  1. 瀏覽至您要為實驗建立批次的筆記本。
  2. 按一下實驗頁籤。
  3. 按一下範例程式。
  4. 在範例程式碼區塊中，以 experiment name="<your_experiment_name>" 取代 experiment name="Customer Churn Prediction"。您也可以複製這段程式碼，並使用您的實驗名稱修改：
    import mlflow 
experiment_name = "experiment name" #Replace this with your own experiment name 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  5. 根據選取的模型，自動記錄一組預設的測量結果。若要手動指定自己的測量結果，您可以修改此程式碼來呼叫 mlflow.log_metric(“<metric_name>”,<metric_variable>)：
    import mlflow 
import numpy as np 
from sklearn.tree import DecisionTreeRegressor 
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score 

experiment_name = "Customer Churn Prediction" 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    model = DecisionTreeRegressor(random_state=42, max_depth=5) 
    model.fit(X_train, y_train) 

    preds = model.predict(X_test) 

    mse = mean_squared_error(y_test, preds) 
    rmse = float(np.sqrt(mse)) 

    mlflow.log_metric("test_rmse", rmse) 
    mlflow.log_metric("test_mae", float(mean_absolute_error(y_test, preds))) 
    mlflow.log_metric("test_r2", float(r2_score(y_test, preds))) 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  6. 從您的筆記型電腦執行程式碼區塊。此執行現在已註冊至指定的實驗。

    附註：

    實驗的多次執行會自動以不同的名稱記錄。對於參數清除案例，AI Data Platform Workbench 會自動擷取指定實驗名稱不同的所有執行與指定度量。

從試驗執行明細登錄模型 (預覽)

您可以按一下特定實驗執行的詳細資訊，在 Oracle AI Data Platform Workbench 工作區中註冊模型。

  1. 在首頁中，按一下實驗。
  2. 按一下您要檢視執行詳細資訊的實驗名稱。
  3. 按一下您要註冊模型的實驗執行名稱。
  4. 按一下註冊。
  5. 提供您模型的名稱和描述。
  6. 選擇主要目錄中的位置以建立模型。
  7. 從模型下拉式清單中，選取適當的模型。
  8. 選擇性：以任意格式或已定義標記的形式提供其他中繼資料。按一下新增以建立其他標記。
  9. 選擇性：以自訂欄位的形式提供其他資訊，例如模型類型或使用案例。按一下新增以建立其他自訂欄位。
  10. 按一下註冊。

刪除試驗 (預覽)

您可以修改 Oracle AI Data Platform Workbench 工作區中實驗的詳細資訊。

附註：

如果有根據該實驗執行的已註冊模型，您就無法刪除實驗。
  1. 在首頁中，按一下實驗。
  2. 在您要刪除的實驗旁邊，按一下刪除。
  3. 按一下「刪除」。