14 Experiments

이 장에서는 작업 영역에서 실험 생성, 관리 및 개발에 대한 정보를 제공합니다.

Oracle AI Data Platform의 실험은 데이터 과학자, 머신 러닝 엔지니어 및 관리자가 모델 개발에 협력할 수 있는 수단을 제공합니다. AI Data Platform을 사용하면 다음을 수행할 수 있습니다.

  • 성능 분석, 협업, 실험 조건 분석(초매개변수, 입력 데이터세트, 기능 엔지니어링 등)을 통해 최상의 모델 구축 실험 추적
  • 동일한 실험 조건으로 이전 실험이 반복되지 않도록 합니다.
  • 성능 향상을 위해 다른 실험 조건으로 이전 실험 재실행
  • 이전 실험의 재현성
  • 성능 저하 또는 재교육이 보장되는 경우 최신 데이터 세트로 재교육 촉진
  • 모델 레지스트리에서 노트북으로 모델을 로드하고 개발 중인 새 모델과 모델 성능을 비교합니다.

주:

이전에 AI 데이터 플랫폼에서 실험 또는 모델을 사용하지 않은 경우 연관된 컴퓨트 클러스터를 재시작하거나 실험 및 모델과 함께 사용할 새 컴퓨트 클러스터를 생성해야 합니다.

제한사항

실험은 현재 ARM 기반 컴퓨트 클러스터에서 지원되지 않습니다. 연결된 컴퓨트 클러스터가 Intel 또는 AMD 기반인지 확인합니다.

실험 생성

Oracle AI Data Platform의 실험 페이지에서 직접 실험을 생성할 수 있습니다.

  1. 홈 페이지에서 실험을 누릅니다.
  2. 생성을 누릅니다.
  3. 실험에 대한 이름 및 설명을 제공하십시오.
  4. 선택 사항: 자유 형식 또는 정의된 태그 형식으로 추가 메타데이터를 제공합니다. 추가를 눌러 추가 태그를 생성합니다.
  5. 생성을 누릅니다.

실험 편집

Oracle AI Data Platform 작업영역에서 실험에 대한 세부정보를 수정합니다.

  1. 홈 페이지에서 실험을 누릅니다.
  2. 편집할 실험 옆에 있는 편집을 누릅니다.
  3. 실험에 대한 세부정보를 수정합니다.
  4. 변경사항 저장을 누릅니다.

실험 실행 상세내역 조회

Oracle AI Data Platform 작업영역에서 과거 실험 실행 내역을 확인하고, 비교하고, 실험을 위한 특정 실행 세부정보를 확인할 수 있습니다.

  1. 홈 페이지에서 실험을 누릅니다.
  2. 실행 세부정보를 보려는 실험의 이름을 누릅니다.
  3. 드롭다운 목록 및 검색 막대를 사용하여 표시된 실험 실행을 필터링합니다.
  4. 목록 또는 비교를 눌러 실험 실행을 변경합니다.
    • 목록은 각 열에 표시된 실험 실행에 대한 측정항목과 함께 정렬된 행의 필터를 기반으로 실험 실행을 표시합니다. 해당 열 머리글을 눌러 측정항목별로 정렬할 수 있습니다.
    • 비교는 필터로 현재 표시된 모든 실험 실행에 대한 주요 측정항목의 막대 그래프 비교를 표시합니다.
  5. 실험 실행의 이름을 눌러 해당 실험 실행에 대한 세부정보를 봅니다.

샘플 코드가 있는 노트북에서 실험 실행 생성

기존 실험 세부정보로 샘플 코드를 수정하여 노트북 내에서 실험에 대한 실행을 생성할 수 있습니다.

  1. 실험 실행을 생성할 노트북으로 이동합니다.
  2. 실험 탭을 누릅니다.
  3. 샘플 코드를 누릅니다.
  4. 샘플 코드 블록에서 experiment name="Customer Churn Prediction"를 experiment name="<your_experiment_name>"로 바꿉니다. 이 코드를 복사하여 실험 이름으로 수정할 수도 있습니다.
    import mlflow 
experiment_name = "experiment name" #Replace this with your own experiment name 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  5. 자동차는 선택한 모델에 따라 기본 척도 세트를 자동으로 기록합니다. 고유 측정항목을 수동으로 지정하려면 이 코드를 수정하여 mlflow.log_metric(“<metric_name>”,<metric_variable>)를 호출할 수 있습니다.
    import mlflow 
import numpy as np 
from sklearn.tree import DecisionTreeRegressor 
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score 

experiment_name = "Customer Churn Prediction" 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    model = DecisionTreeRegressor(random_state=42, max_depth=5) 
    model.fit(X_train, y_train) 

    preds = model.predict(X_test) 

    mse = mean_squared_error(y_test, preds) 
    rmse = float(np.sqrt(mse)) 

    mlflow.log_metric("test_rmse", rmse) 
    mlflow.log_metric("test_mae", float(mean_absolute_error(y_test, preds))) 
    mlflow.log_metric("test_r2", float(r2_score(y_test, preds))) 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  6. 노트북에서 코드 블록을 실행합니다. 이제 지정된 실험에 실행이 등록되었습니다.

    주:

    한 실험에 대한 여러 실행은 다른 이름으로 자동으로 기록됩니다. 매개변수 스윕 시나리오의 경우 Oracle AI Data Platform은 지정된 실험에 대해 이름이 다른 모든 실행 및 지정된 측정항목을 자동으로 캡처합니다.

실험 실행 세부정보에서 모델 등록

해당 실험 실행의 세부정보를 눌러 특정 실험 실행에서 Oracle AI Data Platform 작업영역에 모델을 등록할 수 있습니다.

  1. 홈 페이지에서 실험을 누릅니다.
  2. 실행 세부정보를 보려는 실험의 이름을 누릅니다.
  3. 모델을 등록할 실험 실행의 이름을 클릭합니다.
  4. 등록을 누릅니다.
  5. 모델에 대한 이름 및 설명을 제공하십시오.
  6. 마스터 카탈로그에서 모델을 생성할 위치를 선택합니다.
  7. 모델 드롭다운 목록에서 적합한 모델을 선택합니다.
  8. 선택 사항: 자유 형식 또는 정의된 태그 형식으로 추가 메타데이터를 제공합니다. 추가를 눌러 추가 태그를 생성합니다.
  9. 선택 사항: 모델 유형 또는 사용 사례와 같은 사용자정의 필드 형식으로 추가 정보를 제공합니다. 추가 사용자정의 필드를 생성하려면 추가를 누릅니다.
  10. 등록을 누릅니다.

실험 삭제

Oracle AI Data Platform 작업영역에서 실험에 대한 세부정보를 수정합니다.

주:

해당 실험의 실행을 기반으로 하는 등록된 모델이 있는 경우 실험을 삭제할 수 없습니다.
  1. 홈 페이지에서 실험을 누릅니다.
  2. 삭제할 실험 옆에 있는 삭제를 누릅니다.
  3. 삭제를 누릅니다.