8 모델 모니터링 시작하기

모델 모니터링을 통해 시간에 따른 모델 예측의 품질을 모니터링하고 모델 품질 문제의 원인에 대한 통찰력을 얻을 수 있습니다.

모델 모니터 페이지에서는 모델 모니터 및 결과를 생성, 실행 및 추적할 수 있습니다. 이 페이지에는 모델 모니터가 나열됩니다. 아래 스크린샷과 같이 원하는 단일 모델 모니터를 선택하여 모델 드리프트를 미리 볼 수 있습니다. 이 스크린샷에서는 Power Consumption 모니터가 선택되어 있습니다. [모델 모니터] 페이지의 아래쪽 창에 선택한 모니터에 대한 모델 드리프트가 표시됩니다. X축은 분석 기간을 나타내고 Y축은 모델 드리프트 값을 나타냅니다. 가로 빨간색 점선은 임계값입니다. 라인에는 분석 기간의 각 시점에 대한 드리프트 값이 표시됩니다. 드리프트 값을 보려면 선 위로 마우스를 가져갑니다.

그림 8-1 모델 모니터 페이지

[모델 모니터] 페이지에서 다음 작업을 수행할 수 있습니다.

• 생성: 모델 모니터를 생성합니다.
• 편집: 모델 모니터를 선택하고 편집을 눌러 모니터를 편집합니다.
• 복제: 모델 모니터를 선택하고 복제를 눌러 모니터 복사본을 생성합니다.
• 삭제: 모델 모니터를 선택하고 삭제를 눌러 모델 모니터를 삭제합니다.
• 내역: 모델 모니터를 선택하고 내역을 눌러 모델 모니터의 런타임 세부정보를 봅니다. 모델 모니터와 연관된 데이터 모니터 작업이 있는 경우 아래쪽 창에 데이터 모니터 런타임 세부정보가 표시됩니다. 모델 모니터링 페이지로 돌아가려면 모델 모니터링을 누릅니다.
• 시작: 모델 모니터를 시작합니다.
• 정지: 실행 중인 모델 모니터를 중지합니다.
• 자세히: 모델 모니터를 선택하고 자세히를 누른 다음 다음을 누릅니다.
  • 사용: 모델 모니터 일정을 사용으로 설정합니다. 기본적으로 모델 모니터는 사용으로 설정되어 있습니다. 상태가 SCHEDULED.로 표시됩니다.
  • 사용 안함: 모델 모니터 일정을 사용 안함으로 설정합니다. 상태가 DISABLED.로 표시됩니다.
  • 관리 모니터 표시: OML 서비스 REST API에서 생성 및 관리되는 모델을 보려면 이 옵션을 누릅니다.

모델 모니터 페이지에는 모델 모니터에 대한 다음 정보가 표시됩니다.

• 이름: 모델 모니터의 이름입니다.
• 데이터 모니터: 이 열의 선택 표시는 모델 모니터와 연관된 데이터 모니터 작업이 있음을 나타냅니다. 세 개의 점을 클릭하여 다음을 확인합니다.

  그림 8-2 데이터 모니터의 결과 및 설정 보기

  
  • 결과: 데이터 모니터 작업으로 계산된 데이터 모니터링 결과를 표시합니다. 데이터 모니터 이름은 접두어 OML과 함께 자동 생성됩니다. 계산된 통계와 함께 데이터 드리프트 및 모니터되는 기능은 별도의 페이지에 보기 전용 모드로 표시됩니다. 왼쪽 상단 모서리에 있는 모니터를 눌러 [모델 모니터] 페이지로 돌아갑니다. 오른쪽 상단 모서리에 있는 세부정보를 눌러 데이터 모니터의 설정을 확인합니다.

    그림 8-3 데이터 모니터 결과

    
  • 설정: 데이터 모니터 설정, 추가 설정 및 모니터된 기능을 보기 전용 모드로 표시합니다. 페이지 오른쪽 상단에 있는 뒤로를 눌러 모델 모니터 페이지로 돌아갑니다.

    그림 8-4 데이터 모니터 설정

    
• 기준 데이터: 모니터할 기준 데이터를 포함하는 테이블 또는 뷰입니다.
• 새 데이터: 기준선 데이터와 비교할 새 데이터가 있는 테이블 또는 뷰입니다.
• 마지막 시작 날짜: 모델 모니터가 마지막으로 시작된 날짜입니다.
• 마지막 상태: 모델 모니터의 최신 상태입니다. 상태는 SUCCEEDED, FAILED, RUNNING, SCHEDULED입니다.
• 다음 실행 일자: 다음 실행이 스케줄링된 일자입니다.
• 상태: 모델 모니터의 현재 상태입니다.
• 일정: 모니터링 작업 빈도, 즉 모델 모니터가 새 데이터에서 실행되도록 설정된 빈도입니다.

• 모델 모니터 생성
  모델 모니터를 사용하면 호환되는 여러 모델을 모니터하고 모델 드리프트 차트를 계산할 수 있습니다. 호환 가능한 모델은 동일한 대상 및 마이닝 기능에 대해 학습된 모델을 나타냅니다. 모델 드리프트 차트는 모니터링되는 각 모델에 대해 하나씩 여러 일련의 데이터 드리프트 포인트로 구성됩니다.
• 모델 모니터 결과 보기
  [모델 모니터 결과] 페이지에는 모니터 중인 각 모델의 모니터링 결과가 표시됩니다. 성공적으로 실행된 모델을 누르면 각 모델의 상세 분석(예: 모델 드리프트, 모델 측정항목, 예측 통계, 기능 영향, 예측 분포 및 예측 대 각 기능의 드리프트 중요도)을 볼 수 있습니다. 모니터링되는 각 기능에 대한 예측 영향 대 드리프트 중요도는 데이터 모니터링이 사용으로 설정된 경우에만 계산됩니다.
• 모델 내역 보기
  [내역] 페이지에는 모델 모니터의 런타임 세부정보가 표시됩니다.