8.2 모델 모니터 결과 보기

모델 모니터 결과 페이지에는 모니터 중인 각 모델의 모니터링 결과가 표시됩니다. 성공적으로 실행된 모델을 누르면 각 모델의 상세 분석(예: 모델 드리프트, 모델 측정항목, 예측 통계, 기능 영향, 예측 분포 및 예측 대 각 기능의 드리프트 중요도)을 볼 수 있습니다. 모니터링되는 각 기능에 대한 예측 영향 대 드리프트 중요도는 데이터 모니터링이 사용으로 설정된 경우에만 계산됩니다.

1. 모델 모니터 결과 페이지

모델 모니터 결과 페이지에는 모니터가 모니터하는 모든 모델이 나열됩니다. 모니터의 이름은 페이지 상단에 표시됩니다. 이 스크린샷에 표시된 대로 모니터 이름 Power Consumption이 상단에 표시됩니다. 전력 소비 모니터로 모니터되는 GLM_8959AF817, GLMR_0E58D990CD 및 NN_4C90CF9FB8 모델이 모델 섹션에 나열됩니다. 기본적으로 모니터링되는 모든 모델의 세부정보가 표시됩니다. 다른 모니터의 선택을 해제하여 한 번에 한 모니터의 세부 정보를 보도록 선택할 수 있습니다.

그림 8-8 모델 모니터 결과 페이지

[모델 모니터 결과] 페이지는 다음 섹션으로 구성됩니다.

• 설정 - 설정 섹션에 모델 모니터 설정이 표시됩니다. 설정에 대한 화살표를 눌러 이 섹션을 확장합니다. 페이지 오른쪽 상단 모서리에서 편집을 눌러 모델 모니터 설정을 편집할 수 있습니다.

  그림 8-9 모델 모니터 설정

  
• 모델 - [모델] 섹션에는 모니터가 모니터하는 모든 모델이 나열됩니다. 이 예에서는 전력 소비 모니터로 모니터되는 GLM_8959AF817, GLMR_0E58D990CD 및 NN_4C90CF9FB8 모델이 나열됩니다.

  그림 8-10 모델 모니터 결과 페이지의 모델

  

  제외할 모델의 선택을 해제하여 하나 이상의 모니터된 모델의 결과를 보고 비교하도록 선택할 수 있습니다. 모델을 클릭하여 모델의 각 피쳐 결과를 볼 수도 있습니다. 이러한 결과 - 기능 영향 차트, 예측 분포 및 예측 영향 대 편차 중요도 차트가 슬라이딩되는 별도의 창에 표시됩니다. 예측 영향 대 편차 중요도 차트는 모델 모니터를 생성하는 동안 데이터 모니터링 옵션이 선택된 경우에만 계산됩니다.

• 모델 드리프트 - 모델 드리프트 섹션이 모델 섹션 바로 아래에 표시됩니다. 모델 드리프트는 기준 기간과 새 기간 간의 성과 측정지표 변경률입니다. 음수 값은 새 기간에 소음으로 인해 발생할 수 있는 성능 측정 단위가 향상되었음을 나타냅니다.

  X축은 분석 기간을 나타내고 Y축은 드리프트 값을 나타냅니다. 가로 점선은 각 모니터가 기본적으로 가져오는 드리프트 임계값 설정을 나타냅니다. 기본값은 일반적인 사용 사례를 다룹니다. 그러나 특정 사용 사례에 따라 사용자 정의하도록 선택할 수 있습니다. 라인에는 분석 기간의 각 시점에 대한 드리프트 값이 표시됩니다. 드리프트 값을 보려면 선 위로 마우스를 가져갑니다. 임계값을 초과하는 드리프트는 모델 예측의 상당한 변화를 나타냅니다. 임계값을 초과하면 모델 재구축 및 재배치가 필요할 수 있습니다. 드리프트가 임계값보다 낮을 경우 추가 조사 또는 조치를 보장하기 위한 데이터 변경이 부족함을 나타냅니다. 즉, 이 데이터를 사용하여 머신 러닝 모델을 재구축할 수 있습니다.

  그림 8-11 모델 모니터 결과 페이지의 모델 드리프트

  

  한 번에 한 모델의 드리프트 세부정보를 보려면 오른쪽에 있는 모델 이름을 눌러 선택 또는 선택 해제합니다.

• 측정항목 - 이 [측정항목] 섹션에는 선택한 모델에 대해 계산된 측정항목이 표시됩니다. 계산된 미터법이 y축을 따라 플롯되고 x축을 따라 기간이 플롯됩니다. 이 예에서는 세 가지 모델 모두에 대해 R2 또는 R 제곱이 표시됩니다. 커서를 선의 다른 점으로 가져가면 계산된 미터법의 세부 정보가 표시됩니다. 모든 모델에 대한 R2 값은 1입니다. 여기서 모니터되는 세 가지 모델 모두에 대한 R2 값은 1입니다. 이는 세 가지 모델이 모두 데이터에 적합함을 나타냅니다.

  그림 8-12 측정 단위

  
  회귀에 대해 계산된 측정항목은 다음과 같습니다.

  • R2 - 데이터가 적합한 회귀 라인에 얼마나 가까운지를 계산하는 통계 측정 단위입니다. 일반적으로 R 제곱 값이 높을수록 모델이 데이터에 더 잘 맞습니다. R2의 값은 항상 0에서 1 사이입니다. 여기서,
    • 0는 모델이 평균 주위의 응답 데이터의 변동성을 설명하지 않음을 나타냅니다.
    • 1은 모델이 평균 주위의 응답 데이터의 모든 변동성을 설명함을 나타냅니다.
  • Mean Squared Error - 이것은 예측 대상과 실제 대상의 제곱 차이의 평균입니다.
  • Mean Absolute Error - 이것은 예측 대상과 실제 대상의 절대 차이의 평균입니다.
  • 중간값 절대 오차 - 예측 대상과 실제 대상 간의 절대 차이의 중간값입니다.
  이진 분류에 대해 계산된 측정항목은 다음과 같습니다.

  • 정확도 - 양수 및 음수 모두 케이스를 올바르게 분류하는 비율을 계산합니다. 예를 들어 TP+TN+FP+FN(True Positives+True Negatives+False Positives+False Negatives) 사례에서 올바르게 분류된 총 TP(True Positives)+TN(True Negatives) 사례가 있는 경우 공식은 다음과 같습니다.

    Accuracy = (TP+TN)/(TP+TN+FP+FN)

  • 균형 잡힌 정확도 - 이진 분류기가 얼마나 좋은지 평가합니다. 특히 클래스가 불균형할 때, 즉 두 클래스 중 하나가 다른 클래스보다 더 자주 나타나는 경우에 유용합니다. 이는 종종 변형 감지 등과 같은 여러 설정에서 발생합니다.
  • ROC AUC(Area under the ROC Curve) - 결정 임계값에 관계없이 차별의 집계 측정을 제공합니다. AUC - ROC 곡선은 다양한 임계값 설정에서 분류 문제에 대한 성능 측정입니다.
  • 회수 - 올바르게 분류된 실제 양수 비율을 계산합니다.
  • 정밀도 - 실제 양수인 예측 양수의 비율을 계산합니다.
  • F1 점수 - 정밀도와 리콜을 단일 숫자로 결합합니다. F1-점수는 공식에 의해 계산되는 조화 평균을 사용하여 계산됩니다.

    F1-score = 2 × (precision × recall)/(precision + recall)

  다중 클래스 분류에 대해 계산된 척도는 다음과 같습니다.

  • 정확도
  • 균형 조정된 정확도
  • Macro_F1
  • Macro_Precision
  • Macro_Recall
  • Weighted_F1
  • Weighted_Precision
  • Weighted_Recall
• 예측 통계 - 예측 통계 섹션을 보려면 아래로 스크롤합니다. 계산된 예측 통계는 y축을 따라 그려지며 기간은 x축을 따라 그려집니다. 이 스크린샷에서는 10/30/10의 일반화된 선형 모델 - 회귀 모델 GLMR_0E58D990CD에 대한 채우기 안정성 지수가 표시됩니다. 커서를 선의 다른 점에 놓으면 계산된 미터법이 표시됩니다.

  그림 8-13 예측 통계

  

  모든 예측 통계를 보려면 드롭다운 목록을 누르십시오. 모델 예측 통계는 모델 유형에 따라 다릅니다.

  회귀의 경우 계산된 예측 통계는 다음과 같습니다.

  • 인구 안정성 지수(Population Stability Index) - 시간이 지남에 따라 또는 한 숫자의 두 다른 인구 샘플 사이에서 인구가 얼마나 이동했는지를 측정한 것입니다. 두 배포판은 버킷에 고정되며 PSI는 각 버킷에 있는 항목의 퍼센트를 비교합니다. PSI는 다음과 같이 계산됩니다.

    PSI = sum((Actual_% - Expected_%) x ln (Actual_% / Expected_%))

    PSI 값의 해석은 다음과 같습니다.

    • PSI < 0.1는 중요한 모집단 변경이 없음을 의미합니다.
    • 0.1 <= PSI < 0.2는 중간 인구 변화를 의미합니다.
    • PSI >= 0.2는 상당한 인구 변화를 의미합니다.
  • Min - 분석 기간 동안 계산된 통계의 가장 낮은 값입니다.
  • 평균 - 분석 기간 동안 계산된 통계의 평균 값입니다.
  • Max - 분석 기간 동안 계산된 통계의 가장 높은 값입니다.
  • 표준 편차 - 평균에서 얼마나 많은 편차가 있는지 보여주는 값입니다.
  이진 분류의 경우 계산된 예측 통계는 다음과 같습니다.

  • 인구 안정성 지수
  • 평균
  • 최소값
  • 최대값
  • 표준 편차
  • 예측 가능성의 Bin 분포
  • 분류 분배
  다중 클래스 분류의 경우 계산된 예측 통계는 다음과 같습니다.

  • 인구 안정성 지수
  • 분류 분배

2. 모델 모니터 세부정보

모델 이름을 눌러 모델의 각 기능에 대한 세부 정보를 볼 수 있습니다. 이러한 세부정보에는 기능 영향 차트, 예측 분포 및 예측 영향 대 드리프트 중요도 차트가 포함됩니다. 이 예에서는 GLM_8959AF817 모델이 선택됩니다.

그림 8-14 모델 선택

계산된 결과는 슬라이드 인된 별도의 창에 표시됩니다. 최대 3개의 분석 기간 비교를 선택할 수 있습니다. 또한 Baseline 세부 정보를 숨기거나 표시할 수도 있습니다. 모델 피쳐의 계산된 세부 정보는 다음과 같습니다.

• 기능 영향 - 기능 영향 차트는 지정된 시간 동안 모델의 각 기능에 대한 영향을 계산합니다. 또한 차트는 선형 축척 및 로그 축척에 대한 피쳐 영향을 볼 수 있는 옵션도 제공합니다. 차트 위로 마우스를 가져가면 기능 이름, 날짜 및 기능 영향 등의 세부 정보가 표시됩니다.
  • 로그 눈금에 대한 기능 영향 계산을 보려면 로그 눈금을 누릅니다.
  • 을 눌러 선 그래프로 피쳐 영향 계산을 봅니다.
  • 테이블에서 피쳐 영향 계산을 보려면 을 누릅니다.
  • 가장 영향력 있는 기능 제한 대상 드롭다운 목록을 눌러 값을 선택합니다.

  그림 8-15 라이너 배율에 미치는 특징 보기

  

  이 스크린샷에서는 GLOBAL_INTENSITY 기능, 즉 세대 전기 소비의 전역 분 평균 전류 강도가 다른 기능과 비교하여 모델 GLM_8959AF817에 최대 영향을 주는 것으로 보입니다. 로그 스케일을 눌러 아래 스크린샷과 같이 로그 스케일에서 기능 영향 계산을 봅니다. 창 오른쪽 상단에서 X를 눌러 종료합니다.

  그림 8-16 대수 축척에 미치는 피쳐 영향 보기

  
• 예측 분배 - 아래로 스크롤하여 예측 분배를 봅니다. 각 분석 기간에 대해 예측 분포가 그려집니다. 선택한 경우 기준선 데이터가 표시됩니다. 빈이 X축을 따라 플롯되고 Y축을 따라 값이 플롯됩니다. 각 히스토그램 위로 마우스를 가져가면 계산된 세부 정보가 표시됩니다. 창 오른쪽 상단에서 X를 눌러 종료합니다.

  그림 8-17 예측 분포

  
• 예측 영향 대 드리프트 중요도 - 창을 아래로 스크롤하여 예측 영향 대 드리프트 중요도 차트를 봅니다. 이 차트는 시간에 따라 가장 영향력 있는 기능이 드리프트되는 방식을 이해하는 데 도움이 됩니다. Y축을 따라 드리프트 피쳐 중요도가 플롯되고 예측 피쳐 영향이 X축을 따라 플롯됩니다. 창 오른쪽 상단에서 X를 눌러 종료합니다.

  주:

  예측 영향 대 편차 중요도 차트는 모델 모니터를 생성하는 동안 데이터 모니터링 옵션을 선택한 경우에만 계산됩니다.

  그림 8-18 예측 기능 영향 대 드리프트 중요도

  

  이 스크린샷에서는 GLOBAL_INTENSITY 기능이 다른 기능(SUB_METERING_3, GLOBAL_REACTIVE_POWER, VOLTAGE 및 SUB-METERING_1)과 비교하여 선택된 예측 모델 GLM_8959AF817에 미치는 최대 영향을 확인할 수 있습니다.