3.3 実験の表示

AutoML UIの実験ページには、作成したすべての実験が一覧表示されます。各実験は、「完了」、「実行中」、「準備完了」のいずれかのステージになります。

実験を表示するには、実験名をクリックします。「実験」ページには、選択した実験の詳細が表示されます。内容は次のとおりです。

実験の編集

このセクションで、選択した実験を編集できます。「編集」をクリックして、実験を編集します。

ノート:

実行中の実験は編集できません。

メトリック・チャート

モデル・メトリック・チャートは、実験の実行時における経時的な最善のメトリック値を表します。これは、実験の実行が進行するにつれて精度の改善点を示します。表示名は、実験の作成時に選択したモデル・メトリックによって異なります。

リーダー・ボード

実験を実行すると、リーダーボードに結果が表示され始めます。リーダー・ボードには、選択したモデル・メトリックに関連する、パフォーマンスが最も高いモデルが、アルゴリズムおよび精度とともに表示されます。モデル詳細を表示して、次のタスクを実行できます。

図3-10 リーダー・ボード


図3-10の説明が続きます
「図3-10 リーダー・ボード」の説明

  • モデルの詳細の表示: モデル名をクリックして、詳細を表示します。「モデルの詳細」ダイアログ・ボックスにモデル詳細が表示されます。リーダー・ボードで複数のモデルをクリックし、モデルの詳細を同時に表示できます。「モデルの詳細」ウィンドウには、次の情報が表示されます。
    • 予測の影響: モデルのターゲット予測に関する属性の重要度が表示されます。
    • 混同行列: アルゴリズムによる実際の値と予測値の様々な組合せが表に表示されます。混同行列は、機械学習アルゴリズムのパフォーマンス測定として機能します。
  • デプロイ: リーダー・ボードで任意のモデルを選択し、「デプロイ」をクリックして、選択したモデルをデプロイします。モデルのデプロイ。
  • 名前変更: 「名前変更」をクリックして、システム生成のモデル名を変更します。名前は英数字(123文字以内)で、空白を含めることはできません。
  • ノートブックの作成: リーダー・ボードで任意のモデルを選択し、AutoML UIモデルからのノートブックの作成をクリックして、選択したモデルをコードから再作成します。
  • メトリック: 「メトリック」をクリックして、リーダー・ボードに表示する追加メトリックを選択します。追加メトリックは次のとおりです。
    • 分類の場合
      • 精度:正数と負数の両方のケースを正しく分類する割合を計算します。たとえば、TP + TN + FP + FN (True Positives+True Negatives+False Positives+False Negatives)ケースから正しく分類されたTP (True Positives) + TN (True Negatives)ケースの合計がある場合、式は次のようになります。Accuracy = (TP+TN)/(TP+TN+FP+FN)
      • バランスの取れた精度: 二項分類子がどの程度良好かを評価します。これは、クラスが不均衡な場合、つまり2つのクラスのいずれかが他方よりも頻繁に出現する場合に特に便利です。これは、異常検出などの多くの設定でよく発生します。
      • 再現率: 正しく分類された実際の陽性の比率を計算します。
      • 適合率: 予測された陽性のうち真陽性であるものの割合を計算します。
      • F1スコア: 適合率と再現率を組み合せて単一の数値にします。F1-scoreは、次の式で計算される調和平均を使用して計算されます: F1-score = 2 × (precision × recall)/(precision + recall)
    • 回帰の場合:
      • R2(デフォルト): 適合回帰線へのデータの近似度を計算する統計的測定。一般に、R2乗の値が大きいほど、モデルはデータに適合します。R2の値は常に0から1の間です。
        • 0は、平均に関するレスポンス・データの変動がモデルで説明されていないことを示します。
        • 1は、平均に関するレスポンス・データのすべての変動をモデルが説明していることを示します。
      • 負の平均二乗誤差: これは、予測ターゲットと実際のターゲットの2乗差の平均です。
      • 負の平均絶対誤差: これは、予測ターゲットと実際のターゲットの絶対差の平均です。
      • 負の中央絶対誤差: これは、予測ターゲットと実際のターゲットの間の絶対差の中央値です。

特徴

「特徴」グリッドには、実験に対して選択した表の統計が表示されます。サポートされている統計は、重複なしの値、最小、最大、平均および標準偏差です。特徴でサポートされているデータ・ソースは、表、ビューおよび分析ビューです。「予測」で選択したターゲット列がここで強調表示されます。実験の実行が完了すると、「特徴」グリッドに追加の「重要度」列が表示されます。特徴の重要度は、特定の特徴に対する予測の全体的な感度レベルを示します。グラフの上にカーソルを置くと、重要度の値が表示されます。値は常に0から1の範囲で表され、1に近い方がより重要です。

図3-11 特徴


図3-11の説明が続きます
「図3-11 特徴」の説明

  • AutoML UIモデルからのノートブックの作成
    同じ設定を使用して、選択したモデルを再作成するOML4Pyコードを使用してノートブックを作成できます。また、モデルを使用してデータをスコアリングする方法も示します。このオプションは、コードを使用して類似の機械学習モデルを再作成する場合に役立ちます。

親トピック: AutoML UI

3.3.1 AutoML UIモデルからのノートブックの作成

同じ設定を使用して、選択したモデルを再作成するOML4Pyコードを使用してノートブックを作成できます。また、モデルを使用してデータをスコアリングする方法も示します。このオプションは、コードを使用して類似の機械学習モデルを再作成する場合に役立ちます。

AutoML UIモデルからノートブックを作成するには:
  1. ノートブックの作成に使用するモデルをリーダー・ボードで選択し、「ノートブックの作成」をクリックします。「ノートブックの作成」ダイアログが表示されます。

    図3-12 「ノートブックの作成」ダイアログ


    図3-12の説明が続きます。
    「図3-12 「ノートブックの作成」ダイアログ」の説明

  2. 「ノートブック名」フィールドに、ノートブックの名前を入力します。
    REST APIエンドポイントは実験メタデータを導出し、必要に応じて次の設定を決定します。
    • 実験のデータソース(schema.table)
    • ケースID。実験のケースIDが使用できない場合は、該当するメッセージが表示されます。
    • 現在のモデル名に基づいて一意のモデル名が生成されます
    • 段落のスコアリングに関連する情報:
      • ケースID: 使用可能な場合は、「ケースID」列がスコアリング出力表にマージされます
      • ビルド・データ・ソースおよび一意の接尾辞に基づいて一意の予測出力表名を生成します
      • 予測列名: PREDICTION
      • 予測確率列名: PROBABILITY (分類にのみ適用可能)
  3. 「OK」をクリックします。生成されたノートブックが「ノートブック」ページにリストされます。クリックしてノートブックを開きます。
    生成されたノートブックには、各段落の段落タイトルがpythonコードとともに表示されます。ノートブックを実行すると、ノートブックおよびAutoML実験に関連する情報(実験名、ノートブックが存在するワークスペースとプロジェクト、ユーザー、データ、予測タイプと予測ターゲット、アルゴリズム、ノートブックが生成されたときのタイムスタンプなど)が表示されます。

    図3-13 AutoML UIで生成されたノートブック


    図3-13の説明が続きます。
    「図3-13 AutoML UIで生成されたノートブック」の説明

親トピック: 実験の表示