1. Autonomous DatabaseでのOracle Machine Learningユーザー・インタフェースの使用
  2. AutoML UIスタート・ガイド
  3. 実験の表示

6.3 実験の表示

AutoML UI実験ページに、作成したすべての実験がリストされます。各実験のステージは、「完了」、「実行中」、「準備完了」のいずれかになります。

実験を表示するには、実験名をクリックします。「実験」ページに、選択した実験の詳細が表示されます。内容は次のとおりです。

実験の編集

この項では、選択した実験を編集できます。「編集」をクリックして、実験に編集を加えます。

ノート:

実行中の実験は編集できません。

メトリック・チャート

モデル・メトリック・チャートには、実験の実行で経時的に得られた最適なメトリック値が表されます。実験の実行の進捗に伴って精度が向上することが示されます。表示名は、実験の作成時に選択したモデル・メトリックによって決まります。

リーダー・ボード

実験が実行されると、「リーダー・ボード」に結果が表示され始めます。「リーダー・ボード」には、選択したモデル・メトリックに関して最もパフォーマンスの良いモデルがアルゴリズムおよび精度とともに表示されます。モデルの詳細を確認し、次のタスクを実行できます:

図6-10 リーダー・ボード

リーダー・ボード
  • モデルの詳細の表示: 「モデル名」をクリックすると、詳細が表示されます。モデルの詳細は、「モデルの詳細」ダイアログ・ボックスに表示されます。「リーダー・ボード」で複数のモデルをクリックすると、それらのモデルの詳細が同時に表示されます。「モデルの詳細」ウィンドウには、次のものが表示されます:
    • 予測の影響: モデルのターゲット予測に関する属性の重要性が表示されます。
    • 混同行列: アルゴリズムによる実際値と予測値の様々な組合せが表に表示されます。「混同行列」は、機械学習アルゴリズムのパフォーマンス測定として機能します。
  • デプロイ: 「リーダー・ボード」で任意のモデルを選択し、「デプロイ」をクリックして、選択したモデルをデプロイします。「モデルのデプロイ」。
  • 名前変更: 「名前変更」をクリックして、システム生成のモデル名を変更します。名前は英数字(123文字以内)で、空白を含めることはできません。
  • ノートブックの作成: リーダー・ボードで任意のモデルを選択し、AutoML UIモデルからのノートブックの作成をクリックして、選択したモデルをコードから再作成します。
  • メトリック: 「メトリック」をクリックして、「リーダー・ボード」に表示する追加のメトリックを選択します。追加のメトリックは次のとおりです:
    • 「分類」の場合
      • 精度: 陽性と陰性の両方のケースが正しく分類された割合が計算されます。たとえば、TP+TN+FP+FN (True Positives+True Negatives+False Positives+False Negatives)のケースのうち正しく分類されたケースが合計でTP (True Positives)+TN (True Negatives)ある場合、式はAccuracy = (TP+TN)/(TP+TN+FP+FN)になります。
      • バランスの取れた精度: 二項分類子がどの程度良好かが評価されます。これは、クラスが不均衡な場合、つまり2つのクラスのうち一方の出現頻度がもう一方よりもはるかに高い場合に特に便利です。これは、異常検出などの多くの設定でよく起こります。
      • 再現率: 正しく分類された実際の陽性の割合が計算されます。
      • 適合率: 真陽性であるものが陽性と予測された割合が計算されます。
      • F1値: 精度と再現率を結合して1つの数値にします。F1値は調和平均を使用して計算されます。その計算式は、F1-score = 2 × (precision × recall)/(precision + recall)です
    • 「回帰」の場合:
      • R2(デフォルト): 適合回帰直線に対するデータの近似度を計算する統計メジャー。一般に、決定係数の値が高いほど、モデルのデータへの適合度は高くなります。R2の値は常に0から1の間で、次のようになります:
        • 0は、モデルがレスポンス・データの平均値からのいずれのばらつきも説明していないことを示します。
        • 1は、モデルがレスポンス・データの平均値からのすべてのばらつきを説明していることを示します。
      • 負の平均二乗誤差: これは、予測ターゲットと真のターゲットの二乗差の平均値です。
      • 負の平均絶対誤差: これは、予測ターゲットと実際のターゲットの絶対差の平均です。
      • 負の中央絶対誤差: これは、予測ターゲットと実際のターゲットの間の絶対差の中央値です。

特徴

「特徴」グリッドには、実験に対して選択した表の統計が表示されます。サポートされている統計は、重複なしの値、最小、最大、平均および標準偏差です。「特徴」でサポートされているデータ・ソースは、表、ビューおよび分析ビューです。「予測」で選択したターゲット列が、ここで強調表示されます。実験の実行が完了すると、「特徴」グリッドに追加列「重要度」が表示されます。特徴の重要度は、特定の特徴に対する予測の全体的な感度レベルを示します。グラフにカーソルを合せると、「重要度」の値が表示されます。値は常に0から1の範囲で表され、1に近いほど重要度が高くなります。

図6-11 特徴

「特徴」セクション
  • AutoML UIモデルからのノートブックの作成
    同じ設定を使用して、選択したモデルを再作成するOML4Pyコードを使用してノートブックを作成できます。また、モデルを使用してデータをスコアリングする方法も示されます。このオプションは、コードを使用して類似の機械学習モデルを再作成する場合に便利です。

親トピック: AutoML UIスタート・ガイド

6.3.1 AutoML UIモデルからのノートブックの作成

同じ設定を使用して、選択したモデルを再作成するOML4Pyコードを使用してノートブックを作成できます。また、モデルを使用してデータをスコアリングする方法も示されます。このオプションは、コードを使用して類似の機械学習モデルを再作成する場合に便利です。

AutoML UIモデルからノートブックを作成するには:
  1. ノートブックの作成に使用するモデルをリーダー・ボードで選択し、「ノートブックの作成」をクリックします。「ノートブックの作成」ダイアログが表示されます。

    図6-12 ノートブックの作成

    ノートブックの作成
  2. 「ノートブック名」フィールドに、ノートブックの名前を入力します。
    REST APIエンドポイントは実験メタデータを導出し、必要に応じて次の設定を決定します。
    • 実験のデータソース(schema.table)
    • ケースID。実験のケースIDが使用できない場合は、該当するメッセージが表示されます。
    • 現在のモデル名に基づいて一意のモデル名が生成されます
    • 段落のスコアリングに関連する情報:
      • ケースID: 使用可能な場合は、「ケースID」列がスコアリング出力表にマージされます
      • ビルド・データ・ソースおよび一意の接尾辞に基づいて一意の予測出力表名を生成します
      • 予測列名: PREDICTION
      • 予測確率列名: PROBABILITY (分類にのみ適用可能)
  3. 「OK」をクリックします。生成されたノートブックが「ノートブック」ページにリストされます。クリックしてノートブックを開きます。
    生成されたノートブックには、各段落の段落タイトルがpythonコードとともに表示されます。ノートブックを実行すると、ノートブックおよびAutoML実験に関連する情報(実験名、ノートブックが存在するワークスペースとプロジェクト、ユーザー、データ、予測タイプと予測ターゲット、アルゴリズム、およびノートブックが生成されたときのタイムスタンプなど)が表示されます。AutoML UIで生成されたノートブック

親トピック: 実験の表示