リフトおよびゲイン・チャートを使用した機械学習モデルの評価
リフトおよびゲイン・チャートを使用すると、様々な分類の機械学習モデルを比較して、最も正確なモデルを決定できます。
リフトおよびゲイン・チャートの使用の概要
リフトおよびゲイン・チャートを使用すると、Oracle Analyticsのビジュアライゼーションでモデリング統計をチャートにすることで、予測的な機械学習モデルを評価できます。
データ・フローを使用して分類モデルをデータセットに適用する場合、Oracle Analyticsではリフトおよびゲインの値を計算できます。その後、チャートでこのデータをビジュアル化して予測モデルの精度を評価し、最適なものを決定することができます。
図ml-lift-and-gain-analysis-2.pngの説明
前提条件
- Oracle DatabaseまたはOracle Autonomous Data Warehouse
- 予測確率(たとえば、Naive Bayesトレーニング・スクリプトを使用して作成された多項分類子モデルなど)を含む分類モデル。
既存の予測モデルには、Oracle Analyticsの「機械学習」領域からアクセスします。
リフトおよびゲインの分析のために生成された統計
データ・フロー名
>_LIFTというデータセットが生成されます。
- PopulationPercentile - データセットの移入は、100のグループに等分されます。
- CumulativeGain - ポジティブ・ターゲットの総数に対する、そのパーセンタイルまでのポジティブ・ターゲットの累積数の割合。累積ゲイン線がチャートの左上隅に近づくほど、ゲインが大きくなり、接触の割合の低い顧客に到達できた応答者の割合が高くなります。
- GainChartBaseline - 全体的な応答率: 線はレコードをランダムに選択した場合に取得すると予想されるポジティブ・レコードの割合を表します。たとえば、マーケティング・キャンペーンで顧客のX%にランダムに連絡すると、ポジティブな応答を合計X%得られます。
- LiftChartBaseline - 値1で、リフト比較のベースラインとして使用されます。
- LiftValue - パーセンタイルの累積リフト。リフトは、選択したデータの累積ポジティブ・レコードの密度と、すべてのテスト・データのポジティブの密度との比率です。
- IdealModelLine - ポジティブ・ターゲットの総数に対するポジティブ・ターゲットの累計数の割合。
- OptimalGain - 接触する顧客の最適な数を示します。累積ゲイン曲線はこの点を越えて平坦化されます。
その後、Oracle Analyticsチャートで<データ・フロー名
>_LIFTデータセットをビジュアル化できます。たとえば、ゲインを分析するには、PopulationPercentileをX軸に、CumulativeGain、GainChartBaseline、IdealModelLineおよびOptimalGainをY軸に描画します。
リフトおよびゲイン・チャートの予測データの生成
データ・フローを使用して分類モデルをデータセットに適用する場合、Oracle Analyticsでは、リフトおよびゲイン・チャートでビジュアル化できる統計を計算できます。
- ホーム・ページで、「作成」をクリックしてから、「データ・フロー」をクリックします。
- データ・ソースを選択し、「追加」をクリックします。
- 「ステップの追加」をクリックして「モデルの適用」を選択します。
- 「モデルの選択」で、予測確率を含む分類モデルを選択し、「OK」をクリックします。
- 「モデルの適用」の「パラメータ」セクションで、次の手順を実行します。
- リフトおよびゲインの計算で、「はい」を選択します。
- リフトを計算するターゲット列で、予測される値の列名を選択します。たとえば、モデルで、顧客がSIGNUPという名前の列を使用してメンバーシップにサインアップするかどうかを予測する場合は、「SIGNUP」を選択します。
- 計算対象のポジティブ・クラスで、予測のポジティブ・クラス(または望ましい結果)を表すデータ値を大/小文字を区別して指定します。たとえば、値YESまたはNOのあるSIGNUPという名前の列を使用して、顧客がメンバーシップにサインアップするかどうかをモデルで予測する場合は、YESを指定します。
- 「データの保存」ノードをデータ・フローに追加します。
- このデータ・フローを実行します。
データ・フロー名
>_LIFTという名前のデータセットが生成されるため、評価できます。リフトおよびゲイン・チャートを使用した機械学習モデルの評価を参照してください。
リフトおよびゲイン・チャートを使用した機械学習モデルの評価
チャートを使用して、機械学習分類モデルによって生成された統計を分析し、使用に最適なモデルを決定します。