Modelle für maschinelles Lernen mit Lift-and-Gain-Diagrammen bewerten

Mit Lift-and-Gain-Diagrammen können Sie verschiedene Modelle des maschinellen Lernens vergleichen, um das genaueste Modell zu bestimmen.

Themen:

Überblick über Lift-and-Gain-Diagramme

Mit Lift-and-Gain-Diagrammen können Sie Vorhersagemodelle des maschinellen Lernens bewerten, indem Sie Modellierungsstatistiken in einer Visualisierung in Oracle Analytics darstellen.

Wenn Sie ein Klassifizierungsmodell über einen Datenfluss auf ein Dataset anwenden, können Sie mit Oracle Analytics Lift-and-Gain-Werte berechnen. Dann können Sie diese Daten in einem Diagramm visualisieren, um die Genauigkeit von Vorhersagemodellen zu bewerten und das beste Modell zu bestimmen.

Beschreibung von GUID-BB91080A-9081-4AAD-8448-441240BDCEFE-default.png folgt
.png

Voraussetzungen

  • Oracle Database oder Oracle Autonomous Data Warehouse
  • Ein Klassifizierungsmodell inklusive Vorhersagewahrscheinlichkeit (z.B. ein Mehrklassen-Classifier-Modell, das mit dem Naive Bayes-Trainingsskript erstellt wurde).

    Vorhandene Vorhersagemodelle sind in Oracle Analytics im Bereich "Maschinelles Lernen" verfügbar.

Für Lift-and-Gain-Analysen generierte Statistiken

Wenn Sie ein Klassifizierungsvorhersagemodell auf ein Dataset anwenden und Lift-and-Gain-Statistiken generieren, wird ein Dataset namens <Data flow name>_LIFT mit den folgenden Spalten erstellt:
  • PopulationPercentile: Die Dataset-Population, aufgeteilt in 100 gleiche Gruppen.
  • CumulativeGain: Das Verhältnis zwischen der kumulativen Anzahl positiver Ziele bis zu diesem Perzentil und der Gesamtanzahl positiver Ziele. Je weiter oben links im Diagramm die Linie für kumulative Gains angezeigt wird, desto größer der Gain (d.h. desto höher der Anteil der erreichten Responder für den geringeren Anteil an kontaktierten Kunden).
  • GainChartBaseline: Die allgemeine Antwortrate: Die Linie stellt den Prozentsatz positiver Datensätze dar, die bei einer Zufallsauswahl von Datensätzen erwartet wird. Beispiel: Wenn Sie in einer Marketingkampagne per Zufallsauswahl X % der Kunden kontaktieren, wird X % der gesamten positiven Antwort erreicht.
  • LiftChartBaseline: Wert von 1, der als Baseline für den Liftvergleich verwendet wird.
  • LiftValue: Die kumulative Prognosegüte für ein Perzentil. Der Lift ist das Verhältnis zwischen der kumulativen Dichte der positiven Datensätze für die ausgewählten Daten und der Dichte der positiven Datensätze über alle Testdaten hinweg.
  • IdealModelLine: Das Verhältnis zwischen der kumulativen Anzahl positiver Ziele und der Gesamtanzahl positiver Ziele.
  • OptimalGain: Gibt die optimale Anzahl an zu kontaktierenden Kunden an. Nach diesem Punkt flacht die kumulative Gain-Kurve ab.

Dann können Sie das Dataset <Data flow name>_LIFT in einem Oracle Analytics-Diagramm realisieren. Beispiel: Um Gains zu analysieren, könnten Sie PopulationPercentile auf der X-Achse und CumulativeGain, GainChartBaseline, IdealModelLine und OptimalGain auf der Y-Achse darstellen.

Beschreibung von GUID-86078629-A9D9-44D2-8D91-8B5F2FD96DA3-default.png folgt
.png

Vorhersagedaten für Lift-and-Gain-Diagramme generieren

Wenn Sie ein Klassifizierungsmodell über einen Datenfluss auf ein Dataset anwenden, können Sie mit Oracle Analytics Statistiken berechnen und in Lift-and-Gain-Diagrammen visualisieren.

Bevor Sie beginnen, erstellen Sie ein Klassifizierungsmodell inklusive Vorhersagewahrscheinlichkeit (z.B. ein Mehrklassen-Classifier-Modell, das mit dem Naive Bayes-Trainingsskript erstellt wurde). Oracle Analytics zeigt verfügbare Modelle auf der Seite "Maschinelles Lernen" auf der Registerkarte "Modelle" an (klicken Sie auf der Homepage auf Maschinelles Lernen).
  1. Klicken Sie auf der Homepage auf Erstellen und dann auf Datenfluss.
  2. Wählen Sie eine Datenquelle aus, und klicken Sie auf Hinzufügen.
  3. Klicken Sie auf Schritt hinzufügen, und wählen Sie Modell anwenden aus.
  4. Wählen Sie unter "Modell auswählen" ein Klassifizierungsmodell mit Vorhersagewahrscheinlichkeit aus, und klicken Sie auf OK.
  5. Führen Sie unter "Modell anwenden im Abschnitt Parameter die folgenden Schritte aus:
    • Wählen Sie unter Lift und Gain berechnen die Option Ja aus.
    • Wählen Sie unter Zielspalte für Lift-Berechnung den Spaltennamen des vorherzusagenden Wertes aus. Beispiel: Wenn das Modell anhand der Spalte "SIGNUP" vorhersagt, ob Kunden sich für eine Mitgliedschaft registrieren, wählen Sie "SIGNUP" aus.
    • Geben Sie unter Positive Klasse zur Berechnung, den Datenwert (unter Beachtung der Groß-/Kleinschreibung) für die positive Klasse (bzw. das gewünschte Ergebnis) in der Vorhersage an. Beispiel: Wenn das Modell anhand der Spalte "SIGNUP" mit den Werten "YES" und "NO" vorhersagt, ob Kunden sich für eine Mitgliedschaft registrieren, wählen Sie "YES" aus.
  6. Fügen Sie den Knoten Daten speichern zum Datenfluss hinzu.
  7. Führen Sie diesen Datenfluss aus.
Der Datenfluss erzeugt ein Dataset namens <Data flow name>_LIFT mit Lift-and-Gain-Statistiken, die Sie bewerten können.

Modelle für maschinelles Lernen mit Lift-and-Gain-Diagramm bewerten

Analysieren Sie die von Klassifizierungsmodellen des maschinellen Lernens generierten Statistiken anhand eines Diagramms, um das beste Modell zu bestimmen.

Wenden Sie zunächst ein Vorhersagemodell auf die Daten an, und generieren Sie Lift-and-Gain-Statistiken in einem Dataset.
  1. Klicken Sie auf der Homepage auf Erstellen und dann auf Arbeitsmappe.
  2. Wählen Sie unter Dataset hinzufügen das Dataset <Data flow name>_LIFT aus, das Sie in der vorherigen Aufgabe generiert haben, und klicken Sie dann auf Der Arbeitsmappe hinzufügen.
  3. Wählen Sie im Bereich Visualisieren die zu analysierenden Statistiken aus, klicken Sie mit der rechten Maustaste darauf, und wählen Sie Visualisierung auswählen aus. Klicken Sie anschließend auf Liniendiagramm.
    Beispiele: Um Gains zu analysieren, könnten Sie PopulationPercentile auf der X-Achse und CumulativeGain, GainChartBaseline, IdealModelLine und OptimalGain auf der Y-Achse ablegen.
    Um die Prognosegüte zu analysieren, können Sie PopulationPercentile auf der X-Achse und LiftChartBaseline sowie LiftValue auf der Y-Achse ablegen.