Utvärdera modeller för maskininlärning med hjälp av diagram för höjning och ökning

Med diagram för höjning och ökning kan du jämföra olika maskininlärningsmodeller för att fastställa vilken modell som är mest korrekt.

Avsnitt:

Översikt över diagram för höjning och ökning

Med diagram för höjning och ökning kan du utvärdera maskininlärningsmodeller för förutsägelse genom att göra diagram av modelleringsstatistik i en visualisering i Oracle Analytics.

När du använder ett dataflöde till att tillämpa en klassificeringsmodell på en datamängd kan du med Oracle Analytics beräkna värden för höjning och ökning. Sedan kan du visualisera data i ett diagram för att bedöma förutsägelsemodellernas precision och avgöra vilken som är bäst att använda.

Beskrivning av GUID-BB91080A-9081-4AAD-8448-441240BDCEFE-default.png följer
.png

Förutsättningskrav

  • Oracle Database eller Oracle autonoma datalager
  • En klassificeringsmodell som inkluderar prediktionssannolikhet (t.ex. en multiklassificeringsmodell som skapats med hjälp av Naive Bayes-träningsskriptet).

    Du får åtkomst till befintliga förutsägelsemodeller i området Maskininlärning i Oracle Analytics.

Statistik genererad för analys av höjning och ökning

När du tillämpar en prediktiv klassificeringsmodell på en datamängd och genererar statistik över höjning och ökning producerar du en datamängd med namnet <Data flow name>_LIFT med dessa kolumner:
  • PopulationPercentile - den ifyllda datamängden i 100 lika stora grupper.
  • CumulativeGain - förhållandet mellan det ackumulerade antalet positiva mål upp till den percentilen och det totala antalet positiva mål. Ju närmare diagrammets övre vänstra hörn som linjen för ackumulerad ökning är desto högre är andelen svarande som nås för den lägre andelen kunder som kontaktats.
  • GainChartBaseline - total svarskvot: linjen representerar procentandelen positiva poster vi förväntar oss att få om vi väljer ut posterna slumpvis. Om vi under en marknadskampanj till exempel kontaktar X% av kunderna slumpmässigt får vi X% av det totala positiva gensvaret.
  • LiftChartBaseline - har värdet 1 och används som ett referensvärde för höjningsjämförelse.
  • LiftValue - den ackumulerade höjningen för en percentil. Höjning är förhållandet mellan ackumulerad positiv postdensitet för valda data och positiv densitet för alla testdata.
  • IdealModelLine - förhållandet mellan det ackumulerade antalet positiva mål och det totala antalet positiva mål.
  • OptimalGain - detta anger det optimala antalet kunder att kontakta. Kurvan för ackumulerad ökning planar ut efter denna punkt.

Sedan kan du visualisera datamängden <Data flow name>_LIFT i ett Oracle Analytics-diagram. Om du till exempel vill analysera ökning kan du plotta PopulationPercentile på x-axeln och CumulativeGain, GainChartBaseline, IdealModelLine och OptimalGain på y-axeln.

Beskrivning av GUID-86078629-A9D9-44D2-8D91-8B5F2FD96DA3-default.png följer
.png

Generera förutsägelsedata för diagram för höjning och ökning

När du använder ett dataflöde till att tillämpa en klassificeringsmodell på en datamängd kan du med Oracle Analytics beräkna statistik som du kan visualisera i diagram för höjning och ökning.

Innan du börjar ska du skapa en klassificeringsmodell som inkluderar prediktionssannolikhet (t.ex. en multiklassificeringsmodell som skapats med hjälp av Naive Bayes-träningsskriptet). Oracle Analytics visar tillgängliga modeller på fliken Modeller på sidan Maskininlärning (klicka på Maskininlärning på hemsidan).
  1. På hemsidan klickar du på Skapa och sedan på Dataflöde.
  2. Välj en datakälla och klicka på Lägg till.
  3. Klicka på Lägg till ett steg och välj Använd modell.
  4. I Välj modell väljer du en klassificeringsmodell som inkluderar prediktionssannolikhet och klickar på OK.
  5. I avsnittet Parametrar i Använd modell:
    • I Beräkna höjning och ökning väljer du Ja.
    • I Målkolumn för beräkning av höjning väljer du namnet på kolumnen för värdet som ska förutsägas. Om modellen till exempel förutser huruvida kunder registrerar sig för ett medlemskap med hjälp av en kolumn med namnet SIGNUP, väljer du SIGNUP.
    • I Positiv klass att beräkna anger du det skiftlägeskänsliga datavärde som representerar den positiva klassen (eller det önskade resultatet) i prediktionen. Om modellen till exempel förutser huruvida kunder registrerar sig för ett medlemskap med hjälp av en kolumn med namnet SIGNUP och med värdena YES eller NO, väljer du SIGNUP.
  6. Lägg till en nod för Spara data i dataflödet.
  7. Kör dataflödet.
Dataflödet producerar en datamängd med namnet <Data flow name>_LIFT som innehåller statistik över höjning och ökning, vilken du kan utvärdera.

Utvärdera en modell för maskininlärning med hjälp av ett diagram för höjning och ökning

Använd ett diagram till att analysera statistik genererad av klassificeringsmodeller för maskininlärning för att fastställa vilken modell som är bäst att använda.

Innan du börjar tillämpar du en förutsägelsemodell på dina data och genererar statistik för höjning och ökning i en datamängd.
  1. På hemsidan klickar du på Skapa och sedan på Arbetsbok.
  2. I Lägg till datamängd väljer du datamängden <Data flow name>_LIFT som du genererade i det föregående steget och klickar på Lägg till i arbetsbok.
  3. På panelen Visualisera markerar du statistiken som ska analyseras. Sedan högerklickar du och väljer Välj visualisering och Linjediagram.
    Om du till exempel vill analysera ökning kan du till exempel placera PopulationPercentile på x-axeln och CumulativeGain, GainChartBaseline, IdealModelLine och OptimalGain på y-axeln.
    För att analysera höjning kan du placera PopulationPercentile på x-axeln och LiftChartBaseline och LiftValue på y-axeln.