Ocjenjivanje modela strojnog učenja s pomoću grafikona podizanja i povećanja

Grafikoni podizanja i povećanja omogućavaju vam usporedbu različitih modela strojnog učenja za utvrđivanje najtočnijeg modela.

Teme:

Pregled za upotrebu grafikona podizanja i povećanja

Grafikoni podizanja i povećanja omogućavaju vam ocjenjivanje prognostičkih modela strojnog učenja zacrtavanjem statistike modeliranja u vizualizaciji servisa Oracle Analytics.

Ako upotrebljavate tijek podataka za primjenu klasifikacijskog modela na skup podataka, Oracle Analytics će vam omogućiti izračun vrijednosti podizanja i povećanja. Zatim ćete te podatke moći vizualizirati u grafikonu kako biste omogućili procjenu točnosti prognostičkih modela i odabir najpogodnijega za upotrebu.

Slijedi opis za GUID-BB91080A-9081-4AAD-8448-441240BDCEFE-default.png
.png

Preduvjeti

  • Oracle Database ili Oracle Autonomous Data Warehouse
  • Klasifikacijski model koji uključuje vjerojatnost predviđanja (npr., višestruki klasifikacijski model stvoren pomoću skripte za obuku Naive Bayes).

    Pristupiti ste postojećim prognostičkim modelima u području Strojno učenje servisa Oracle Analytics.

Statistika generirana za analizu podizanja i povećanja

Nakon što primijenite prognostički klasifikacijski model na skup podataka i generirate statistiku podizanja i povećanja, dobit ćete skup podataka po nazivu <Data flow name>_LIFT sa sljedećim stupcima:
  • PopulationPercentile - Podjela popunjenog skupa podataka u 100 jednakih grupa.
  • CumulativeGain - Omjer kumulativnog broja pozitivnih ciljeva do tog percentila i ukupnog broja pozitivnih ciljeva. Što je linija kumulativnih povećanja bliža gornjem lijevom kutu grafikona, to je povećanje veće; to je veći i omjer dosegnutih reakcija za niži omjer kontaktiranih korisnika.
  • GainChartBaseline - Ukupan broj reakcija: linija predstavlja postotak pozitivnih zapisa koje očekujemo dobiti u slučaju nasumično odabranih riječi. Npr., ako u sklopu marketinške kampanje nasumično kontaktiramo s X % korisnika, dobit ćemo X % ukupno pozitivnih reakcija.
  • LiftChartBaseline - Vrijednost 1 koja se upotrebljava kao referentna za usporedbu podizanja.
  • LiftValue - Kumulativno podizanje percentila. Podizane je omjer kumulativne pozitivne gustoće zapisa za odabrane podatke i pozitivne gustoće u odnosu na sve podatke ispitivanja.
  • IdealModelLine - Omjer kumulativnog broja pozitivnih ciljeva i ukupnog broja pozitivnih ciljeva.
  • OptimalGain - Označava optimalan broj korisnika za kontaktiranje. Nakon te točke, krivulja kumulativnog povećanja će se izravnati.

Zatim ćete moći vizualizirati skup podataka <Data flow name>_LIFT u grafikonu Oracle Analytics. Npr., za analizu povećanja možete iscrtati PopulationPercentile na osi X, a CumulativeGain, GainChartBaseline, IdealModelLine i OptimalGain na osi Y.

Slijedi opis za GUID-86078629-A9D9-44D2-8D91-8B5F2FD96DA3-default.png
.png

Generiranje predvidivih podataka za grafikone podizanja i povećanja

Ako upotrebljavate tijek podataka za primjenu klasifikacijskog modela na skup podataka, Oracle Analytics će vam omogućiti izračun statistike koju možete analizirati u grafikonima podizanja i povećanja.

Prije početka stvorite klasifikacijski model koji uključuje vjerojatnost predviđanja (npr., višestruki klasifikacijski model stvoren pomoću skripte za obuku Naive Bayes). Oracle Analytics prikazuje dostupne modele u kartici Modeli na stranici Strojno učenje (na početnoj stranici pritisnite Strojno učenje).
  1. Na početnoj stranici pritisnite Stvori i zatim pritisnite Tijek podataka.
  2. Odaberite izvor podataka i pritisnite Dodaj.
  3. Pritisnite Dodaj korak i odaberite Primijeni model.
  4. U izborniku Odaberi model odaberite klasifikacijski model koji uključuje vjerojatnost predviđanja, a zatim pritisnite U redu.
  5. U izborniku Primijeni model, u odjeljku Parametri:
    • U izborniku Izračun podizanja i povećanja odaberite Da.
    • U izborniku Ciljni stupac za izračun podizanja odaberite naziv vrijednosti koja se predviđa. Npr., ako vaš model predviđa hoće li se korisnici prijaviti za članstvo putem stupca po nazivu SIGNUP, odaberite SIGNUP.
    • U izborniku Pozitivna klasa za izračun definirajte vrijednost podataka osjetljivu na veličinu slova koja predstavlja pozitivnu klasu (ili željeni ishod) u predviđanju. Npr., ako vaš model predviđa hoće li se korisnici prijaviti za članstvo putem stupca po nazivu SIGNUP s pomoću vrijednosti YES ili NO, odaberite YES.
  6. Tijeku podataka dodajte čvor Spremi podatke.
  7. Izvršite taj tijek podataka.
Tijek podataka rezultirat će skupom podataka po nazivu <Naziv tijeka podataka>_LIFT sa statistikom podizanja i povećanja, koji možete ocijeniti.

Ocjenjivanje modela strojnog učenja s pomoću grafikona podizanja i povećanja

Upotrijebite grafikon za analizu statistike generirane klasifikacijskim modelima strojnog učenja kako biste utvrdili najbolji model za upotrebu.

Prije početka primijenite prognostički model na svoje podatke i generirajte statistiku podizanja i povećanja u skupu podataka.
  1. Na početnoj stranici pritisnite Stvori, a zatim pritisnite Radna knjiga.
  2. U izborniku Dodavanje skupa podataka odaberite <Naziv tijeka podataka>_LIFT skup podataka koji ste generirali u prethodnom zadatku i pritisnite Dodaj u radnu knjigu.
  3. U ploči Vizualizacija odaberite statistiku za analizu, pritisnite desnu tipku miša i odaberite Odaberi vizualizaciju te odaberite Linijski grafikon.
    Npr., za analizu povećanja možete postaviti PopulationPercentile na os X, a CumulativeGain, GainChartBaseline, IdealModelLine i OptimalGain na os Y.
    Za analizu podizanja možete postaviti PopulationPercentile na os X, a LiftChartBaseline i LiftValue na os Y.