Koneoppimismallien arviointi noste- ja saantikaavioiden avulla

Noste- ja saantikaavioiden avulla voit verrata erilaisia koneoppimisen malleja ja valita niistä tarkimman.

Aiheet:

Yleiskatsaus noste- ja saantikaavioiden käyttämiseen

Noste- ja saantikaavioiden avulla voit arvioida koneoppimisen ennustemalleja laatimalla visualisoinnissa kaaviomallitilastoja Oracle Analyticsissa.

Kun käytät tietojoukossa luokittelumallia tietovirran avulla, voit Oracle Analyticsissa laskea noste- ja saantiarvot. Voit sitten visualisoida nämä tiedot kaaviossa, jolloin pystyt arvioimaan ennustemallien tarkkuuden ja voit määrittää, mikä niistä on paras.

Kohteen GUID-BB91080A-9081-4AAD-8448-441240BDCEFE-default.png kuvaus seuraa
.png kuvaus

Edellytykset

  • Oracle-tietokanta tai Oracle Autonomous Data Warehouse
  • Luokittelumalli, jossa on ennusteen todennäköisyys (esimerkiksi moniluokittelijan malli, joka on luotu Naive Bayes -koulutuskomentosarjalla).

    Saat käyttöön ennustemalleja Oracle Analyticsin koneoppimisalueella.

Nosto- ja saantianalyysille luodut tilastotiedot

Kun käytät luokittelun ennustemallia tietojoukossa ja luot tilastot nosteelle ja saannille, luodaan tietojoukko nimeltä <Tietojoukon nimi>_LIFT, jossa on seuraavat sarakkeet:
  • PopulationPercentile - Tietojoukon populaatio jaettuna 100 yhtäläiseen ryhmään.
  • CumulativeGain - Positiivisten kohteiden kumulatiivisen määrän ja positiivisten kohteiden kokonaismäärän suhde kyseiseen prosenttipisteeseen saakka. Mitä lähempänä kumulatiivisten voittojen viiva on kaavion vasenta yläkulmaa, sitä suurempi on saanti; sitä korkeampi on saavutettujen vastaajien osuus kontaktoitujen asiakkaiden matalammasta osuudesta.
  • GainChartBaseline - Vastausten kokonaismäärä : viiva kuvaa niiden positiivisten tietueiden prosenttiosuutta, jotka odotamme saavamme, jos tietueet valittiin satunnaisesti. Jos esimerkiksi markkinointikampanjassa kontaktoimme X %:ia asiakkaista satunnaisesti, saamme X %:ia kaikista positiivisista vastauksista.
  • NostekaavionPerustaso - 1:n arvo ja käytetään perustasona nostevertailuun.
  • LiftValue - Prosenttipisteen kumulatiivinen noste. Noste on valittujen tietojen kumulatiivisen positiivisen tietuetiheyden ja kaikkien testitietojen positiivisen tiheyden suhde.
  • IdealModelLine - Positiivisten kohteiden kumulatiivisen määrän ja positiivisten kohteiden kokonaismäärän suhde.
  • OptimalGain - Ilmaisee kontaktoitavien asiakkaiden optimaalista määrää. Tämän pisteen jälkeen kumulatiivisen saannin käyrä tasoittuu.

Voit visualisoida <Tietojoukon nimi>_LIFT-tietojoukon Oracle Analytics -kaaviossa. Voit esimerkiksi analysoida saanteja merkitsemällä PopulationPercentile x-akselille ja CumulativeGain, GainChartBaseline, IdealModelLine ja OptimalGain y-akselille.

Kohteen GUID-86078629-A9D9-44D2-8D91-8B5F2FD96DA3-default.png kuvaus seuraa
.png kuvaus

Ennustetietojen luonti noste- ja saantikaavioiden avulla

Kun käytät luokitusmallia tietojoukossa tietovirran avulla, voit Oracle Analyticsin avulla laskea tilastotietoja noste- ja saantikaavioissa visualisoitavaksi.

Luo ennen aloitusta luokittelumalli, jossa on ennusteen todennäköisyys (esimerkiksi moniluokittelijan malli, joka on luotu Naive Bayes -koulutuskomentosarjalla). Oracle Analytics näyttää käytettävissä olevat mallit Koneoppiminen-sivun Mallit-välilehdessä (valitse kotisivulla Koneoppiminen).
  1. Valitse kotisivulla Luo ja sitten Tietovirta.
  2. Valitse tietolähde ja sitten Lisää.
  3. Valitse Lisää vaihe (+) ja sitten Käytä mallia.
  4. Valitse luokittelumalli, jossa on ennusteen todennäköisyys, valinnalla Valitse malli ja valitse sitten OK.
  5. Valitse Käytä mallia-kohdassa Parametrit-osio:
    • Valitse kohdassa Laske noste ja saanti Kyllä.
    • Valitse kohdassa Nosteen laskennan kohdesarake ennakoitavan arvon sarakkeen nimi. Jos malli esimerkiksi ennakoi, liittyykö asiakas jäseneksi käyttämällä saraketta KIRJAUTUMINEN, valitse KIRJAUTUMINEN.
    • Määritä kohdassa Laskettava positiivinen luokka ennusteen positiivista luokkaa (tai haluttua tulosta) edustava kirjainkoosta riippuva tietoarvo. Jos malli esimerkiksi ennakoi, liittyykö asiakas jäseneksi käyttämällä saraketta KIRJAUTUMINEN arvoilla KYLLÄ tai EI, valitse KYLLÄ.
  6. Lisää Tallenna tiedot -solmu tietovirtaan.
  7. Suorita kyseinen tietovirta.
Tietovirta tuottaa tietojoukon nimeltä <Tietojoukon nimi>_LIFT, joka sisältää arvioitavissa olevat noste- ja saantitilastot.

Koneoppimismallin arviointi noste- ja saantikaavion avulla

Määritä paras käytettävä malli analysoimalla kaavion avulla koneoppimisluokitusmalleilla luotuja tilastotietoja.

Ennen kuin aloitat, käytä tietoihin ennustemallia ja luo tietojoukon noste- ja saantitilastot.
  1. Valitse kotisivulla Luo ja sitten Työkirja.
  2. Valitse Lisää tietojoukko-valinnassa edellisessä tehtävässä luomasi <tietovirran nimi>_LIFT-tietojoukko ja valitse Lisää työkirjaan.
  3. Valitse Visualisoi-paneelissa analysoitava tilasto, käytä sitten kakkospainiketta ja valitse Valitse visualisointi ja Viivakaavio.
    Halutessasi esimerkiksi analysoida saanteja aseta PopulationPercentile x-akselille ja CumulativeGain, GainChartBaseline, IdealModelLine ja OptimalGain y-akselille.
    Halutessasi esimerkiksi analysoida nostoa aseta PopulationPercentile x-akselille ja LiftChartBaseline ja LiftValue y-akselille.