Informazioni dettagliate dell'assistente digitale

Per ogni assistente digitale, è possibile visualizzare i report Insights, che sono analytics orientati agli sviluppatori sui modelli di utilizzo.

È possibile tenere traccia delle metriche sia a livello di sessione utente che a livello di conversazione. Una sessione di chat utente inizia quando un utente contatta un assistente digitale e termina quando un utente ha chiuso la finestra di chat o dopo la scadenza della sessione di chat specificata dalla configurazione del canale. È possibile passare dalla conversazione alla generazione di report della sessione di chat utilizzando il filtro Metrica.
Di seguito è riportata la descrizione delle sessioni di conversazione-toggle.png
Descrizione della descrizione delle sessioni di conversazione-toggle.png

Insights tiene traccia delle sessioni di chat all'origine. In questo caso, è l'assistente digitale che ha avviato una sessione di chat, non le competenze costitutive dell'assistente digitale. Poiché gli utenti si connettono direttamente all'assistente digitale, le competenze non hanno alcun impatto sul monitoraggio della sessione di chat.

Nota

Qualsiasi sessione di chat in corso scadrà dopo la release 21.12.

Metriche sessione chat per assistenti digitali

Numero di sessioni avviate: il numero totale di sessioni di chat avviate dall'assistente digitale.
Terminato: il numero di sessioni di chat terminate in modo esplicito dagli utenti che chiudono la finestra di chat o che sono scadute dopo il periodo specificato dalla configurazione del canale.
Nota

Qualsiasi sessione in corso scadrà dopo la release 21.12. Le sessioni avviate tramite il tester di skill scadono dopo 24 ore di inattività. Al momento, la funzionalità per inviare una sessione chiudendo la finestra di chat è supportata dal kit SDK client nativo di Oracle Digital Assistant per Web.
Attivo: le sessioni di chat che rimangono attive perché la finestra di chat rimane aperta o perché non si è ancora verificato il timeout.
Risposte utente medie per sessione: il numero medio di risposte degli utenti nel numero totale di sessioni avviate dall'assistente digitale. Ogni volta che un utente fa una domanda, risponde all'assistente digitale o interagisce con esso viene conteggiato come risposta.

Descrizione dell'immagine da-sessions-metrics.png
Tendenze sessione: confronto tra le sessioni attive, terminate e avviate. Queste metriche vengono visualizzate in proporzione l'una all'altra nel grafico a ciambella, che contrappone i totali per le sessioni terminate e attive al numero totale di sessioni avviate. Il grafico a linee dell'andamento rappresenta i conteggi di queste metriche per data.

Descrizione dell'immagine da-session-trends.png

Metriche di conversazione per gli assistenti digitali

Con i report Insights dell'assistente digitale, puoi scoprire:

Numero di conversazioni avviate da un assistente digitale in un determinato periodo di tempo e relativo tasso di completamento.
Nota

Le conversazioni non sono uguali alle richieste sottoposte a misurazione. Per ulteriori informazioni sulla misurazione, consulta Descrizioni del servizio Oracle PaaS e IaaS Universal Credit.
La popolarità delle competenze registrate a un assistente digitale come determinato dal traffico a ciascuna abilità.

Questi report visualizzano i dati quando si attiva Enable Insights, disponibile nella pagina Generale di Impostazioni . Per accedere ai report, aprire un assistente digitale, quindi selezionare nella barra di navigazione a sinistra.

È inoltre possibile visualizzare report dettagliati sulle singole competenze che mostrano elementi quali la frequenza di chiamata di ogni intento (e la percentuale di tali chiamate completate) e i percorsi che gli utenti intraprendono attraverso lo skill. Vedere Insight.

Tipi di report

Panoramica: utilizzare questo dashboard per trovare rapidamente il numero totale di conversazioni vocali e di testo per canale e per periodo di tempo. Le metriche del report analizzano questo totale in base al numero di conversazioni complete, incomplete e in corso. Inoltre, questo report indica in che modo lo skill ha completato o non è stato completato le conversazioni classificando l'uso degli intenti transazionali e di risposta dello skill nei grafici a barre e nei cloud delle parole.
Conversazioni: visualizza le trascrizioni delle conversazioni che si sono verificate durante il duing di una sessione. È possibile leggere una versione in testo semplice di questa conversazione e anche rivederla nel contesto dell'instradamento delle competenze e della risoluzione degli intenti dell'assistente digitale.
Eventi: visualizza le metriche e i grafici per gli eventi esterni trasmessi alle competenze nell'assistente digitale e agli eventi in uscita inviati alle risorse esterne.
Trainer: si tratta della controparte del trainer a livello di skill, in cui è possibile migliorare la risoluzione degli intenti per le competenze registrate utilizzando i dati in tempo reale che passano attraverso l'assistente digitale.
Esporta: consente di scaricare un file CSV dei dati Insights raccolti da Oracle Digital Assistant. È possibile creare un report Insights personalizzato dal file CSV.

Esaminare le metriche e i grafici della panoramica

Fare clic su

nella barra di navigazione a sinistra per accedere ai report seguenti.

Completate: il numero di conversazioni instradate tramite l'assistente digitale e completate dalle singole competenze. Le conversazioni che si concludono con uno stato Flusso finale o con uno stato in cui il flusso finale (implicito) è selezionato come transizione vengono considerate completate. Nelle competenze create da YAML, le conversazioni vengono conteggiate come complete quando il passaggio attraverso il flusso della finestra di dialogo termina con una transizione return o in uno stato con la proprietà insightsEndConversation.
Nota

Questa proprietà e la transizione return non sono disponibili in Visual Flow Designer.
Incompleta: conversazioni che gli utenti non hanno completato perché hanno abbandonato lo skill o non sono stati in grado di completare a causa di errori, timeout o difetti a livello di sistema nella progettazione dello skill.
In corso: il numero di conversazioni sulle competenze (iniziate dall'assistente digitale) ancora in corso. Utilizzare questa metrica per tenere traccia delle conversazioni a più turni. Una conversazione in corso diventa una conversazione incompleta dopo la scadenza di una sessione.
Nessuna corrispondenza: il numero di volte in cui l'assistente digitale non è riuscito a trovare una corrispondenza tra le proprie competenze registrate e un messaggio utente.
Annullato: il numero di volte in cui gli utenti hanno lasciato uno skill immettendo "annulla".
?: il numero di volte in cui è stato richiamato l'intento del sistema della Guida.
Quando Insights è stato disabilitato per un assistente digitale, il conteggio Completato continuerà ad aumentare se Insights è stato abilitato per uno qualsiasi degli skill membro. Nonostante ciò, non verranno registrati dati per le metriche di Guida e Nessuna corrispondenza specifiche dell'assistente digitale fino a quando non si seleziona Abilita approfondimenti.

Descrizione dell'immagine da-insights-overview.png
Lingue: visualizza un grafico del numero di conversazioni per ogni skill in base alla lingua supportata.

Descrizione dell'immagine da-languages-graph.png
Prestazioni: mostra il numero di conversazioni per skill.
La vista Andamento fornisce un grafico delle conversazioni completate nel periodo di tempo selezionato.

Descrizione dell'immagine da-insights-skills-trend.png
Skill: la vista Riepilogo mostra il numero di conversazioni gestite dallo skill per un determinato periodo. Passando il puntatore del mouse sulla barra di avanzamento, è possibile scoprire il numero di conversazioni completate rispetto al totale.
Descrizione dell'immagine da-insights-skills-summary.png
Se durante il periodo di tempo selezionato è stato eseguito il controllo delle versioni di uno skill, è possibile scoprire la distribuzione delle conversazioni in base alla versione utilizzando il grafico Traffico. Se si fa clic su uno skill, viene visualizzato questo grafico che illustra il volume delle conversazioni gestite da ciascuna versione dello skill in termini di conversazioni totali gestite dallo skill per il periodo selezionato. Ogni arco del grafico Traffico rappresenta una versione dello skill, con la lunghezza e la percentuale di accompagnamento che indicano il volume delle conversazioni gestite. Il testo al passaggio del mouse per ciascuno di questi archi descrive la percentuale in termini di conteggio delle conversazioni. Per scomporre questo numero, ad esempio, per scoprire il significato di questo conteggio in termini di intenti richiamati per una determinata versione dello skill, fare clic sull'arco per eseguire il drill-down degli approfondimenti a livello di skill.

Descrizione dell'immagine da-insights-skill-traffic.png
In caso di conversazioni incomplete durante il periodo selezionato, il numero totale viene suddiviso per le seguenti categorie di errore:
- Timeout: i timeout vengono attivati quando una conversazione in corso è inattiva per più di un'ora, causando la scadenza della sessione.
- Errori gestiti dal sistema: gli errori gestiti dal sistema vengono gestiti dal sistema e non dalla competenza. Questi errori si verificano quando la definizione del flusso della finestra di dialogo non è dotata della gestione degli errori.
- Loop infinito: possono verificarsi loop infiniti a causa di difetti nella definizione del flusso della finestra di dialogo, ad esempio transizioni definite in modo errato.
- Annullato: il numero di volte in cui gli utenti hanno lasciato uno skill annullando in modo esplicito la conversazione.
Descrizione dell'immagine da-incomplete-conversations-chart.png

Visualizza il report delle conversazioni

Anziché filtrare un foglio di calcolo esportato, è possibile utilizzare il report Conversazione per tenere traccia dell'instradamento della chat da parte dell'assistente digitale alle varie competenze e anche scoprire quali intenti sono stati richiamati durante il percorso.

Questo report, che è possibile filtrare sia per canale che per skill, elenca le conversazioni in ordine cronologico in base all'ID sessione (l'ID della sessione dell'utente su un canale) e presenta una trascrizione della conversazione nelle colonne Messaggi utente e Risposte skill. L'ID sessione viene creato quando un client si connette al canale e contiene tutti i dati degli skill che hanno partecipato a una conversazione. Questo ID scade se non c'è attività per 24 ore, ma potrebbe non scadere mai se il client continua con le sue conversazioni.
Descrizione di da-conversations-report.png segue
Descrizione dell'immagine da-conversations-report.png

Fare clic su Visualizza conversazioni nella colonna Azioni per visualizzare tutte le conversazioni che si sono verificate per la sessione nel contesto di una finestra di chat. In questa modalità, è possibile visualizzare l'instradamento dell'assistente digitale sul posto di lavoro osservando come ha cambiato le competenze in risposta all'input dell'utente e anche scoprire quali degli intenti delle competenze sono stati richiamati in seguito a questo cambio di contesto. Quando una sessione si estende su più giorni, le prime conversazioni vengono visualizzate per prime.

Nota

I filtri Vista e Skill che è possibile applicare al report Conversazioni non modificano il contenuto delle trascrizioni delle conversazioni visualizzate nelle colonne Messaggi utente e Risposte skill o in modalità Visualizza conversazioni.

È possibile condividere la sessione con un collega che ha accesso all'istanza fornendo un collegamento che può essere incollato in una finestra del browser. Per ottenere questo collegamento, fare clic su Opzioni, quindi su Copia collegamento conversazione.

Applicare il Retrainer ODA

È possibile migliorare la risoluzione degli intenti per le competenze registrate aggiornando i dati di formazione con l'input del cliente. Alcuni di questi input potrebbero non essere stati risolti in alcuna abilità o potrebbero essere stati instradati all'abilità sbagliata. Il Retrainer consente di valutare l'input dell'utente e di aggiungerlo a uno skill se lo si considera un'aggiunta utile ai dati di formazione.
Descrizione di da-retrainer.png:
Descrizione dell'illustrazione da-retrainer.png
Per impostazione predefinita, Retrainer applica il filtro NoMatch in modo che restituisca tutti i messaggi utente a cui non è stata trovata una corrispondenza con gli skill registrati nell'assistente digitale. Per ciascuna di queste frasi restituite, il report presenta le prime due abilità di livello più alto, il margine di vincita che le separa e, attraverso un grafico a barre orizzontali, i punteggi di affidabilità contrastanti.

Prima di utilizzare il Retrainer, ci sono un paio di cose da tenere a mente: Per aggiornare il corpus di allenamento di un'abilità dal Retrainer:

Filtrare gli skill registrati. Ad esempio, è possibile filtrare tutte le frasi corrispondenti a una particolare abilità nell'assistente digitale oppure applicare NoMatch per le frasi che non corrispondono ad alcuna delle competenze.
Selezionare l'espressione.
Selezionare una versione bozza dello skill per l'espressione. Se non esiste alcuna versione bozza, crearne una. Se non è possibile selezionare un'abilità, è perché utilizza il supporto multilingua nativo. In questo caso, non è possibile aggiornare lo skill da qui. Dovrai invece utilizzare il retrattore a livello di competenze.
Selezionare l'intento. Dopo aver aggiunto la frase come espressione nel corpus di addestramento, non è più possibile selezionarla per la riqualificazione.
Se lo skill supporta più lingue native, è possibile aggiungere l'espressione al set di formazione appropriato per la lingua scegliendo tra le lingue disponibili nel menu Lingua.
Nota

Questa opzione è disponibile solo per le competenze supportate in modo nativo.

Descrizione dell'illustrazione select-native-language-skill-da-retrainer.png
Ritirate l'abilità.
Ripubblicare l'abilità.
Aggiornare l'assistente digitale con la versione più recente dello skill.

Anonimizzazione informazioni di identificazione personale

Analogamente agli approfondimenti a livello di skill, è possibile applicare l'anonimizzazione ai valori PII (Personally Identifiable Information). A livello di assistente digitale, l'anonimizzazione viene applicata alle conversazioni gestite dall'assistente digitale. L'anonimizzazione abilitata a livello di assistente digitale non si estende alle competenze. Se l'anonimizzazione è abilitata per uno skill, ma non per l'assistente digitale, verranno rese anonime solo le conversazioni degli skill e viceversa. Per conversazioni completamente anonime, è necessario applicare l'anonimizzazione all'assistente digitale e alle sue competenze separatamente.

È possibile rendere anonimi i valori PII riconosciuti per le seguenti entità di sistema:

PERSONA
NUMERO
E-mail
NUMERO DI TELEFONO
URL

Abilita anonimizzazione informazioni personali

Fare clic su Impostazioni > Generale.
Attivare Abilita anonimizzazione PII.
Fare clic su Aggiungi entità per selezionare i valori di entità che si desidera rendere anonimi nei report Insights e nei log.
Nota

I valori anonimi per le entità selezionate vengono resi persistenti solo dopo aver abilitato l'anonimizzazione. Non vengono applicate a conversazioni precedenti. A seconda dell'intervallo di date selezionato per i report Insights o i file di esportazione, è possibile che i valori entità vengano visualizzati sia nei form effettivi che in quelli anonimi. È possibile applicare l'anonimizzazione a qualsiasi valore non reso anonimo quando si crea un task di esportazione. Questi anonimi si applicano solo al file esportato e non vengono resi persistenti nel database.
Se si desidera interrompere l'anonimizzazione di un'entità o non si desidera che venga utilizzato alcun anonimo, selezionare l'entità e fare clic su Elimina entità. Dopo l'eliminazione di un'entità, il valore effettivo viene visualizzato nel report Insights e in tutti i report Insights per le conversazioni successive, anche se in precedenza è stato visualizzato in forma anonima.
Nota

L'anonimizzazione è permanente (nonostante l'anonimizzazione applicata al task di esportazione). Impossibile recuperare i valori effettivi dopo aver abilitato l'anonimizzazione.

Descrizione di pii-settings-configuration.png segue

Descrizione dell'immagine pii-settings-configuration.png

Crea task di esportazione

Se si desidera un'altra prospettiva sul reporting di Insights, è possibile creare report personalizzati dai dati di Insights esportati. Questi dati vengono esportati in un file CSV. È possibile scrivere uno script per ordinare i contenuti di questo file.

Per creare un task di esportazione:

Aprire la pagina Esporta, quindi fare clic su + Esporta.
Inserire un nome per il report, quindi inserire un intervallo di date.
Fare clic su Abilita anonimizzazione PII per il file esportato per sostituire i valori non resi anonimi con gli anonimi nel file esportato. Questi anonimi esistono solo nel file esportato se PII non è abilitato nelle impostazioni dell'assistente digitale. Non vengono rese persistenti nel database e non vengono visualizzate nei log o nel report Conversazioni. Questa opzione è abilitata per impostazione predefinita ogni volta che si imposta l'anonimizzazione per l'assistente digitale.
Nota

L'anonimizzazione PII abilitata per le impostazioni dello skill o dell'assistente digitale determina il modo in cui i valori PII vengono resi anonimi nel file di esportazione e contribuisce anche alla coerenza dell'anonimizzazione nel file di esportazione.
Fare clic su Esporta.
Quando il task ha esito positivo, fare clic su Completato per scaricare un ZIP del file CSV.
Nota

Il file CSV per un assistente digitale contiene i dati per gli skill richiamati direttamente tramite l'assistente digitale. I dati per le competenze chiamate al di fuori del contesto di un assistente digitale non sono inclusi in questo file.

Di seguito la descrizione degli approfondimenti-export-dialog.png

Descrizione dell'immagine insights-export-dialog.png

Nota

I dati possono essere distribuiti in una serie di file CSV quando il task di esportazione restituisce più di 1.048.000 righe. In questi casi, il file ZIP conterrà una serie di file ZIP, ciascuno contenente un file CSV.

Metriche agente reale per assistenti digitali

Utilizza le metriche degli agenti attivi per valutare la capacità dell'assistente digitale di deviare le richieste degli utenti dagli agenti attivi. È possibile accedere a queste metriche selezionando Agente attivo dal filtro Handler (che viene visualizzato solo quando si filtra il report in base a un intervallo di date o date che include conversazioni di trasferimento di agenti attivi).

Segue la descrizione di live-agent-option-da-insights.png

Descrizione dell'immagine live-agent-option-da-insights.png

Nota

La generazione di report approfonditi, tramite i relativi handler di skill e agenti attivi, copre tutte le comunicazioni tra l'utente finale, la competenza e l'agente reale. Questo non è il caso di DA come conversazioni agente, in cui Insights copre solo la conversazione fino a quando la chat non è stata trasferita all'agente reale. Per creare report completi su DA come conversazioni agente, utilizzare Oracle Fusion Service Analytics.

Utilizzando queste metriche, è possibile misurare il tasso di deviazione dell'assistente digitale e le relative competenze confrontando il numero di conversazioni gestite rispetto al numero di conversazioni terminate passaggio ai flussi di consegna dell'agente (la sequenza degli stati Avvio agente e Conversazione agente che avviano la distribuzione del canale dell'agente e gestiscono rispettivamente la conversazione agente-abilità). A seconda della definizione del flusso della finestra di dialogo dello skill, le chat agente reale possono essere richieste in modo esplicito dall'utente o richieste dallo skill per conto dell'utente o di entrambi.

Metriche conversazione agente reale per assistenti digitali

Queste metriche riflettono quanto bene il tuo assistente digitale e le sue competenze stanno scaricando le attività dagli agenti reali.

Segue la descrizione di live-agent-metrics-da.png

Descrizione dell'immagine live-agent-metrics-da.png

Numero totale di conversazioni: il numero totale di conversazioni instradate dall'assistente digitale per il periodo di tempo e il canale selezionati. Questo totale include conversazioni con e senza richieste di agenti attivi.
Conversazioni gestite da Live Agent: il numero totale di conversazioni instradate dall'assistente digitale che includeva una richiesta per un agente reale.
Conversazioni gestite da ODA: il numero totale di conversazioni (complete o incomplete) gestite dall'assistente digitale o dalle relative competenze perché non sono state effettuate richieste di agenti attivi.
Conversazioni risolte da ODA: il numero di conversazioni instradate dall'assistente digitale che sono state completate (ovvero hanno raggiunto uno stato di uscita) senza richieste di agenti attivi.
Conversazioni interrotte in attesa di Live Agent: il numero di conversazioni instradate dall'assistente digitale che non sono mai state trasmesse a un agente reale, nonostante ne abbia richiesto uno. Le conversazioni possono essere considerate abbandonate quando gli utenti non si connettono mai con agenti reali, probabilmente perché hanno lasciato la conversazione o sono scaduti.
Diflessione: la percentuale di conversazioni deviate dall'agente reale che viene calcolata dividendo il conteggio delle conversazioni risolte da ODA per il conteggio del numero totale di conversazioni (gestito dall'assistente digitale).

Insight sugli eventi

Se l'assistente digitale include competenze che sono state attrezzate per ricevere eventi da e pubblicare eventi in origini esterne, è possibile monitorare il volume di questi eventi in entrata e in uscita utilizzando i grafici e i grafici di Event Insights.

Eventi in entrata

Gli skill con un flusso contenente uno stato Notifica utente sono consumer di eventi in entrata, trasmessi dall'origine dell'evento tramite il canale dell'evento instradato all'assistente digitale. La ricezione di questo evento fa sì che lo stato Notifica utente invii un messaggio di notifica all'utente. Il contenuto del messaggio di evento in entrata ricevuto da uno skill viene fornito da un oggetto JSON. Di seguito sono riportate le metriche per gli eventi in entrata.

Numero totale di messaggi in entrata: conteggio degli eventi ricevuti dallo skill. Questo totale include anche gli eventi in entrata con errori. Gli eventi registrati in questi report dipendono dal caso d'uso riportato nell'oggetto JSON dell'evento. Poiché il contenuto di un evento in entrata è fornito da questo oggetto, un evento può rappresentare un ordine ripetuto eseguito dall'utente. In questo caso, non è lo scambio tra l'abilità e l'utente, ma il risultato di una conversazione precedente. Quando l'utente esamina gli ordini passati e tocca nuovamente l'opzione Ordina, ad esempio, la competenza riceve l'evento e invia all'utente un messaggio di conferma. In termini di approfondimenti, viene incrementato il conteggio per la metrica Numero totale di messaggi in entrata, che rappresenta questi ordini ripetuti, così come il numero di conversazioni completate nel report Panoramica. Esaminando il report Conversazione, questi ordini ripetuti vengono aggregati in base all'ID sessione utente (l'attributo contesto evento userid).

Descrizione dell'immagine inbound-event-json.png
Numero di messaggi evento in entrata con errori: il conteggio degli eventi in entrata che non hanno generato messaggi di notifica utente a causa di errori. Si tratta in genere di errori di convalida che si sono verificati perché il payload dell'evento non è conforme allo schema, problemi di configurazione per la competenza che utilizza l'evento o con la configurazione dell'evento stesso.
Numero di origini eventi in entrata: il numero di origini che organizzano gli eventi in entrata.

Questi numeri sono suddivisi dagli altri grafici correlati agli eventi in entrata:

Andamento dei messaggi in entrata: volume di messaggi in entrata (inclusi quelli con errori) nel tempo.
Analisi dei messaggi in entrata: il totale degli eventi in entrata (inclusi quelli con errori) suddivisi per origine evento.

Suggerimento
È possibile creare nomi riconoscibili dall'utente per le origini evento in entrata creando per tali origini bundle di risorse definiti dall'utente.
Messaggi in entrata con errori: confronto tra gli eventi in entrata che hanno generato eventi di notifica e gli eventi in entrata con errori.

Eventi in uscita

Gli eventi in uscita provengono da flussi con stati Pubblica evento configurati per pubblicare un evento nella stessa origine evento degli eventi in entrata.

Nota

Gli eventi in uscita non esistono senza gli eventi in entrata.

Insights registra le metriche e i grafici riportati di seguito per gli eventi in uscita.

Numero totale di messaggi in uscita: conteggio degli eventi pubblicati dagli skill registrati nell'assistente digitale.
Andamento dei messaggi in uscita: il volume degli eventi pubblicati in un periodo di tempo.
Analisi dei messaggi in uscita: analisi stratificata dei messaggi in uscita per origine. Per la Release 22.10 vengono registrati solo gli eventi dell'applicazione.
Distribuzione degli eventi: la frequenza degli eventi pubblicati.

Suggerimento
È possibile creare nomi user-friendly per gli eventi nel word cloud creando bundle di risorse definiti dall'utente per i nomi degli eventi.

Documentazione di Oracle Cloud Infrastructure