Insight di conversazione per le competenze
I report di conversazione relativi alle competenze, che tengono traccia delle conversazioni vocali e di testo per periodo di tempo e per canale, consentono di identificare i percorsi di esecuzione, determinare l'accuratezza delle risoluzioni degli intenti e accedere a intere trascrizioni delle conversazioni.
Per accedere alle metriche a livello di sessione, selezionare Coversazione dal filtro Metrica nel report Panoramica.
Voice Insights viene monitorato per le competenze instradate ai client di chat configurati per il riconoscimento vocale e in esecuzione nella versione 20.8 o successiva degli SDK Oracle Web, iOS o Android.
Tipi di report
- Panoramica: utilizzare questo dashboard per trovare rapidamente il numero totale di conversazioni vocali e di testo per canale e per periodo di tempo. Le metriche del report analizzano questo totale in base al numero di conversazioni complete, incomplete e in corso. Inoltre, questo report indica in che modo lo skill ha completato o non è stato completato le conversazioni classificando l'uso degli intenti transazionali e di risposta dello skill nei grafici a barre e nei cloud delle parole.
- Metriche personalizzate: consente di misurare le dimensioni personalizzate applicate allo skill.
- Intenti: fornisce dati e informazioni specifiche dell'intento per le metriche di esecuzione (stati, durata della conversazione e percorsi più e meno popolari).
- Percorsi: mostra una rappresentazione visiva del flusso di conversazione per un intento.
- Conversazioni: visualizza la trascrizione effettiva della finestra di dialogo Skill-user, visualizzata nel contesto del flusso della finestra di dialogo e della finestra di chat.
- Retrainer: il luogo in cui si utilizzano i dati in tempo reale e si ottengono insight per migliorare le proprie competenze attraverso l'autoapprendimento moderato.
- Esporta: consente di scaricare un file CSV dei dati Insights raccolti da Oracle Digital Assistant. È possibile creare un report Insights personalizzato dal file CSV.
Esaminare le metriche e i grafici di riepilogo
È possibile regolare questa vista attivando o alternando le modalità Voce e Testo oppure è possibile confrontare le due opzioni abilitando. Confronta conversazioni di testo e vocali.
Quando si seleziona Testo, nel report viene visualizzato un set di metriche comuni. Quando si seleziona Voce, il report include ulteriori metriche specifiche per la voce. Queste metriche si applicano solo alle conversazioni vocali, pertanto non vengono visualizzate quando si sceglie Confronta conversazioni di testo e vocali
Le opzioni Modalità dipendono dalla presenza di messaggi vocali o di testo. Se ad esempio sono presenti solo messaggi di testo, viene visualizzata solo l'opzione Testo.
Metriche comuni
- Numero totale di conversazioni: il numero totale delle conversazioni, che comprende le conversazioni completate, incomplete e in corso. Indipendentemente dallo stato, una conversazione può essere composta da uno o più turni di dialogo. Ogni turno è un unico scambio tra l'utente e l'abilità.
Nota
Le conversazioni non sono uguali alle richieste sottoposte a misurazione. Per ulteriori informazioni sulla misurazione, consulta Descrizioni del servizio Oracle PaaS e IaaS Universal Credit. - Conversazioni completate: conversazioni terminate con la risposta alla query di un utente riuscita. Le conversazioni che si concludono con uno stato Flusso finale o con uno stato in cui il flusso finale (implicito) è selezionato come transizione vengono considerate completate. Nelle competenze create da YAML, le conversazioni vengono conteggiate come complete quando il passaggio attraverso il flusso della finestra di dialogo termina con una transizione
return
o in uno stato con la proprietàinsightsEndConversation
.Nota
Questa proprietà e la transizionereturn
non sono disponibili in Visual Flow Designer. - Conversazioni incomplete: conversazioni non completate dagli utenti perché hanno abbandonato la competenza o non sono state in grado di completarla a causa di errori a livello di sistema, timeout o loop infiniti.
- Conversazioni in corso: conversazioni "in corso" (conversazioni non ancora completate o con timeout). Questa metrica tiene traccia delle conversazioni a più turni. Una conversazione in corso diventa un timeout dopo la scadenza di una sessione.
- Tempo medio impiegato per le conversazioni: la lunghezza media per tutte le conversazioni dello skill.
- Numero totale di utenti e Numero di utenti univoci: metriche della base utenti che indicano il numero di utenti di una competenza e il numero di utenti che restituiscono gli utenti.
Metriche vocali
Queste metriche sono solo a scopo informativo e non possono essere utilizzate.
- Tempo medio dedicato alle conversazioni: la durata media delle conversazioni vocali.
- RTF (Average Real Time Factor): il rapporto tra il tempo impiegato per elaborare l'input audio e il tempo della CPU. Ad esempio, se l'elaborazione di un secondo di audio richiede un secondo di tempo CPU, l'RTF è 1 (1/1). L'RTF per 500 millisecondi per elaborare un secondo di audio è .5 o 1⁄2 . Idealmente, l'RTF dovrebbe essere inferiore a 1 per garantire che l'elaborazione non sia in ritardo rispetto all'input audio. Se l'RTF è superiore a 1, contattare il Supporto Oracle.
- Latenza media vocale - Il ritardo, in millisecondi, tra il rilevamento della fine dell'espressione e la generazione del risultato finale (o della trascrizione). Se si osserva la latenza, contattare il Supporto Oracle.
- Tempo medio audio: la durata media, in secondi, di tutte le conversazioni vocali.
- Conversazioni attivate da switch: percentuale delle conversazioni dello skill iniziate con i comandi vocali, ma che doveva essere impostata su testo per completare l'interazione. Questa metrica indica che sono stati coinvolti più percorsi di esecuzione per passare da voce a testo.
Analisi stratificata conversazione incompleta
- Timeout: i timeout vengono attivati quando una conversazione in corso è inattiva per più di un'ora, causando la scadenza della sessione.
- Errori gestiti dal sistema: gli errori gestiti dal sistema vengono gestiti dal sistema e non dalla competenza. Questi errori si verificano quando la definizione del flusso della finestra di dialogo non è dotata della gestione degli errori.
- Loop infinito: possono verificarsi loop infiniti a causa di difetti nella definizione del flusso della finestra di dialogo, ad esempio transizioni definite in modo errato.
- Annullato: il numero di volte in cui gli utenti hanno lasciato uno skill annullando in modo esplicito la conversazione.
Facendo clic su una categoria di errore nella tabella o su uno degli archi del grafico, è possibile espandere il report Conversazioni per visualizzare questi errori nel contesto di conversazioni incomplete. Quando si accede al report Conversazioni da qui, i filtri Risultato ed errori del report Conversazioni sono impostati su Incompleto e sulla categoria di errore selezionata. Ad esempio, se si fa clic su Loop infinito, il report Conversazioni verrà filtrato in base a Incompleto e Loop infinito. I filtri Intenti e Risultato del report sono impostati su Mostra tutto e il campo Ordina per è impostato su Più recente.
Parametri utente
- Numero di utenti: totale in esecuzione di tutti i tipi di utenti che hanno interagito con la competenza: utenti con ID assegnati al canale che persistono tra le sessioni (gli utenti univoci) e utenti i cui ID assegnati automaticamente durano per una sola sessione.
- Numero di utenti univoci: il numero di utenti che hanno avuto accesso allo skill identificato dai relativi ID utente univoci. Ogni canale ha un metodo diverso di assegnazione di un ID a un utente: gli utenti che chattano con lo skill tramite il canale Web sono identificati dal valore definito per il campo
userId
, ad esempio. Il canale di test dello Skill Tester assegna un nuovo ID utente ogni volta che si termina una sessione di chat facendo clic su Reimposta.Una volta assegnati, questi ID univoci persistono tra le sessioni di chat in modo che il conteggio univoco degli utenti calcolato da questa metrica non aumenti quando un utente rivede lo skill. Il conteggio aumenta solo quando un altro utente assegnato con un ID univoco viene aggiunto al pool di utenti.Suggerimento
Poiché gli ID utente sono univoci solo all'interno di un canale (un utente con ID identici su due canali diversi verrà conteggiato come due utenti, non uno), è possibile ottenere un'idea migliore della base di utenti filtrando il report per canale.
Abilita registrazione nuovo utente
"purgeUserData": true
nel payload della richiesta POST di avvio del task di esportazione.
La raccolta dei nuovi dati utente ha inizio solo alla data di spedizione della funzione con la Release 23.10.
Rivedi approfondimenti sulle tendenze delle conversazioni
- Completate: le conversazioni completate correttamente dagli utenti. Le conversazioni che si concludono con uno stato Flusso finale o con uno stato in cui il flusso finale (implicito) è selezionato come transizione vengono considerate completate. Nelle competenze create da YAML, le conversazioni vengono conteggiate come complete quando il passaggio attraverso il flusso della finestra di dialogo termina con una transizione
return
o in uno stato con la proprietàinsightsEndConversation
.Nota
Questa proprietà e la transizionereturn
non sono disponibili in Visual Flow Designer. - Incompleta: conversazioni che gli utenti non hanno completato perché hanno abbandonato lo skill o non sono stati in grado di completare a causa di errori, timeout o difetti a livello di sistema nella progettazione dello skill.
- In corso: conversazioni "in corso" (conversazioni non ancora completate o scadute). Questa metrica tiene traccia delle conversazioni a più turni.
Visualizza uso intento
Non tutte le conversazioni vengono risolte in un intento. Quando Nessun intento viene visualizzato nel grafico a barre Intento e nel cloud delle parole, indica che un intento non è stato risolto dall'input dell'utente, ma tramite un'azione di transizione, una conversazione avviata da skill o tramite l'instradamento da un assistente digitale.
È possibile filtrare il grafico a barre Intenti e la nuvola di parole utilizzando le opzioni Tutti gli intenti, Rispondi intenti e Intenti transazione del grafico a barre.
Descrizione della figura all-intents.png
Queste opzioni consentono di suddividere rapidamente l'uso. For example, for mixed skills – ones that have both transactional and answer intents – you can view usage for these two types of intents using the Answer Intents and Transaction Intents options.
Description of the illustration transactional-intents.png
The key phrases rendered in the word cloud reflect the option, so for example, only the key phrases associated answer intents display when you select Answer Intents.
Description of the illustration answer-intents.png
Rivedere gli intenti e rieseguire l'utilizzo delle nuvole di frasi chiave
Il colore rappresenta il livello di successo per la risoluzione dell'intento:
- Il verde rappresenta un'alta media di risoluzione delle richieste pari o superiore alla soglia margine vincita fiducia entro il periodo specificato.
- Il giallo rappresenta la risoluzione dell'intento che, in media, non soddisfa la soglia del margine di vincita di fiducia entro il periodo specificato. Questo colore è una buona indicazione che l'intento deve essere riqualificato.
- Il rosso è riservato a unresolvedIntent. Questa è la raccolta di richieste utente che non possono essere abbinate a nessun intento ma che potrebbero potenzialmente essere incorporate nel corpus.
Oltre a ciò, offre una visione più granulare dell'utilizzo dell'intento attraverso frasi chiave, che rappresentano l'input effettivo dell'utente, e, per le frasi in lingua inglese (il comportamento è diverso quando le frasi non in lingua inglese vengono risolte in un intento), accedere al Retrainer.
Rivedi frasi chiave
Facendo clic su un intento, è possibile espandere un set di frasi chiave. Queste frasi sono astrazioni del messaggio utente originale che ne preservano l'intento originale. Ad esempio, la frase chiave annulla l'ordine viene visualizzata dal messaggio originale, Voglio annullare l'ordine. Messaggi simili possono essere raggruppati all'interno di una singola frase chiave. Le frasi Voglio annullare l'ordine, possibilità di annullare l'ordine e annullamento possono essere raggruppate nella frase chiave annullamento dell'ordine, ad esempio. Analogamente agli intenti, la dimensione rappresenta la prominenza per il periodo di tempo in questione e il colore riflette il livello di attendibilità.
Descrizione dell'immagine, frasi chiave per intent.png
You can see the actual user message (or the messages grouped within a key phrase) within the context of a conversation when you click a phrase and then choose View Conversations from the context menu.
Description of the illustration view-conversations-option.png
This option opens the Conversations Report.
Description of the illustration key-phrases-conversation-report.png
Anonymized values display in the phrase cloud when you enable PII Anonymization.
Description of the illustration pii-skill-phrase-cloud.png
Ritira da Word Cloud
Questa opzione consente di aprire il Trainer, in cui è possibile aggiungere la frase effettiva al corpus di addestramento.
Rivedi frasi lingua nativa
Il comportamento della nuvola di frasi chiave differisce per le competenze con il supporto della lingua nativa in quanto non è possibile accedere al Retrainer per frasi non in inglese. Quando le frasi in lingue diverse sono state risolte in un intento, le lingue e non le frasi chiave vengono visualizzate nel cloud quando si fa clic su un intento. Ad esempio, se il francese e l'inglese vengono visualizzati dopo aver fatto clic su unresolvedIntent, ciò significa che sono presenti frasi in inglese e francese che non è stato possibile risolvere in alcun intento.
Descrizione dell'immagine ml-phrase-cloud.png
Se l'inglese è tra le lingue, è possibile eseguire il drill-down nel cloud delle frasi chiave facendo clic su Inglese. Nel cloud delle frasi chiave è possibile utilizzare le opzioni Visualizza conversazioni e Esegui esercitazione del menu di scelta rapida per eseguire il drill-down del report delle conversazioni e del retrainer. Tuttavia, quando si esegue il drill-down da una lingua non inglese, si esegue il drill-down al report Conversazioni, filtrato in base all'intento e alla lingua. Non c'è accesso diretto al Retrainer. Quindi, tornando all'esempio unresolvedIntent, se si è fatto clic su Inglese, è possibile eseguire il drill-down nel cloud delle frasi chiave. Se si fa clic su Francese, si esegue il drill-down al report Conversazioni, filtrato in base a unresolvedIntent e francese.
Descrizione dell'illustrazione ml-conversation-report.png
Se si desidera incorporare o riassegnare una frase dopo averlo esaminato nel contesto della conversazione, sarà necessario incorporare la frase direttamente dal Retrainer filtrando in base all'intento, alla lingua (e a qualsiasi altro criterio).
Rivedi uso lingua
Per una competenza multilingue, è possibile confrontare l'utilizzo delle relative lingue supportate tramite i segmenti del grafico Lingue. Ogni segmento rappresenta una lingua attualmente in uso.
Descrizione dell'immagine language-chart-overview-skill.png
Se si desidera rivedere le conversazioni rappresentate da una lingua nel grafico, è possibile fare clic su un segmento o sulla legenda per espandere il report conversioni, filtrato in base alla lingua selezionata.
Descrizione delle conversazioni dell'immagine-report-filtered-by-language.png
Rivedi feedback e valutazioni utente
Il punteggio medio di soddisfazione del cliente, che è proporzionale al numero di conversazioni per ciascuna valutazione, viene visualizzato al centro del grafico della ciambella. I singoli totali su base per conversazione per ogni numero dell'intervallo sono rappresentati come archi del grafico a ciambella Valutazione utente che variano in lunghezza in base all'occorrenza. Se si fa clic su uno di questi archi, viene visualizzato il report Conversazioni filtrato in base al punteggio.
Se la competenza viene eseguita su una piattaforma prima della Release 21.12, è necessario disattivare Abilita mascheramento per visualizzare la valutazione utente nella trascrizione della conversazione. Per conservare la valutazione utente effettiva nelle trascrizioni per gli skill in esecuzione sulle piattaforme 21.12 e successive (se l'opzione Abilita mascheramento non è più valida), è necessario eliminare l'entità NUMBER dall'elenco delle entità trattate come informazioni personali quando si abilita l'anonimizzazione delle informazioni personali.
Per impostazione predefinita, la soglia minima del componente Feedback utente per determinare una reazione positiva o negativa è impostata su due (Non soddisfatto). Se il feedback dell'utente è abilitato per il componente, la nuvola di parole Feedback utente visualizza i commenti dell'utente che accompagnano le valutazioni negative e le dimensionano in base alla frequenza. È possibile visualizzare questi commenti nel contesto dell'interazione complessiva facendo clic sull'arco nel grafico Valutazione utente che rappresenta una valutazione al di sotto della soglia (una o due per le impostazioni predefinite del componente) e quindi eseguire il drill-down al report Conversazione, filtrato in base al punteggio selezionato.
Descrizione dell'immagine conversazione-report-utente-feedback.png
Come aggiungere il componente Feedback al flusso della finestra di dialogo
System.Feedback
utilizzando la transizione next
. Il flusso della finestra di dialogo può passare a una sequenza di stati di feedback utente ogni volta che si desidera misurare la reazione di un utente. Ciò potrebbe avvenire, ad esempio, dopo che un utente ha completato o annullato una transazione.
Se lo stato che precede lo stato Feedback utente dispone di una proprietà Conserva turno, impostarla su
True
per assicurarsi che la competenza non distribuisca la conversazione all'utente prima che il flusso passi al feedback utente. Per mantenere il controllo dello skill nei flussi creati con YAML, impostare keepTurn: true
nello stato precedente allo stato System.Feedback
.
above
, below
e cancel
. Nei flussi della finestra di dialogo YAML, ciascuno di questi stati ha transizioni return: done
.Questi stati soddisfano l'intervallo massimo e minimo della valutazione determinato dalla proprietà Threshold. È possibile aggiungere questi stati come messaggi utente che confermano la ricezione della valutazione utente.
Tipo di feedback | Esempio di messaggio |
---|---|
above |
Thank you for rating us ${system.userFeedbackRating.value} |
below |
You entered: ${system.userFeedbackText.value} We appreciate your feedback. |
cancel |
Skipped giving a rating or feedback? Maybe next time. |
systemComponent_Feedback_
in un file CSV del bundle di risorse.
Utilizzo di metriche personalizzate per misurare il feedback dell'utente
Ciascuno di questi stati Imposta metriche personalizzate corrisponde a uno degli stati denominati dalle azioni di transizione
above
, below
e cancel
del componente Feedback utente. Ad esempio, se si desidera aggiungere una metrica denominata Tipo di feedback al report Metriche personalizzate, effettuare le operazioni riportate di seguito.
- Inserire gli stati Imposta metriche personalizzate prima di ciascuno degli stati denominati dalle azioni di transizione
above
,below
ecancel
del componente Feedback utente. - Per ogni stato, immettere Tipo di feedback come nome della dimensione.
- Aggiungere valori separati per ogni stato, in base al tipo di transizione (ad esempio,
Canceled
,Positive
,Negative
). Dopo aver eseguito la strumentazione del flusso della finestra di dialogo per registrare i dati di feedback, è possibile eseguire una query sui diversi valori nel report Metriche personalizzate.
Nei flussi basati su YAML è possibile tenere traccia delle metriche di feedback aggiungendo gli stati System.SetCustomMetrics
.
Rivedere le metriche personalizzate
Il report Metriche personalizzate fornisce una prospettiva aggiunta sui dati Insights tenendo traccia dei dati delle conversazioni per dimensioni specifiche delle competenze. Le dimensioni tracciate da questo report vengono create nella definizione del flusso della finestra di dialogo utilizzando il componente Imposta metriche personalizzate e il componente System.SetCustomMetrics
nei flussi YAML. Questo componente consente di creare dimensioni per esplorare esigenze aziendali e di sviluppo specifiche per le proprie competenze. Ad esempio, è possibile creare dimensioni che segnalino il consumo di un prodotto o servizio (l'impasto per pizza più richiesto o il tipo di nota spese più comunemente archiviato) o tenere traccia quando l'abilità non riesce agli utenti costringendoli a uscire o passandoli agli agenti reali.
Le dimensioni e le categorie vengono visualizzate nel report solo quando si sono verificate le conversazioni da esse misurate.
Strumentare la competenza per le metriche personalizzate
Per generare il report Metriche personalizzate, è necessario definire una o più dimensioni utilizzando il componente Imposta metriche personalizzate, a cui è possibile accedere facendo clic su Variabili > Imposta metriche personalizzate o Variabili > Imposta metriche personalizzate approfondimenti nelle finestre di dialogo YAML.
Descrizione della figura set-insights-component-dialog.png
Se il report Metriche personalizzate non contiene dati, è probabile che non siano stati definiti stati Imposta metriche personalizzate o che le transizioni a questi stati non siano state impostate correttamente.
È possibile definire fino a sei dimensioni per ogni skill.
Creazione di dimensioni per i valori delle variabili
È possibile tenere traccia dei valori delle entità impostando una transizione next
a uno stato Imposta metriche personalizzate dopo lo stato di impostazione del valore (ad esempio, uno stato Risolvi sacchetto composto). Le dimensioni e i filtri nel report Imposta metriche personalizzate vengono visualizzati dalle dimensioni e dai valori delle dimensioni definiti dal componente Imposta metriche personalizzate.
Se lo stato di impostazione del valore fa riferimento a un'entità sacchetto composito, è possibile tenere traccia degli elementi sacchetto utilizzando un'espressione Freemarker Apache per definire il valore della dimensione. Ad esempio, il valore di una dimensione Dimensione pizza può essere definito come ${pizza.value.pizzaSize.value}
. I singoli valori restituiti da questa espressione (piccola, media, grande) vengono visualizzati come segmenti di dati nel report Metriche personalizzate e possono essere applicati anche come filtri. Ad esempio, il report che deriva dalla strumentazione di un'abilità pizza suddivide gli ordini di pizza in base a dimensioni, tipo e pasta per pizza. Questi dettagli aggiunti completano le metriche già riportate per l'intento Order Pizza.
Descrizione dell'immagine custom-metrics-example.png
Le dimensioni basate sul valore dell'entità vengono registrate nel report Metriche personalizzate solo dopo l'impostazione di un valore di entità. Se non è stato impostato alcun valore o se lo stato di impostazione del valore non passa allo stato Imposta metriche personalizzate, i grafici del report indicano i dati mancanti come <not set>.
Creazione di dimensioni che tengono traccia dell'uso delle competenze
Oltre alle dimensioni basate su valori variabili, è possibile creare dimensioni che tengono traccia non solo del modo in cui gli utenti interagiscono con lo skill, ma anche della sua efficacia complessiva. È possibile, ad esempio, aggiungere una dimensione che indichi con quale frequenza e perché gli utenti vengono trasferiti agli agenti attivi.
Descrizione dell'immagine custom-metrics-agent-transfer-example.png
Dimensioni come queste ti informano dell'esperienza utente. È possibile aggiungere la stessa dimensione a diversi stati Imposta metriche personalizzate nei flussi. Ciascuno di questi stati Imposta metriche personalizzate definisce una categoria o un valore dimensione diversi. Ad esempio, esistono dimensioni Trasferimento agente in due flussi diversi: uno nel flusso Pizza ordine con il valore Nessun agente necessario quando lo skill completa correttamente un ordine e l'altro nel flusso UnresolvedIntent con il valore Input non valido che tiene traccia quando lo skill trasferisce gli utenti a un agente reale a causa di un input non risolto. Il report Metriche personalizzate registra i dati per queste metriche quando questi stati vengono inclusi in un flusso di esecuzione.
Stati metrica personalizzati per dimensione trasferimento agente | Flusso | Value | Utilizzare |
---|---|---|---|
setInsightsCustomMetricsNoAgent |
Order Pizza (dalla transizione next dello stato Resolve Composite Bag,
|
Nessun agente necessario | Riflette il numero di conversazioni riuscite in cui gli ordini sono stati effettuati senza assistenza. |
setInsightsCustomMaxErrors |
Ordinare Pizza (dalla transizione cancel dello stato Risolvi sacchetto composito)
|
Numero massimo di errori | Riflette il numero di conversazioni in cui gli utenti sono stati indirizzati agli agenti reali perché hanno raggiunto la m |
setInsightsCustomMetricsBadInput |
UnresolvedIntent | Input errato | Riflette il numero di conversazioni in cui l'input non risolto ha determinato il trasferimento degli utenti a un agente reale. |
setInsightsCustomMetricsLiveAgent |
Agente chiamata (prima della sequenza di avvio dell'agente) | Agente richiesto | Riflette il numero di conversazioni in cui gli utenti hanno richiesto un agente reale. |
Esporta dati metriche personalizzate
Colonna | descrizione; |
---|---|
CREATED_ON |
Data dell'esportazione dati. |
USER_ID |
L'ID dell'utente skill. |
SESSION_ID |
Identificativo della sessione corrente. Questo è un GUID casuale, che rende questo ID diverso da USER_ID. |
BOT_ID |
L'ID skill assegnato allo skill al momento della creazione. |
CUSTOM_METRICS |
Array JSON che contiene un oggetto per ogni dimensione metrica personalizzata. name è un nome dimensione e value è il valore dimensione acquisito dalla conversazione. [{"name":"Custom Metric Name 1","value":"Custom Metric Value"},{"name":"Custom Metric Name 2","value":"Custom Metric Value"},...] Ad esempio: [{"name":"Pizza Size","value":"Large"},{"name":"Pizza Type","value":"Hot and Spicy"},{"name":"Pizza Crust","value":"regular"},{"name":"Agent Transfer","value":"No Agent Needed"}] .
|
QUERY |
L'espressione utente o la risposta skill che contiene un valore di metrica personalizzato. |
CHOICES |
Le scelte di menu nei componenti dell'interfaccia utente. |
COMPONENT |
Componente della finestra di dialogo, System.setCustomMetrics , (Imposta componente personalizzato nei flussi visivi) che esegue le metriche personalizzate.
|
CHANNEL |
Il canale che ha condotto la sessione. |
Rivedi approfondimenti sugli intenti
Questo report restituisce gli intenti definiti per uno skill in un determinato periodo di tempo, pertanto il relativo contenuto può essere modificato in modo da riflettere gli intenti aggiunti, rinominati o rimossi dallo skill in vari momenti.
Percorsi completati
È possibile utilizzare queste statistiche e come indicatori dell'esperienza utente. Ad esempio, è possibile utilizzare questo report per verificare se il tempo impiegato è appropriato per l'attività o se i percorsi più brevi comportano comunque un'esperienza utente attenuata, che potrebbe incoraggiare gli utenti a lasciare l'attività. Si potrebbe, ad esempio, introdurre un utente più rapidamente attraverso la skill inserendo valori con entità sacchetto composito invece di prompt e componenti di impostazione valore?
- È possibile tracciare il percorso di esecuzione per un intento selezionato facendo clic su Visualizza percorso, che consente di aprire il report Percorsi filtrato in base alle conversazioni completate per l'intento. Per migliorare l'attenzione sui percorsi di esecuzione, è possibile filtrare gli stati a cui non si è interessati.
- È possibile leggere le trascrizioni delle conversazioni completate per un intento facendo clic su Visualizza conversazioni, che consente di aprire il report Conversazioni filtrato in base alle conversazioni completate per l'intento.
Percorsi incompleti
System.DefaultErrorHandler
. Utilizzandolo, è possibile scoprire se uno stato del flusso di una finestra di dialogo è un continuo punto di errore e le ragioni per cui (errori, timeout o input utente errato). Questo report non mostra i percorsi o la velocità per i percorsi incompleti perché non si applicano all'input dell'utente. Invece, il grafico a barre classifica ogni intento in base ai messaggi numerici che non potevano essere risolti in alcun intento o che avevano il potenziale di essere risolti (il che significa che il sistema potrebbe indovinare un intento), ma a cui è stato impedito di farlo a causa di bassi punteggi di affidabilità.
Il grafico Stati incompleti non visualizza gli intenti di risposta (intenti statici) nei flussi basati su YAML perché i relativi risultati sono supportati solo dallo stato del componente
System.Intent
e non da una serie di stati in una definizione del flusso della finestra di dialogo.
{}
). Anche se lo skill gestisce correttamente la transazione, Insights classificherà comunque la conversazione come incompleta e lo stato finale sarà System.DefaultErrorHandler
.
- Fare clic su Visualizza percorso per aprire il report Percorsi filtrato per le conversazioni incomplete per l'intento selezionato. Gli stati del terminale in questo percorso possono includere stati definiti nella finestra di dialogo o uno stato interno che segna la fine di una conversazione, ad esempio
System.EndSession
,System.ExpiredSession
,System.MaxStatesExceededHandler
eSystem.DefaultErrorHandler
. - È possibile accedere alle trascrizioni delle conversazioni che hanno causato l'errore facendo clic su Visualizza conversazioni. Questa opzione consente di aprire il report Conversazioni filtrato per le conversazioni incomplete per l'intento selezionato. È possibile restringere ulteriormente i risultati applicando un filtro. Ad esempio, è possibile filtrare il report in base alle condizioni di errore.
unresolvedIntent
Oltre alla durata e agli instradamenti per gli intenti orientati ai task, il report Intenti restituisce anche i messaggi che non è stato possibile risolvere. Per visualizzare questi messaggi, fare clic su unresolvedIntent nella barra di navigazione a sinistra. Se si fa clic su un intento nel grafico a barre Previsioni più vicine, la finestra Messaggio non risolto viene aggiornata con i messaggi non risolti per l'intento ordinati in base a un punteggio di probabilità.
Approfondimenti sui percorsi di revisione
Il report Percorsi consente di scoprire quante conversazioni sono passate attraverso i percorsi di esecuzione degli intenti per un determinato periodo. Questo report visualizza un percorso simile a una mappa di transito in cui le soste possono rappresentare gli intenti, gli stati definiti nella definizione del flusso della finestra di dialogo e gli stati interni che contrassegnano l'inizio e la fine di ogni conversazione non classificata come in corso.
Descrizione del percorso dell'immagine: report.png
È possibile scorrere questo percorso per vedere dove i valori inseriti dall'input dell'utente hanno spinto in avanti la conversazione e dove si è bloccata a causa di input utente errato, timeout risultanti da nessun input utente, errori di sistema o altri problemi. Mentre l'ultima tappa in un percorso completato è verde, per i percorsi incompleti in cui questi problemi sono sorti, è rosso. Attraverso questo report, è possibile scoprire dove il numero di conversazioni è rimasto costante attraverso ogni stato e individuare dove le conversazioni si sono ramificate a causa di valori impostati (o non impostati), o senza scadenza a causa di qualche altro problema come un componente personalizzato non funzionante o un timeout.
Esegui query su report percorsi
Tutti i flussi di esecuzione vengono visualizzati per impostazione predefinita dopo l'immissione della query. La freccia verde Inizia

System.BeginSession
, lo stato di sistema che avvia ogni conversazione. L'icona System.Intent

Per le conversazioni incomplete, il percorso può concludersi con uno stato interno, ad esempio
System.ExpiredSession
, System.MaxStatesExceededHandler
o System.DefaultErrorHandler
, che rappresenta l'errore che ha interrotto la conversazione.
Se lo stato finale di un flusso creato con YAML utilizza una transazione vuota (o implcit) (
{}
), Insights classificherà questo stato come stato System.DefaultErrorHandler
e considererà la conversazione come incompleta, anche se la competenza ha gestito correttamente la transazione.
Il report visualizza una risposta nulla per qualsiasi messaggio cliente vuoto (o non altrimenti in testo normale) o contenente input imprevisti. Per le risposte non di testo che sono azioni di postback, viene visualizzato il payload dell'azione più recente. Ad esempio:
{"orderAction":"confirm""system.state":"orderSummary"}
Se si fa clic su Visualizza conversazioni, viene visualizzato il report Conversazioni su cui è stata eseguita la query in base al percorso in modo da poter rivedere i messaggi che hanno concluso la conversazione nel contesto di una trascrizione.
Scenario: interrogazione del report di percorso
Guardando il report Panoramica per una competenza finanziaria, si nota che c'è un improvviso aumento nelle conversazioni incomplete. Aggiungendo i valori rappresentati dai segmenti arancioni "incompleti" dei grafici a barre impilati, si deduce che le conversazioni non riescono nei percorsi di esecuzione degli intenti Invia denaro e saldi dello skill.
Per analizzare ulteriormente gli errori degli intenti, aprire il report di percorso e immettere la prima query: filtrare per tutti gli intenti con un risultato incompleto. Il percorso viene visualizzato con due rami: uno che inizia con startPayments
e termina con SystemDefaultErrorHandler
e un secondo che inizia con startBalances e termina anche con System.DefaultErrorHandler
. Se si fa clic sul nodo finale in uno dei due percorsi, viene visualizzato il riquadro dei dettagli che rileva il numero di errori e visualizza gli snippet dei messaggi utente ricevuti dalla competenza prima che si verifichino questi errori. Per visualizzare questi snippet nel contesto, fare clic su Visualizza conversazioni nel pannello dei dettagli per visualizzare la trascrizione. In tutte le conversazioni, lo skill è stato costretto a rispondere con prompt di errore imprevisto (Oops! Si è verificato un problema...) perché gli errori di sistema hanno impedito l'elaborazione della richiesta utente.
Per ulteriori informazioni sugli stati che causano questi errori e sui relativi possibili ruoli nel causare questi errori, fare riferimento alla definizione del flusso della finestra di dialogo per identificare gli stati che iniziano i percorsi di esecuzione per ciascuno degli intenti. Questi stati sono startBalances
, startTxns
, startPayments
, startTrackSpending
e setDate
.
Confrontando i percorsi con la definizione del flusso della finestra di dialogo, si noti che nei flussi startPayments
e startBalances
l'ultimo stato visualizzato nel percorso precede uno stato che utilizza un componente personalizzato. Dopo aver controllato la pagina Components, il servizio è stato disabilitato e non è possibile recuperare le informazioni dell'account necessarie per completare le conversazioni.
Rivedere gli approfondimenti della conversazione sulle competenze
Il report Conversazioni consente di esaminare le trascrizioni effettive delle conversazioni per esaminare il modo in cui l'input dell'utente ha completato i percorsi correlati all'intento o il motivo per cui non è stato eseguito. È possibile filtrare le conversazioni per canale, per modalità (Voce, Testo, Tutto), Tipo (flusso intento o flusso LLM) e per periodo di tempo.
Per un singolo intento, il report Conversazioni elenca le diverse conversazioni completate. Tuttavia, nei flussi di dialogo creati con YAML, complete può indicare elementi diversi a seconda del messaggio utente e della transizione
return
, che termina la conversazione e distrugge il contesto della conversazione. Per un intento OrderPizza, ad esempio, il report Conversazioni potrebbe mostrare due conversazioni completate correttamente. Solo uno di loro culmina in un ordine completato. Anche l'altra conversazione termina con successo, ma invece di soddisfare un ordine, gestisce l'input utente errato.
Visualizza storico delle conversazioni
Fare clic su Visualizza conversazione per aprire la conversazione nel contesto di una finestra di chat. Se si fa clic sull'icona del grafico a barre, vengono visualizzate le metriche vocali per l'interazione.
Descrizione della conversazione vista illustrazione window.png
Visualizza metriche vocali
Anonimizzazione informazioni di identificazione personale
I valori CURRENCY e DATE_TIME non vengono resi anonimi, anche se contengono numeri. Inoltre, il valore "one" nel prompt predefinito per un'entità sacchetto composito ("Selezionare un valore per...") viene reso anonimo come valore numerico. Per evitare questo problema, aggiungere un prompt personalizzato ("ad esempio, selezionare il valore a per...").
- PERSONA
- NUMERO
- PHONE_NUMBER
- URL
Abilita mascheramento è obsoleto nella release 21.12. Utilizzare l'anonimizzazione delle informazioni di identificazione personale invece per mascherare i valori numerici nei report Insights e nei log di esportazione. Non è possibile applicare l'anonimizzazione alle conversazioni registrate prima della release 21.12.
Abilita anonimizzazione informazioni personali
- Fare clic su Impostazioni > Generale.
- Attivare Abilita anonimizzazione PII.
- Fare clic su Aggiungi entità per selezionare i valori di entità che si desidera rendere anonimi nei report Insights e nei log.
NotaSe si desidera interrompere l'anonimizzazione per un valore PII o se non si desidera che venga utilizzato alcun anonimo, selezionare l'entità corrispondente, quindi fare clic su Elimina entità. Dopo aver eliminato un'entità, il valore PII effettivo viene visualizzato nei report Insights per le conversazioni successive. La sua forma anonima, tuttavia, rimarrà per le conversazioni precedenti.
I valori anonimizzati vengono resi persistenti nel database solo dopo aver abilitato l'anonimizzazione per i valori PII per le entità selezionate. Non vengono applicate a conversazioni precedenti. A seconda dell'intervallo di date selezionato per i report Insights o i file di esportazione, è possibile che i valori PII vengano visualizzati sia nei form effettivi che in quelli anonimi. Quando si crea un task di esportazione, è possibile applicare l'anonimizzazione a qualsiasi valore PII non anonimizzato, inclusi quelli nelle conversazioni che si sono verificate prima di abilitare l'anonimizzazione nelle impostazioni dello skill o dell'assistente digitale. Questi anonimi si applicano solo al file esportato e non vengono resi persistenti nel database.Nota
L'anonimizzazione è permanente (nonostante l'anonimizzazione applicata al task di esportazione). Impossibile recuperare i valori PII dopo aver abilitato l'anonimizzazione.
Anonimizzazione PII nel file di esportazione
L'anonimizzazione in un file Insights esportato dipende dal fatto che (e quando) sia stata abilitata l'anonimizzazione delle informazioni personali per lo skill o l'assistente digitale in Impostazioni.
- I valori PII riconosciuti per le entità selezionate vengono sostituiti con anonimi. Questi anonimi vengono resi persistenti nel database e sostituiscono i valori PII nei log e nei report Insights. Questa anonimizzazione viene applicata alle conversazioni che si verificano dopo - non prima - l'abilitazione dell'anonimizzazione in Impostazioni.
- L'opzione Abilita anonimizzazione PII per l'opzione file per il task di esportazione è abilitata per impostazione predefinita per garantire che i valori PII riconosciuti per le entità selezionate in Impostazioni vengano applicati alle conversazioni che si sono verificate prima dell'impostazione dell'anonimizzazione PII. Gli anonimi applicati durante l'esportazione nelle conversazioni precedenti all'anonimizzazione delle informazioni personali esistono solo nel file di esportazione. I valori PII originali rimangono nel database, nei log Insights e nei report Insights.
- Se si disattiva Abilita anonimizzazione PII per il file, verranno resi anonimi solo i valori PII riconosciuti per le entità selezionate in Impostazioni. I file di log conterranno gli anonimi per le conversazioni che si sono verificate dopo l'abilitazione delle impostazioni di anonimizzazione per lo skill o l'assistente digitale. Le conversazioni precedenti appariranno come espressioni originali e non modificate con i loro valori PII intatti. Di conseguenza, il file di esportazione può includere conversazioni anonime e non rese anonime se una parte dell'intervallo di date del task di esportazione è precedente all'anonimizzazione.
Nota
Se il task di esportazione include conversazioni anonime verificatesi prima della Release 22.04, gli anonimi applicati alle conversazioni precedenti alla release 22.04 verranno modificati o resi anonimi nei file di esportazione quando si seleziona Abilita anonimizzazione PII per il file per il task di esportazione. Gli anonimi nel file esportato non corrispondono agli anonimi nei file di esportazione precedenti alla versione 22.04 o agli anonimi visualizzati nei report Insights.
- L'opzione Abilita anonimizzazione PII per il file verrà disabilitata per impostazione predefinita per il task di esportazione in modo che il file esportato conterrà tutte le espressioni originali non modificate, inclusi i valori PII.
- Se si seleziona Abilita anonimizzazione PII per il file, i valori PII verranno resi anonimi nel file esportato solo per le entità predefinite, PERSON, EMAIL, URL e NUMBER. I valori PII rimarranno nel database, nei log e nei report Insights.
Applicare il Retrainer
- periodo
- lingua: per la funzionalità multilingue abilitata tramite il supporto della lingua nativa o i servizi di traduzione. Per impostazione predefinita, il report filtra in base alla lingua principale.
- intenti - Filtra abbinando i nomi dei due intenti di primo livello e utilizzando gli operatori di confronto per le loro proprietà correlate alla risoluzione, affidabilità e margine vincita.
- canali: include il canale agente creato per le integrazioni di Oracle Service Cloud.
- modalità testo o voce - Include conversazioni commutate.
Aggiorna intenti con Retrainer
- È possibile aggiungere solo input utente al corpus di formazione che appartiene a una versione bozza di uno skill e non a una versione pubblicata.
- Non è possibile aggiungere alcun input utente già presente come espressione nel corpus di addestramento o che è già stato aggiunto utilizzando il Retrainer.
- Poiché non è possibile aggiornare uno skill pubblicato, è necessario creare una versione bozza prima di poter aggiungere nuovi dati al corpus.
Suggerimento
Fare clic su Confronta tutte le versionioppure disattivare l'opzione Mostra solo le versioni più recenti per accedere sia alle versioni bozza che a quelle pubblicate dello skill.
- Nella versione bozza dello skill, applicare un filtro, se necessario, quindi fare clic su Cerca.
- Selezionare il messaggio utente, quindi scegliere l'intento di destinazione dal menu Seleziona intento. Se lo skill supporta più lingue native, è possibile aggiungerlo al set di formazione appropriato per la lingua scegliendo tra le lingue disponibili nel menu Seleziona lingua.
Suggerimento
È possibile aggiungere espressioni a un intento su base individuale oppure selezionare più intenti, quindi selezionare l'intento di destinazione e, se necessario, una lingua dai menu Aggiungi a situati nella parte superiore sinistra della tabella. Se si desidera aggiungere tutte le richieste restituite a un intento, selezionare Utteranze (posizionate nella parte superiore destra della tabella), quindi scegliere l'intento e la lingua dal menu Aggiungi a. - Fare clic su Aggiungi esempio.
- Ritirate l'abilità.
- Ripubblicare lo skill.
- Aggiornare l'assistente digitale con la nuova abilità.
- Monitorare il report Panoramica per verificare la presenza di modifiche alle metriche nel tempo e confrontare versioni diverse della competenza per scoprire se le nuove versioni sono state effettivamente aggiunte al successo complessivo della competenza. La ripetizione del processo di riqualificazione migliora la reattività dello skill per ogni nuova versione. Per le competenze integrate con Oracle Service Cloud Chat, ad esempio, la riqualificazione dovrebbe determinare una tendenza al ribasso nelle escalation, indicata da una tendenza al ribasso nell'uso degli intenti di trasferimento degli agenti.
Apprendimento automatico moderato
Impostando il filtro Attendibilità massima al di sotto della soglia di attendibilità impostata per lo skill oppure tramite il filtro predefinito Corrispondenze intenzionali unresolvedIntent, è possibile aggiornare il corpo dell'addestramento utilizzando la classificazione di attendibilità effettuata dal framework di elaborazione degli intenti. Ad esempio, se la ricerca unresolvedIntent restituisce "qualcuno ha usato la mia carta di credito", puoi assegnarla a un intento chiamato Contestazione. Questo è l'autoapprendimento moderato - migliorando la risoluzione dell'intento pur preservando l'integrità dell'abilità.
Ad esempio, i criteri di ricerca predefiniti per il report mostrano l'input casuale dell'utente che non può essere risolto al livello di attendibilità perché è inappropriato, fuori argomento o contiene errori ortografici. Facendo riferimento al grafico a barre, è possibile assegnare l'input dell'utente: è possibile rafforzare l'intento dell'abilità per la gestione degli intenti non risolti assegnando l'input costituito da elementi incomprensibili oppure è possibile aggiungere voci con ortografia errata all'intento appropriato orientato alle attività ("invia moneey" ad esempio a un intento Invia denaro). Se la tua abilità ha un intento di benvenuto, ad esempio, puoi assegnare messaggi irriverenti e off-topic a cui la tua abilità può restituire una gioia come: "Non lo so, ma posso aiutarti a ordinare alcuni fiori".
Supporto ai servizi di traduzione
Se lo skill utilizza un servizio di traduzione, il Retrainer visualizza i messaggi utente nella lingua di destinazione. Tuttavia, il Retrainer non aggiunge messaggi tradotti al corpus di addestramento. Li aggiunge invece in inglese, la lingua accettata del modello di formazione. Facendo clic su viene visualizzata la versione inglese che può essere potenzialmente aggiunta al corpus. Ad esempio, se si fa clic su questa icona per contester (francese), viene visualizzata la contestazione (inglese).
Creare job di Data Manufacturing
Anziché assegnare le espressioni agli intenti personalmente, è possibile raggruppare il task creando job Annotazione intento e Convalida intento. Non è necessario compilare i log delle conversazioni in un file CSV per creare questi job. In alternativa, fare clic su Crea, quindi su Mansione di Data Manufacturing.
Scegliere il tipo di job per l'input utente filtrato nel report Retrainer. Ad esempio, è possibile creare un job Annotazione intento da un report filtrato in base all'intento superiore corrispondente a unresolvedIntent oppure creare un job Convalida intento da un report filtrato in base a espressioni corrispondenti a un intento.
Descrizione dell'immagine retrainer-data-manufacturing-job-dialog.png
Suggerimento
Utilizzando le opzioni Seleziona espressioni, è possibile scegliere tutti i risultati restituiti dal filtro applicato al Retrainer per il job di data manufacturing oppure creare un job da un subset di questi risultati che può includere un campionamento casuale delle espressioni. Se si seleziona Escludi espressioni da job precedenti, le espressioni selezionate per un job di Data Manufacturing precedente non saranno più disponibili per i job successivi: le espressioni incluse in un job di Annotazione intento, ad esempio, non saranno disponibili per un job di Annotazione intento successivo. Utilizzare questa opzione quando si creano più job per rivedere un grande set di risultati.Crea una suite di test
Analogamente ai job di data manufacturing derivanti dai risultati sottoposti a query nel report Retrainer, è inoltre possibile creare casi di test dalle espressioni restituite dalla query. Per aggiungere una suite di questi casi di test al tester Utterance, fare clic su Crea, quindi su Suite di test.
È possibile filtrare le espressioni per la suite di test utilizzando le opzioni Seleziona espressioni nella finestra di dialogo Crea suite di test. È possibile includere tutte le espressioni restituite dal filtro applicato al Retrainer nella suite di test oppure un sottoinsieme di questi risultati che può includere un campionamento casuale delle espressioni. Selezionare Includi tag lingua per assicurarsi che la lingua associata a un caso di test rimanga invariata durante il test.
Descrizione dell'immagine create-test-suite-dialog-insights.png
Per accedere alla suite di test completata, fare clic su Vai ai casi di test nel tester Utterance.
Rivedi uso lingua
Per una competenza multilingue, è possibile confrontare l'utilizzo delle relative lingue supportate tramite i segmenti del grafico Lingue. Ogni segmento rappresenta una lingua attualmente in uso.
Descrizione dell'immagine language-chart-overview-skill.png
Se si desidera rivedere le conversazioni rappresentate da una lingua nel grafico, è possibile fare clic su un segmento o sulla legenda per espandere il report conversioni, filtrato in base alla lingua selezionata.
Descrizione delle conversazioni dell'immagine-report-filtered-by-language.png
Esporta dati approfondimenti
I vari report Insights forniscono prospettive diverse, ma se è necessario visualizzare questi dati in un altro modo, è possibile creare il proprio report da un file CSV di dati Insights esportati.
I dati possono essere distribuiti in una serie di file CSV quando il task di esportazione restituisce più di 1.048.000 righe. In questi casi, il file ZIP conterrà una serie di file ZIP, ciascuno contenente un file CSV.
- Nome: il nome del task di esportazione.
- Ultima esecuzione: la data dell'ultima esecuzione del task.
- Creato da: il nome dell'utente che ha creato il task.
- Stato esportazione: Inviato, In corso, Non riuscito, Nessun dato (quando non sono presenti dati da esportare nell'intervallo di date definito per il task) o Completato, un collegamento ipertestuale che consente di scaricare i dati esportati come file CSV. Passando il puntatore del mouse sullo stato Non riuscito viene visualizzato un messaggio esplicativo.
Alla versione corrente dello skill viene applicato un task di esportazione.
Crea task di esportazione
- Aprire la pagina Esporta, quindi fare clic su + Esporta.
- Inserire un nome per il report, quindi inserire un intervallo di date.
- Fare clic su Abilita anonimizzazione PII per il file esportato per sostituire i valori PII (Personally Identifiable Information) con gli anonimi nel file esportato. Questi anonimi esistono solo nel file esportato se PII non è abilitato nelle impostazioni dello skill. In questo caso, i valori PII, non i relativi equivalenti anonimi, vengono comunque memorizzati nel database e visualizzati nei log Insights esportati e nei report Insights, inclusi il report Conversazioni, Retrainer e le frasi chiave nel word cloud. Se le informazioni personali sono state abilitate nelle impostazioni delle competenze, i log e i report Insights conterranno anonimi.
Nota
L'anonimizzazione PII abilitata per le impostazioni dello skill o dell'assistente digitale determina il modo in cui i valori PII vengono resi anonimi nel file di esportazione e contribuisce anche alla coerenza dell'anonimizzazione nel file di esportazione. - Fare clic su Esporta.
- Quando il task ha esito positivo, fare clic su Completato per scaricare un file ZIP del file CSV (o CSV per esportazioni di grandi dimensioni). Il nome del file CSV di esportazione a livello di skill inizia con
B_
. I nomi file per le esportazioni a livello di assistente digitale iniziano conD_
.

Descrizione dell'immagine insights-export-dialog.png
Revisione dei log di esportazione
BOT_NAME
contiene il nome dello skill o il nome dell'assistente digitale. È possibile utilizzare questa colonna per vedere come la finestra di dialogo viene instradata dal sistema digitale agli skill (e tra gli skill).CHANNEL_SESSION_ID
memorizza l'ID sessione canale. È possibile utilizzare tale ID insieme alla terza colonna,CHANNEL_ID
, per creare un tipo di identificativo univoco per la sessione. Poiché le sessioni possono scadere o terminare, è possibile utilizzare questo identificativo per scoprire se la sessione è cambiata.TIMESTAMP
indica la cronologia o la sequenza in cui si sono verificati gli eventi. In genere, si ordina in base a questa colonna.USER_UTTERANCE
eBOT_RESPONSE
contengono la conversazione effettiva tra lo skill e il relativo utente. Questi due campi rendono facilmente visibile l'interleafing dei messaggi utente e skill quando si esegue l'ordinamento in base alTIMESTAMP
.È possibile che esistano espressioni duplicate nella colonna
USER_UTTERANCE
. Questo può accadere quando il test utente viene eseguito sulla stessa istanza, ma è più probabile che sia perché l'espressione viene utilizzata in diverse parti della conversazione.- Per eseguire il debug del flusso della finestra di dialogo, è possibile utilizzare
COMPONENT_NAME
,CURR_STATE
eNEXT_STATE
.
Filtrare i dati degli approfondimenti esportati
TIMESTAMP
per visualizzare la sequenza degli eventi. Per altre prospettive, ad esempio la conversazione skill-utente, è possibile filtrare le colonne in base agli stati interni generati dal sistema. Le tecniche di filtraggio comuni includono:
- Ordinamento della conversazione di skill e assistente digitale: quando un'esportazione contiene sia i dati di un assistente digitale che le relative competenze registrate, il contenuto del campo
BOT_NAME
potrebbe sembrare confuso, poiché la conversazione sembra saltare arbitrariamente tra le diverse competenze e tra le competenze e l'assistente digitale. Per visualizzare la finestra di dialogo nella sequenza corretta (e nel contesto), la colonnaTIMESTAMP
in ordine crescente. - Trovare i limiti della conversazione: utilizzare il campo
System.BeginSession
e uno degli stati del terminale per trovare l'inizio e la fine di una conversazione. Le conversazioni iniziano con uno statoSystem.BeginSession
. Possono terminare con uno dei seguenti stati terminali:System.EndSession
System.ExpiredSession
System.MaxStatesExceededHandler
System.DefaultErrorHandler
- Revisione della conversazione utente-skill effettiva: per isolare il contenuto delle colonne
USER_UTTERANCE
eBOT_RESPONSE
, filtrare la colonnaCURR_STATE
in base agli stati generati dal sistemaSystem.MsgReceived
eSystem.MsgSent
NotaA volte parti della finestra di dialogo delle competenze utente possono essere ripetute nelle colonne
Una risposta messaggio non di testo, ad esempio gli stati delle entità di risoluzione, l'output skill sarà costituito da risposte parziali unite da un carattere di nuova riga.USER_UTTERANCE
eBOT_RESPONSE
. Il testo dell'utente viene ripetuto quando esiste una transizione automatica che non richiede l'input dell'utente. Le risposte skill vengono ripetute se lo stato successivo è uno degli stati terminale, ad esempioSystem.EndSession
oSystem.DefaultErrorHandler
. - Revisione della sola esecuzione del flusso della finestra di dialogo con la finestra di dialogo competenze utente: per visualizzare le transazioni interne o solo i messaggi non di testo, è necessario filtrare gli stati
System.MsgReceived
eSystem.MsgReceived
dalla colonnaCURR_STATE
(approccio opposto alla visualizzazione solo della finestra di dialogo). - Identificazione di una sessione: confrontare i valori in
CHANNEL_SESSION_ID
eSESSION_ID
(che sono uno accanto all'altro).
Campi log esportazione
Nome colonna | descrizione; | Valore di esempio |
---|---|---|
BOT_NAME |
Il nome della capacità | PizzaBot |
CHANNEL_SESSION_ID |
L'ID di un utente per il valore session.This identifica una nuova sessione. Una modifica di questo valore indica che la sessione è scaduta o è stata reimpostata per il canale. | 2e62fb24-8585-40c7-91a9-8adf0509acd6 |
SESSIONID |
Identificativo della sessione corrente. Questo è un GUID casuale, che rende questo ID diverso da CHANNEL_SESSION_ID o USER_ID . Una sessione indica che uno o più percorsi di esecuzione dell'intento sono stati interrotti da una transizione return esplicita nella definizione dello stato o da un ritorno implicito inserito da Dialog Engine.
|
00cbecbb-0c2e-4749-bfa9-c1b222182e12 |
TIMESTAMP |
L'indicatore orario "creato il". Utilizzato per l'ordinamento cronologico o la sequenza di eventi. | 14-SEP-20 01.05.10.409000 PM |
USER_ID |
L'ID utente | 2880806 |
DOMAIN_USERID |
Si riferisce al USER_ID .
|
2880806 |
PARENT_BOT_ID |
L'ID dello skill o dell'assistente digitale. Quando una conversazione viene attivata da un assistente digitale, si riferisce all'ID dell'assistente digitale. | 9148117F-D9B8-4E99-9CA9-3C8BA56CE7D5 |
ENTITY_MATCHES |
Identifica i valori degli elementi del sacchetto composito corrispondenti nella prima espressione risolta in un intento. Se il primo messaggio di un utente è "Ordina una pizza di grandi dimensioni", questa colonna conterrà la corrispondenza per l'articolo PizzaSize all'interno dell'entità sacchetto composito, Pizza: Qualsiasi altro valore di elemento nei messaggi utente successivi non viene tracciato. Pertanto, se il messaggio successivo di un utente include un valore PizzaType, non verrà incluso nel file di esportazione. Se prima un utente inserisce "Ordina una pizza" e poi, dopo che l'intento è stato risolto, aggiunge un messaggio di follow-up con un valore di entità per l'elemento PizzaSize ("fai in modo che sia grande"), un valore nullo viene registrato nella colonna ENTITY_MATCHES , perché il messaggio iniziale risolto nell'intento non contiene alcun valore di elemento.
Quando si abilita l'anonimizzazione PII, viene restituito un oggetto vuoto ( |
{"Pizza":[{"entityName":"Pizza","PizzaType":["CHEESE BASIC"],"PizzaSize":["Large"]}]} |
PHRASE |
L'interpretazione ODA dell'input utente | large thin pizza |
INTENT_LIST |
Classificazione degli intenti candidati, espressa come oggetto JSON. | [{"INTENT_NAME":"OrderPizza","INTENT_SCORE":0.4063},{"INTENT_NAME":"OrderPasta","INTENT_SCORE":0.1986}] Per le esportazioni assistenti digitali, questa è una classifica di competenze che sono state chiamate attraverso l'assistente digitale. Ad esempio: |
BOT_RESPONSE |
Le risposte fatte dall'abilità in risposta a qualsiasi espressione dell'utente. | How old are you? |
USER_UTTERANCE |
L'input dell'utente. | 18 |
INTENT |
L'intento selezionato dallo skill per elaborare il conversation.This elenca l'intento principale dall'elenco di intenti considerati come possibilità per la conversazione. | OrderPizza |
LOCALE |
Impostazioni nazionali utente | en-US |
COMPONENT_NAME |
Il componente (sistema o personalizzato), eseguito nello stato corrente. È possibile utilizzare questo campo insieme ai valori CURR_STATE e NEXT STATE per eseguire il debug della finestra di dialogo flow.There sono altri valori nella colonna COMPONENT_NAME che non sono componenti:
|
AgeChecker |
CURR_STATE |
Stato corrente della conversazione, utilizzato per determinare l'origine del messaggio. Questo campo contiene i nomi degli stati definiti nella definizione del flusso della finestra di dialogo insieme agli stati generati dal sistema. È possibile filtrare il file CSV in base a questi stati, che includono System.MsgRecieved per i messaggi utente e System.MsgSent per i messaggi inviati dallo skill o dagli agenti per le integrazioni del servizio clienti.
|
checkage
|
NEXT_STATE |
Stato successivo nel percorso di esecuzione. Le transizioni di stato nella definizione del flusso della finestra di dialogo indicano lo stato successivo nel percorso di esecuzione. | crust |
Language |
La lingua utilizzata durante la sessione. | fr |
SKILL_VERSION |
La versione dell'abilità | 1.2 |
INTENT_TYPE |
Indica se l'intento è transazionale (TRANS ) o un intento di risposta (STATIC )
|
STATIC |
CHANNEL_ID |
Identifica il canale su cui è stata condotta la conversazione. Questo campo, insieme a CHANNEL_SESSION_ID , descrive una sessione.
|
AF5D45A0EF4C02D4E053060013AC71BD |
ERROR_MESSAGE |
Messaggio di errore restituito. | Session expired due to inactivity .
|
INTENT_QUERY_TEXT |
Input inviato al server degli intenti per la classificazione. Il contenuto di INTENT_QUERY_TEXT e USER_UTTERANCE è lo stesso quando l'input dell'utente si trova in una delle lingue native, ma è diverso quando l'input dell'utente si trova in una lingua non supportata in modo nativo, quindi viene gestito da un servizio tradotto. In questo caso, il INPUT_QUERY_TEXT è in inglese.
|
|
TRANSLATE_ENABLED |
Indica se viene utilizzato un servizio di traduzione. | NO |
SKILL_SESSION_ID |
ID sessione | 6e2ea3dc-10e2-401a-a621-85e123213d48 |
ASR_REQUEST_ID |
Un campo chiave univoco che identifica ogni input vocale, ovvero l'ID della richiesta vocale. La presenza di questo valore indica che l'input è un input vocale. | cb18bc1edd1cda16ac567f26ff0ce8f0 |
ASR_EE_DURATION |
Durata di un'espressione vocale singola all'interno di una finestra di conversazione. | 3376 |
ASR_LATENCY |
Latenza vocale, misurata in millisecondi. Mentre il riconoscimento vocale richiede un gran numero di calcoli, la larghezza di banda della memoria e la capacità della batteria sono limitate. Ciò introduce la latenza dal momento in cui un input vocale viene ricevuto al momento della trascrizione. Inoltre, le implementazioni basate su server aggiungono latenza a causa del round trip. | 50 |
ASR_RTF |
una metrica standard di prestazioni nel sistema di riconoscimento vocale. Se l'elaborazione di un input di durata {I} richiede tempo {P}, il fattore in tempo reale viene definito come: RTF = \frac{P}{I}. Il rapporto tra il tempo impiegato per elaborare l'input audio e il tempo della CPU. Ad esempio, se l'elaborazione di un secondo di audio richiede un secondo di tempo CPU, l'RTF è 1 (1/1). L'RTF per 500 millisecondi per elaborare un secondo di audio è .5 o 1⁄2 . | 0.330567 |
CONVERSATION_ID |
ID conversazione | 906ed6bd-de6d-4f59-a2af-3b633d6c7c06 |
CUSTOM_METRICS |
Array JSON che contiene un oggetto per ogni dimensione metrica personalizzata. name è un nome di dimensione e value è il valore restituito. Questa colonna è disponibile per le versioni 22.02 e successive.
|
|
Stati interni
Nome stato | descrizione; |
---|---|
System.MsgReceived |
Evento ricevuto da un messaggio che viene attivato in Insights quando uno skill riceve un messaggio di testo da un'origine esterna, ad esempio un utente o un altro skill. |
System.MsgSent |
Messaggio inviato che viene attivato per Insights quando uno skill risponde a un'origine esterna, ad esempio un utente o un altro skill.
Per ogni evento |
System.BeginSession |
Un evento System.BeginSession viene inviato come indicatore per l'avvio della sessione quando:
|
System.EndSession |
Un evento System.EndSession viene acquisito come indicatore per l'interruzione della sessione quando lo stato corrente non ha generato errori non gestiti e ha una transizione return , che indica che non ci sarà un altro stato della finestra di dialogo da eseguire. L'evento System.EndSession può essere registrato anche quando lo stato corrente ha:
|
System.ExpiredSession (Error type: "systemHandled") |
Timeout di una sessione. Il timeout predefinito è un'ora.
Quando una conversazione si interrompe per più di un'ora, viene attivata la scadenza della sessione. La scadenza della sessione viene acquisita come due eventi separati in Insights. Il primo evento è lo stato inattivo, lo stato nel flusso della finestra di dialogo in cui si è interrotta la comunicazione utente. Il secondo è l'evento |
System.DefaultErrorHandler |
L'handler di errori predefinito viene eseguito quando non viene definita alcuna gestione degli errori nel flusso della finestra di dialogo, a livello globale (ad esempio il nodo defaultTransitions nei flussi basati su YAML) o a livello di stato con transizioni error . Quando il flusso della finestra di dialogo include transizioni error , viene attivato un evento System.EndSession .
|
System.ExpiredSessionHandler |
L'evento System.ExpiredSessionHandler viene generato se un messaggio viene inviato da un sistema esterno o da un utente alla competenza dopo la scadenza della sessione. Ad esempio, questo evento viene attivato quando un utente interrompe la chat con lo skill a metà conversazione, ma invia un messaggio dopo aver lasciato aperta la finestra di chat per più di un'ora.
|
System.MaxStatesExceededHandler |
Questo evento viene generato se vengono attivati più di 100 stati di finestra di dialogo nell'ambito di un singolo messaggio utente. |
Esercitazione: Usa Oracle Digital Assistant Insights
Applica i report Insights (incluso il Retrainer) con questa esercitazione: Usa Oracle Digital Assistant Insights.