Insight di conversazione per le competenze

I report di conversazione relativi alle competenze, che tengono traccia delle conversazioni vocali e di testo per periodo di tempo e per canale, consentono di identificare i percorsi di esecuzione, determinare l'accuratezza delle risoluzioni degli intenti e accedere a intere trascrizioni delle conversazioni.

Per accedere alle metriche a livello di sessione, selezionare Coversazione dal filtro Metrica nel report Panoramica.
L'opzione Conversazione nel filtro Metrica.

Voice Insights viene monitorato per le competenze instradate ai client di chat configurati per il riconoscimento vocale e in esecuzione nella versione 20.8 o successiva degli SDK Oracle Web, iOS o Android.

Tipi di report

  • Panoramica: utilizzare questo dashboard per trovare rapidamente il numero totale di conversazioni vocali e di testo per canale e per periodo di tempo. Le metriche del report analizzano questo totale in base al numero di conversazioni complete, incomplete e in corso. Inoltre, questo report indica in che modo lo skill ha completato o non è stato completato le conversazioni classificando l'uso degli intenti transazionali e di risposta dello skill nei grafici a barre e nei cloud delle parole.
  • Metriche personalizzate: consente di misurare le dimensioni personalizzate applicate allo skill.
  • Intenti: fornisce dati e informazioni specifiche dell'intento per le metriche di esecuzione (stati, durata della conversazione e percorsi più e meno popolari).
  • Percorsi: mostra una rappresentazione visiva del flusso di conversazione per un intento.
  • Conversazioni: visualizza la trascrizione effettiva della finestra di dialogo Skill-user, visualizzata nel contesto del flusso della finestra di dialogo e della finestra di chat.
  • Retrainer: il luogo in cui si utilizzano i dati in tempo reale e si ottengono insight per migliorare le proprie competenze attraverso l'autoapprendimento moderato.
  • Esporta: consente di scaricare un file CSV dei dati Insights raccolti da Oracle Digital Assistant. È possibile creare un report Insights personalizzato dal file CSV.

Esaminare le metriche e i grafici di riepilogo

Le metriche, i grafici, i grafici e le nuvole di parole del report di panoramica descrivono l'uso complessivo. Quando lo skill ha gestito conversazioni sia di testo che vocali, la vista predefinita di questo dashboard include sia testo che voce (il rendering abilitato dall'opzione Tutto). In caso contrario, l'impostazione predefinita è solo per testo o voce.

È possibile regolare questa vista attivando o alternando le modalità Voce e Testo oppure è possibile confrontare le due opzioni abilitando. Confronta conversazioni di testo e vocali.

Quando si seleziona Testo, nel report viene visualizzato un set di metriche comuni. Quando si seleziona Voce, il report include ulteriori metriche specifiche per la voce. Queste metriche si applicano solo alle conversazioni vocali, pertanto non vengono visualizzate quando si sceglie Confronta conversazioni di testo e vocali
Nota

Le opzioni Modalità dipendono dalla presenza di messaggi vocali o di testo. Se ad esempio sono presenti solo messaggi di testo, viene visualizzata solo l'opzione Testo.

Metriche comuni

Il report Panoramica include i KPI riportati di seguito sia per le conversazioni di testo che per quelle vocali.
  • Numero totale di conversazioni: il numero totale delle conversazioni, che comprende le conversazioni completate, incomplete e in corso. Indipendentemente dallo stato, una conversazione può essere composta da uno o più turni di dialogo. Ogni turno è un unico scambio tra l'utente e l'abilità.
    Nota

    Le conversazioni non sono uguali alle richieste sottoposte a misurazione. Per ulteriori informazioni sulla misurazione, consulta Descrizioni del servizio Oracle PaaS e IaaS Universal Credit.
  • Conversazioni completate: conversazioni terminate con la risposta alla query di un utente riuscita. Le conversazioni che si concludono con uno stato Flusso finale o con uno stato in cui il flusso finale (implicito) è selezionato come transizione vengono considerate completate. Nelle competenze create da YAML, le conversazioni vengono conteggiate come complete quando il passaggio attraverso il flusso della finestra di dialogo termina con una transizione return o in uno stato con la proprietà insightsEndConversation.
    Nota

    Questa proprietà e la transizione return non sono disponibili in Visual Flow Designer.
  • Conversazioni incomplete: conversazioni non completate dagli utenti perché hanno abbandonato la competenza o non sono state in grado di completarla a causa di errori a livello di sistema, timeout o loop infiniti.
  • Conversazioni in corso: conversazioni "in corso" (conversazioni non ancora completate o con timeout). Questa metrica tiene traccia delle conversazioni a più turni. Una conversazione in corso diventa un timeout dopo la scadenza di una sessione.
  • Tempo medio impiegato per le conversazioni: la lunghezza media per tutte le conversazioni dello skill.
  • Numero totale di utenti e Numero di utenti univoci: metriche della base utenti che indicano il numero di utenti di una competenza e il numero di utenti che restituiscono gli utenti.


Metriche vocali

Qualsiasi conversazione che inizia con un'interazione vocale è considerata una conversazione vocale. Qualsiasi conversazione iniziata con la voce, ma completata nel testo, è considerata una conversazione cambiata. Tutte le altre conversazioni sono considerate testo. Oltre alle metriche standard, il report Panoramica include le metriche riportate di seguito specifiche delle conversazioni vocali e interattive.
Nota

Queste metriche sono solo a scopo informativo e non possono essere utilizzate.
Per visualizzare queste metriche, disabilitare Confronta operazioni di testo e voce e selezionare Tutto o Voce come modalità.
  • Tempo medio dedicato alle conversazioni: la durata media delle conversazioni vocali.
  • RTF (Average Real Time Factor): il rapporto tra il tempo impiegato per elaborare l'input audio e il tempo della CPU. Ad esempio, se l'elaborazione di un secondo di audio richiede un secondo di tempo CPU, l'RTF è 1 (1/1). L'RTF per 500 millisecondi per elaborare un secondo di audio è .5 o 1⁄2 . Idealmente, l'RTF dovrebbe essere inferiore a 1 per garantire che l'elaborazione non sia in ritardo rispetto all'input audio. Se l'RTF è superiore a 1, contattare il Supporto Oracle.
  • Latenza media vocale - Il ritardo, in millisecondi, tra il rilevamento della fine dell'espressione e la generazione del risultato finale (o della trascrizione). Se si osserva la latenza, contattare il Supporto Oracle.
  • Tempo medio audio: la durata media, in secondi, di tutte le conversazioni vocali.
  • Conversazioni attivate da switch: percentuale delle conversazioni dello skill iniziate con i comandi vocali, ma che doveva essere impostata su testo per completare l'interazione. Questa metrica indica che sono stati coinvolti più percorsi di esecuzione per passare da voce a testo.

Analisi stratificata conversazione incompleta

In caso di conversazioni incomplete durante il periodo selezionato, il numero totale viene suddiviso per le seguenti categorie di errore:
  • Timeout: i timeout vengono attivati quando una conversazione in corso è inattiva per più di un'ora, causando la scadenza della sessione.
  • Errori gestiti dal sistema: gli errori gestiti dal sistema vengono gestiti dal sistema e non dalla competenza. Questi errori si verificano quando la definizione del flusso della finestra di dialogo non è dotata della gestione degli errori.
  • Loop infinito: possono verificarsi loop infiniti a causa di difetti nella definizione del flusso della finestra di dialogo, ad esempio transizioni definite in modo errato.
  • Annullato: il numero di volte in cui gli utenti hanno lasciato uno skill annullando in modo esplicito la conversazione.


Facendo clic su una categoria di errore nella tabella o su uno degli archi del grafico, è possibile espandere il report Conversazioni per visualizzare questi errori nel contesto di conversazioni incomplete. Quando si accede al report Conversazioni da qui, i filtri Risultato ed errori del report Conversazioni sono impostati su Incompleto e sulla categoria di errore selezionata. Ad esempio, se si fa clic su Loop infinito, il report Conversazioni verrà filtrato in base a Incompleto e Loop infinito. I filtri Intenti e Risultato del report sono impostati su Mostra tutto e il campo Ordina per è impostato su Più recente.

Parametri utente

È possibile scoprire il numero di utenti di uno skill per un point-in-time selezionato mediante le metriche riportate di seguito. È possibile confrontarle con il totale parziale visualizzato nella metrica Numero totale di conversazioni durante l'applicazione dei filtri al report per canale e periodo di tempo. Per le integrazioni con agenti attivi, è possibile valutare il numero di utenti univoci trasferiti a un agente rispetto a un conteggio totale di conversazioni che include trasferimenti di agenti attivi e conversazioni gestite da competenze.
  • Numero di utenti: totale in esecuzione di tutti i tipi di utenti che hanno interagito con la competenza: utenti con ID assegnati al canale che persistono tra le sessioni (gli utenti univoci) e utenti i cui ID assegnati automaticamente durano per una sola sessione.
  • Numero di utenti univoci: il numero di utenti che hanno avuto accesso allo skill identificato dai relativi ID utente univoci. Ogni canale ha un metodo diverso di assegnazione di un ID a un utente: gli utenti che chattano con lo skill tramite il canale Web sono identificati dal valore definito per il campo userId, ad esempio. Il canale di test dello Skill Tester assegna un nuovo ID utente ogni volta che si termina una sessione di chat facendo clic su Reimposta.
    Una volta assegnati, questi ID univoci persistono tra le sessioni di chat in modo che il conteggio univoco degli utenti calcolato da questa metrica non aumenti quando un utente rivede lo skill. Il conteggio aumenta solo quando un altro utente assegnato con un ID univoco viene aggiunto al pool di utenti.

    Suggerimento

    Poiché gli ID utente sono univoci solo all'interno di un canale (un utente con ID identici su due canali diversi verrà conteggiato come due utenti, non uno), è possibile ottenere un'idea migliore della base di utenti filtrando il report per canale.

Abilita registrazione nuovo utente

Per tenere traccia degli utenti che non hanno mai interagito prima con uno skill o un assistente digitale, attivare Abilita metriche utente Insights in Impostazioni > Configurazione. Prima di attivare questa funzione per uno skill, assicurarsi che i canali instradati assegnino un tipo di ID utente. In caso contrario, lasciare questa funzione disattivata (modalità predefinita). Ogni volta che i canali non forniscono gli ID utente, Digital Assistant assegna un nuovo ID utente a ogni sessione di chat. L'abilitazione di questa funzione quando questi tipi di canali sono in uso altera il reporting perché i nuovi utenti verranno aggiunti per ogni nuova sessione di chat e, di conseguenza, la tabella utente verrà gonfiata di nuove voci. I nuovi dati utente non vengono rimossi automaticamente dallo storage, pertanto è necessario utilizzare l'API di Oracle Digital Assistant. Per rimuovere i nuovi dati utente, includere "purgeUserData": true nel payload della richiesta POST di avvio del task di esportazione.
Nota

La raccolta dei nuovi dati utente ha inizio solo alla data di spedizione della funzione con la Release 23.10.

Rivedi approfondimenti sulle tendenze delle conversazioni

Il grafico Andamenti conversazione rappresenta quanto segue per gli intenti transazionali (inclusi gli intenti di trasferimento agente) e gli intenti di risposta:
  • Completate: le conversazioni completate correttamente dagli utenti. Le conversazioni che si concludono con uno stato Flusso finale o con uno stato in cui il flusso finale (implicito) è selezionato come transizione vengono considerate completate. Nelle competenze create da YAML, le conversazioni vengono conteggiate come complete quando il passaggio attraverso il flusso della finestra di dialogo termina con una transizione return o in uno stato con la proprietà insightsEndConversation.
    Nota

    Questa proprietà e la transizione return non sono disponibili in Visual Flow Designer.
  • Incompleta: conversazioni che gli utenti non hanno completato perché hanno abbandonato lo skill o non sono stati in grado di completare a causa di errori, timeout o difetti a livello di sistema nella progettazione dello skill.
  • In corso: conversazioni "in corso" (conversazioni non ancora completate o scadute). Questa metrica tiene traccia delle conversazioni a più turni.

Visualizza uso intento

Il grafico a barre Intenti consente di individuare non solo gli intenti transazionali e di rispondere che hanno completato le conversazioni, ma anche quelli che hanno causato conversazioni incomplete. È inoltre possibile utilizzare questo grafico per scoprire se l'utilizzo complessivo di questi intenti comporta il caso d'uso. Ad esempio, il numero di conversazioni completate per un intento che ha uno scopo secondario supera il numero di conversazioni completate per l'intento principale? Per mettere questo in termini più pratici, la tua abilità di ordinazione della pizza è diventata un'abilità di "reclamo di file" che indirizza la maggior parte degli utenti a un agente reale?
Nota

Non tutte le conversazioni vengono risolte in un intento. Quando Nessun intento viene visualizzato nel grafico a barre Intento e nel cloud delle parole, indica che un intento non è stato risolto dall'input dell'utente, ma tramite un'azione di transizione, una conversazione avviata da skill o tramite l'instradamento da un assistente digitale.

È possibile filtrare il grafico a barre Intenti e la nuvola di parole utilizzando le opzioni Tutti gli intenti, Rispondi intenti e Intenti transazione del grafico a barre.
Segue la descrizione di all-intents.png
Descrizione della figura all-intents.png

Queste opzioni consentono di suddividere rapidamente l'uso. For example, for mixed skills – ones that have both transactional and answer intents – you can view usage for these two types of intents using the Answer Intents and Transaction Intents options.
Di seguito è riportata la descrizione della transazione intents.png
Description of the illustration transactional-intents.png

The key phrases rendered in the word cloud reflect the option, so for example, only the key phrases associated answer intents display when you select Answer Intents.
Descrizione della risposta: intents.png
Description of the illustration answer-intents.png

Rivedere gli intenti e rieseguire l'utilizzo delle nuvole di frasi chiave

Il cloud parole Intenti più popolari fornisce una vista complementare al grafico a barre Intenti visualizzando il numero di conversazioni completate e incomplete per un intento. Pesa gli intenti più frequentemente richiamati per dimensione e per colore. La dimensione rappresenta il numero di richiami per il periodo specificato.

Il colore rappresenta il livello di successo per la risoluzione dell'intento:
  • Il verde rappresenta un'alta media di risoluzione delle richieste pari o superiore alla soglia margine vincita fiducia entro il periodo specificato.
  • Il giallo rappresenta la risoluzione dell'intento che, in media, non soddisfa la soglia del margine di vincita di fiducia entro il periodo specificato. Questo colore è una buona indicazione che l'intento deve essere riqualificato.
  • Il rosso è riservato a unresolvedIntent. Questa è la raccolta di richieste utente che non possono essere abbinate a nessun intento ma che potrebbero potenzialmente essere incorporate nel corpus.
La nuvola di parole Intenti più popolari è il gateway per viste più dettagliate di come gli intenti risolvono i messaggi degli utenti. In Rivedi intenti e ritira utilizzando cloud di frasi chiave viene descritto come eseguire il drill-down dal cloud di parole Intenti più popolari per ottenere ulteriori informazioni sull'uso, sulle interazioni utente e sulla riqualificazione.

Oltre a ciò, offre una visione più granulare dell'utilizzo dell'intento attraverso frasi chiave, che rappresentano l'input effettivo dell'utente, e, per le frasi in lingua inglese (il comportamento è diverso quando le frasi non in lingua inglese vengono risolte in un intento), accedere al Retrainer.

Rivedi frasi chiave

Facendo clic su un intento, è possibile espandere un set di frasi chiave. Queste frasi sono astrazioni del messaggio utente originale che ne preservano l'intento originale. Ad esempio, la frase chiave annulla l'ordine viene visualizzata dal messaggio originale, Voglio annullare l'ordine. Messaggi simili possono essere raggruppati all'interno di una singola frase chiave. Le frasi Voglio annullare l'ordine, possibilità di annullare l'ordine e annullamento possono essere raggruppate nella frase chiave annullamento dell'ordine, ad esempio. Analogamente agli intenti, la dimensione rappresenta la prominenza per il periodo di tempo in questione e il colore riflette il livello di attendibilità.
Di seguito è riportata la descrizione delle frasi chiave per intent.png
Descrizione dell'immagine, frasi chiave per intent.png

You can see the actual user message (or the messages grouped within a key phrase) within the context of a conversation when you click a phrase and then choose View Conversations from the context menu.
Descrizione delle conversazioni-vista-option.png segue
Description of the illustration view-conversations-option.png

This option opens the Conversations Report.
Di seguito è riportata la descrizione della conversazione-chiave-frasi-report.png
Description of the illustration key-phrases-conversation-report.png

Anonymized values display in the phrase cloud when you enable PII Anonymization.
Descrizione di pii-skill-phrase-cloud.png segue
Description of the illustration pii-skill-phrase-cloud.png

Ritira da Word Cloud

Oltre a visualizzare il messaggio rappresentato dalla frase nel contesto, è possibile aggiungere il messaggio (o i messaggi raggruppati all'interno di una frase chiave) al corpus di formazione facendo clic su Trasforma.

Questa opzione consente di aprire il Trainer, in cui è possibile aggiungere la frase effettiva al corpus di addestramento.

Rivedi frasi lingua nativa

Il comportamento della nuvola di frasi chiave differisce per le competenze con il supporto della lingua nativa in quanto non è possibile accedere al Retrainer per frasi non in inglese. Quando le frasi in lingue diverse sono state risolte in un intento, le lingue e non le frasi chiave vengono visualizzate nel cloud quando si fa clic su un intento. Ad esempio, se il francese e l'inglese vengono visualizzati dopo aver fatto clic su unresolvedIntent, ciò significa che sono presenti frasi in inglese e francese che non è stato possibile risolvere in alcun intento.
Descrizione di ml-phrase-cloud.png
Descrizione dell'immagine ml-phrase-cloud.png

Se l'inglese è tra le lingue, è possibile eseguire il drill-down nel cloud delle frasi chiave facendo clic su Inglese. Nel cloud delle frasi chiave è possibile utilizzare le opzioni Visualizza conversazioni e Esegui esercitazione del menu di scelta rapida per eseguire il drill-down del report delle conversazioni e del retrainer. Tuttavia, quando si esegue il drill-down da una lingua non inglese, si esegue il drill-down al report Conversazioni, filtrato in base all'intento e alla lingua. Non c'è accesso diretto al Retrainer. Quindi, tornando all'esempio unresolvedIntent, se si è fatto clic su Inglese, è possibile eseguire il drill-down nel cloud delle frasi chiave. Se si fa clic su Francese, si esegue il drill-down al report Conversazioni, filtrato in base a unresolvedIntent e francese.
Descrizione di ml-conversation-report.png
Descrizione dell'illustrazione ml-conversation-report.png

Se si desidera incorporare o riassegnare una frase dopo averlo esaminato nel contesto della conversazione, sarà necessario incorporare la frase direttamente dal Retrainer filtrando in base all'intento, alla lingua (e a qualsiasi altro criterio).

Rivedi uso lingua

Per una competenza multilingue, è possibile confrontare l'utilizzo delle relative lingue supportate tramite i segmenti del grafico Lingue. Ogni segmento rappresenta una lingua attualmente in uso.
Descrizione delle lingue-diagramma-panoramica-skill.png segue
Descrizione dell'immagine language-chart-overview-skill.png
Se si desidera rivedere le conversazioni rappresentate da una lingua nel grafico, è possibile fare clic su un segmento o sulla legenda per espandere il report conversioni, filtrato in base alla lingua selezionata.
Di seguito è riportata la descrizione delle conversazioni-report-filtered-by-language.png
Descrizione delle conversazioni dell'immagine-report-filtered-by-language.png

Rivedi feedback e valutazioni utente

Il grafico a ciambella Valutazione utente e il cloud parole Feedback utente tengono traccia del feedback diretto e dei punteggi raccolti dal componente. Quando la finestra di dialogo passa allo stato Feedback utente, lo skill presenta agli utenti un sistema di rating e, facoltativamente, la possibilità di fornire feedback. Per impostazione predefinita, gli utenti possono valutare la propria interazione con lo skill scegliendo un intervallo compreso tra uno e cinque. Per ODA versione 21.10 e successive, il componente di feedback è, per impostazione predefinita, un sistema di valutazione a stelle. Per le versioni precedenti, il componente feedback viene visualizzato come elenco.

Il punteggio medio di soddisfazione del cliente, che è proporzionale al numero di conversazioni per ciascuna valutazione, viene visualizzato al centro del grafico della ciambella. I singoli totali su base per conversazione per ogni numero dell'intervallo sono rappresentati come archi del grafico a ciambella Valutazione utente che variano in lunghezza in base all'occorrenza. Se si fa clic su uno di questi archi, viene visualizzato il report Conversazioni filtrato in base al punteggio.
Nota

Se la competenza viene eseguita su una piattaforma prima della Release 21.12, è necessario disattivare Abilita mascheramento per visualizzare la valutazione utente nella trascrizione della conversazione. Per conservare la valutazione utente effettiva nelle trascrizioni per gli skill in esecuzione sulle piattaforme 21.12 e successive (se l'opzione Abilita mascheramento non è più valida), è necessario eliminare l'entità NUMBER dall'elenco delle entità trattate come informazioni personali quando si abilita l'anonimizzazione delle informazioni personali.


Per impostazione predefinita, la soglia minima del componente Feedback utente per determinare una reazione positiva o negativa è impostata su due (Non soddisfatto). Se il feedback dell'utente è abilitato per il componente, la nuvola di parole Feedback utente visualizza i commenti dell'utente che accompagnano le valutazioni negative e le dimensionano in base alla frequenza. È possibile visualizzare questi commenti nel contesto dell'interazione complessiva facendo clic sull'arco nel grafico Valutazione utente che rappresenta una valutazione al di sotto della soglia (una o due per le impostazioni predefinite del componente) e quindi eseguire il drill-down al report Conversazione, filtrato in base al punteggio selezionato.
Di seguito è riportata la descrizione della conversazione-report-user-feedback.png
Descrizione dell'immagine conversazione-report-utente-feedback.png

Come aggiungere il componente Feedback al flusso della finestra di dialogo

Per acquisire i dati per il grafico Valutazione utente e il cloud parole Feedback utente, è necessario aggiungere una sequenza di stati al flusso della finestra di dialogo. Il primo di questi stati è uno stato Feedback utente. Per aggiungere questo stato, selezionare Messaggistica utente > Feedback utente, quindi selezionare Avanti come tipo di transizione. Nei flussi YAML, è necessario impostare una transizione esplicita allo stato System.Feedback utilizzando la transizione next. Il flusso della finestra di dialogo può passare a una sequenza di stati di feedback utente ogni volta che si desidera misurare la reazione di un utente. Ciò potrebbe avvenire, ad esempio, dopo che un utente ha completato o annullato una transazione.
Nota

Se lo stato che precede lo stato Feedback utente dispone di una proprietà Conserva turno, impostarla su True per assicurarsi che la competenza non distribuisca la conversazione all'utente prima che il flusso passi al feedback utente. Per mantenere il controllo dello skill nei flussi creati con YAML, impostare keepTurn: true nello stato precedente allo stato System.Feedback.


Dopo lo stato Feedback utente, è necessario aggiungere gli stati corrispondenti alle transizioni above, below e cancel. Nei flussi della finestra di dialogo YAML, ciascuno di questi stati ha transizioni return: done.

Questi stati soddisfano l'intervallo massimo e minimo della valutazione determinato dalla proprietà Threshold. È possibile aggiungere questi stati come messaggi utente che confermano la ricezione della valutazione utente.
Tipo di feedback Esempio di messaggio
above Thank you for rating us ${system.userFeedbackRating.value}
below You entered: ${system.userFeedbackText.value} We appreciate your feedback.
cancel Skipped giving a rating or feedback? Maybe next time.
È possibile personalizzare l'output del componente Feedback utente modificando i bundle di risorse correlate al feedback a cui si accede tramite la pagina Configurazione bundle risorse oppure modificando le chiavi systemComponent_Feedback_ in un file CSV del bundle di risorse.

Utilizzo di metriche personalizzate per misurare il feedback dell'utente

È possibile ottenere una vista di alto livello di feedback positivo, negativo e saltato definendo una singola dimensione relativa al feedback dell'utente in un set di stati Imposta metriche personalizzate.

Ciascuno di questi stati Imposta metriche personalizzate corrisponde a uno degli stati denominati dalle azioni di transizione above, below e cancel del componente Feedback utente. Ad esempio, se si desidera aggiungere una metrica denominata Tipo di feedback al report Metriche personalizzate, effettuare le operazioni riportate di seguito.
  1. Inserire gli stati Imposta metriche personalizzate prima di ciascuno degli stati denominati dalle azioni di transizione above, below e cancel del componente Feedback utente.
  2. Per ogni stato, immettere Tipo di feedback come nome della dimensione.
  3. Aggiungere valori separati per ogni stato, in base al tipo di transizione (ad esempio, Canceled, Positive, Negative). Dopo aver eseguito la strumentazione del flusso della finestra di dialogo per registrare i dati di feedback, è possibile eseguire una query sui diversi valori nel report Metriche personalizzate.


Nei flussi basati su YAML è possibile tenere traccia delle metriche di feedback aggiungendo gli stati System.SetCustomMetrics.

Rivedere le metriche personalizzate

Il report Metriche personalizzate fornisce una prospettiva aggiunta sui dati Insights tenendo traccia dei dati delle conversazioni per dimensioni specifiche delle competenze. Le dimensioni tracciate da questo report vengono create nella definizione del flusso della finestra di dialogo utilizzando il componente Imposta metriche personalizzate e il componente System.SetCustomMetrics nei flussi YAML. Questo componente consente di creare dimensioni per esplorare esigenze aziendali e di sviluppo specifiche per le proprie competenze. Ad esempio, è possibile creare dimensioni che segnalino il consumo di un prodotto o servizio (l'impasto per pizza più richiesto o il tipo di nota spese più comunemente archiviato) o tenere traccia quando l'abilità non riesce agli utenti costringendoli a uscire o passandoli agli agenti reali.



Nel report Metriche personalizzate le dimensioni definite nei dati della conversazione sono rappresentate da un grafico a ciambella, da un grafico a barre e da un grafico dell'andamento delle linee. Ogni dimensione ha il proprio totale di conversazione. Questo conteggio include le conversazioni completate, incomplete o in corso. I valori delle dimensioni (o categorie) sono rappresentati come segmenti nel grafico a ciambella e come punti nel grafico andamento linee e. È possibile utilizzare questi valori per filtrare la vista del report, nonché i dati delle metriche personalizzate che è possibile scaricare in un file CSV. Nel grafico a ciambella, la lunghezza degli archi rappresenta le occorrenze del valore della dimensione come percentuale del numero totale di conversazioni. Il conteggio effettivo dei valori di dimensione viene tracciato dal grafico a linee. Sia gli archi che le linee di tendenza sono punti di accesso al report Conversazioni. Se si fa clic su una delle due opzioni, viene visualizzato il report Conversazioni filtrato in base al valore dimensione selezionato.

Nota

Le dimensioni e le categorie vengono visualizzate nel report solo quando si sono verificate le conversazioni da esse misurate.

Strumentare la competenza per le metriche personalizzate

Per generare il report Metriche personalizzate, è necessario definire una o più dimensioni utilizzando il componente Imposta metriche personalizzate, a cui è possibile accedere facendo clic su Variabili > Imposta metriche personalizzate o Variabili > Imposta metriche personalizzate approfondimenti nelle finestre di dialogo YAML.
Di seguito è riportata la descrizione di set-insights-component-dialog.png
Descrizione della figura set-insights-component-dialog.png

Se il report Metriche personalizzate non contiene dati, è probabile che non siano stati definiti stati Imposta metriche personalizzate o che le transizioni a questi stati non siano state impostate correttamente.

È possibile aggiungere gli stati Imposta metriche personalizzate ovunque si desideri tenere traccia di un valore di entità o di un'attività all'interno di un flusso di esecuzione.
Nota

È possibile definire fino a sei dimensioni per ogni skill.
A seconda della struttura dei flussi di dialogo e del caso d'uso, è possibile definire più dimensioni all'interno di un singolo stato Imposta metriche personalizzate o con diversi stati Imposta metriche personalizzate in un singolo flusso di dialogo o in più flussi.

Creazione di dimensioni per i valori delle variabili

È possibile tenere traccia dei valori delle entità impostando una transizione next a uno stato Imposta metriche personalizzate dopo lo stato di impostazione del valore (ad esempio, uno stato Risolvi sacchetto composto). Le dimensioni e i filtri nel report Imposta metriche personalizzate vengono visualizzati dalle dimensioni e dai valori delle dimensioni definiti dal componente Imposta metriche personalizzate.

Se lo stato di impostazione del valore fa riferimento a un'entità sacchetto composito, è possibile tenere traccia degli elementi sacchetto utilizzando un'espressione Freemarker Apache per definire il valore della dimensione. Ad esempio, il valore di una dimensione Dimensione pizza può essere definito come ${pizza.value.pizzaSize.value}. I singoli valori restituiti da questa espressione (piccola, media, grande) vengono visualizzati come segmenti di dati nel report Metriche personalizzate e possono essere applicati anche come filtri. Ad esempio, il report che deriva dalla strumentazione di un'abilità pizza suddivide gli ordini di pizza in base a dimensioni, tipo e pasta per pizza. Questi dettagli aggiunti completano le metriche già riportate per l'intento Order Pizza.
Di seguito è riportata la descrizione della metrica personalizzata example.png
Descrizione dell'immagine custom-metrics-example.png

A seconda della composizione e della complessità della definizione del flusso della finestra di dialogo, i valori dell'entità che si desidera registrare potrebbero non essere risolti nello stesso flusso della finestra di dialogo. In tali situazioni, potrebbe non essere possibile definire tutte le dimensioni con un unico stato Imposta metriche personalizzate. Sarà invece necessario aggiungere gli stati Imposta metriche personalizzate a parti diverse della definizione del flusso della finestra di dialogo o a flussi diversi.
Nota

Le dimensioni basate sul valore dell'entità vengono registrate nel report Metriche personalizzate solo dopo l'impostazione di un valore di entità. Se non è stato impostato alcun valore o se lo stato di impostazione del valore non passa allo stato Imposta metriche personalizzate, i grafici del report indicano i dati mancanti come <not set>.

Creazione di dimensioni che tengono traccia dell'uso delle competenze

Oltre alle dimensioni basate su valori variabili, è possibile creare dimensioni che tengono traccia non solo del modo in cui gli utenti interagiscono con lo skill, ma anche della sua efficacia complessiva. È possibile, ad esempio, aggiungere una dimensione che indichi con quale frequenza e perché gli utenti vengono trasferiti agli agenti attivi.
Di seguito è riportata la descrizione di custom-metrics-agent-transfer-example.png
Descrizione dell'immagine custom-metrics-agent-transfer-example.png

Dimensioni come queste ti informano dell'esperienza utente. È possibile aggiungere la stessa dimensione a diversi stati Imposta metriche personalizzate nei flussi. Ciascuno di questi stati Imposta metriche personalizzate definisce una categoria o un valore dimensione diversi. Ad esempio, esistono dimensioni Trasferimento agente in due flussi diversi: uno nel flusso Pizza ordine con il valore Nessun agente necessario quando lo skill completa correttamente un ordine e l'altro nel flusso UnresolvedIntent con il valore Input non valido che tiene traccia quando lo skill trasferisce gli utenti a un agente reale a causa di un input non risolto. Il report Metriche personalizzate registra i dati per queste metriche quando questi stati vengono inclusi in un flusso di esecuzione.

Stati metrica personalizzati per dimensione trasferimento agente Flusso Value Utilizzare
setInsightsCustomMetricsNoAgent Order Pizza (dalla transizione next dello stato Resolve Composite Bag, Nessun agente necessario Riflette il numero di conversazioni riuscite in cui gli ordini sono stati effettuati senza assistenza.
setInsightsCustomMaxErrors Ordinare Pizza (dalla transizione cancel dello stato Risolvi sacchetto composito) Numero massimo di errori Riflette il numero di conversazioni in cui gli utenti sono stati indirizzati agli agenti reali perché hanno raggiunto la m
setInsightsCustomMetricsBadInput UnresolvedIntent Input errato Riflette il numero di conversazioni in cui l'input non risolto ha determinato il trasferimento degli utenti a un agente reale.
setInsightsCustomMetricsLiveAgent Agente chiamata (prima della sequenza di avvio dell'agente) Agente richiesto Riflette il numero di conversazioni in cui gli utenti hanno richiesto un agente reale.

Esporta dati metriche personalizzate

Se si fa clic su Esporta, i dati delle metriche personalizzate vengono scaricati in un file CSV da utilizzare per l'analisi e la generazione di report non in linea. È possibile filtrare i dati scaricati nel file CSV in base ai valori della dimensione. Il file CSV scaricato contiene i seguenti campi.

Colonna descrizione;
CREATED_ON Data dell'esportazione dati.
USER_ID L'ID dell'utente skill.
SESSION_ID Identificativo della sessione corrente. Questo è un GUID casuale, che rende questo ID diverso da USER_ID.
BOT_ID L'ID skill assegnato allo skill al momento della creazione.
CUSTOM_METRICS Array JSON che contiene un oggetto per ogni dimensione metrica personalizzata. name è un nome dimensione e value è il valore dimensione acquisito dalla conversazione. [{"name":"Custom Metric Name 1","value":"Custom Metric Value"},{"name":"Custom Metric Name 2","value":"Custom Metric Value"},...] Ad esempio: [{"name":"Pizza Size","value":"Large"},{"name":"Pizza Type","value":"Hot and Spicy"},{"name":"Pizza Crust","value":"regular"},{"name":"Agent Transfer","value":"No Agent Needed"}].
QUERY L'espressione utente o la risposta skill che contiene un valore di metrica personalizzato.
CHOICES Le scelte di menu nei componenti dell'interfaccia utente.
COMPONENT Componente della finestra di dialogo, System.setCustomMetrics, (Imposta componente personalizzato nei flussi visivi) che esegue le metriche personalizzate.
CHANNEL Il canale che ha condotto la sessione.

Rivedi approfondimenti sugli intenti

È possibile trovare il numero totale di conversazioni complete e incomplete per ogni intento nel report Panoramica. Utilizzando il report Intenti, è possibile scoprire come il traffico degli utenti è fluito lungo i percorsi di esecuzione degli intenti e dove è stato bloccato da stati di malfunzionamento.
Nota

Questo report restituisce gli intenti definiti per uno skill in un determinato periodo di tempo, pertanto il relativo contenuto può essere modificato in modo da riflettere gli intenti aggiunti, rinominati o rimossi dallo skill in vari momenti.

Percorsi completati

Per le conversazioni completate, il report indica il numero di percorsi di esecuzione attraversati dagli utenti per completare queste conversazioni con statistiche sul tempo trascorso e sul numero di stati visitati.

È possibile utilizzare queste statistiche e come indicatori dell'esperienza utente. Ad esempio, è possibile utilizzare questo report per verificare se il tempo impiegato è appropriato per l'attività o se i percorsi più brevi comportano comunque un'esperienza utente attenuata, che potrebbe incoraggiare gli utenti a lasciare l'attività. Si potrebbe, ad esempio, introdurre un utente più rapidamente attraverso la skill inserendo valori con entità sacchetto composito invece di prompt e componenti di impostazione valore?

Per ulteriori informazioni sul contesto delle conversazioni completate:

Percorsi incompleti

Per le conversazioni incomplete, è possibile identificare gli stati lungo il percorso di esecuzione dell'intento in cui tali conversazioni sono terminate utilizzando il grafico a barre orizzontale Stati incompleti. Questo grafico, che esegue il rendering per gli intenti transazionali elencati nella barra di navigazione a sinistra, rappresenta la distribuzione delle conversazioni incomplete per stato, che può essere uno stato definito nel flusso della finestra di dialogo o uno stato interno che segna la fine di una conversazione, ad esempio System.DefaultErrorHandler. Utilizzandolo, è possibile scoprire se uno stato del flusso di una finestra di dialogo è un continuo punto di errore e le ragioni per cui (errori, timeout o input utente errato). Questo report non mostra i percorsi o la velocità per i percorsi incompleti perché non si applicano all'input dell'utente. Invece, il grafico a barre classifica ogni intento in base ai messaggi numerici che non potevano essere risolti in alcun intento o che avevano il potenziale di essere risolti (il che significa che il sistema potrebbe indovinare un intento), ma a cui è stato impedito di farlo a causa di bassi punteggi di affidabilità.
Nota

Il grafico Stati incompleti non visualizza gli intenti di risposta (intenti statici) nei flussi basati su YAML perché i relativi risultati sono supportati solo dallo stato del componente System.Intent e non da una serie di stati in una definizione del flusso della finestra di dialogo.
Nei flussi YAML, Insights considera le conversazioni come incomplete quando lo stato finale ha una transizione vuota (o implicita) ({}). Anche se lo skill gestisce correttamente la transazione, Insights classificherà comunque la conversazione come incompleta e lo stato finale sarà System.DefaultErrorHandler.
Per ulteriori informazioni sulle conversazioni incomplete per un intento:
  • Fare clic su Visualizza percorso per aprire il report Percorsi filtrato per le conversazioni incomplete per l'intento selezionato. Gli stati del terminale in questo percorso possono includere stati definiti nella finestra di dialogo o uno stato interno che segna la fine di una conversazione, ad esempio System.EndSession, System.ExpiredSession, System.MaxStatesExceededHandler e System.DefaultErrorHandler.

  • È possibile accedere alle trascrizioni delle conversazioni che hanno causato l'errore facendo clic su Visualizza conversazioni. Questa opzione consente di aprire il report Conversazioni filtrato per le conversazioni incomplete per l'intento selezionato. È possibile restringere ulteriormente i risultati applicando un filtro. Ad esempio, è possibile filtrare il report in base alle condizioni di errore.

unresolvedIntent

Oltre alla durata e agli instradamenti per gli intenti orientati ai task, il report Intenti restituisce anche i messaggi che non è stato possibile risolvere. Per visualizzare questi messaggi, fare clic su unresolvedIntent nella barra di navigazione a sinistra. Se si fa clic su un intento nel grafico a barre Previsioni più vicine, la finestra Messaggio non risolto viene aggiornata con i messaggi non risolti per l'intento ordinati in base a un punteggio di probabilità.

È possibile visualizzare il percorso e le conversazioni per questi messaggi non risolti mediante Percorso vista e Visualizza conversazioni, ma è anche possibile accedere ai messaggi non risolti tramite il report Trainer, in cui è possibile valutarli come possibili aggiunte ai dati di formazione. Se si fa clic su Ritraccia, viene visualizzato il report Retrainer filtrato in base ai messaggi non risolti.

Approfondimenti sui percorsi di revisione

Il report Percorsi consente di scoprire quante conversazioni sono passate attraverso i percorsi di esecuzione degli intenti per un determinato periodo. Questo report visualizza un percorso simile a una mappa di transito in cui le soste possono rappresentare gli intenti, gli stati definiti nella definizione del flusso della finestra di dialogo e gli stati interni che contrassegnano l'inizio e la fine di ogni conversazione non classificata come in corso.
Descrizione del percorso: report.png
Descrizione del percorso dell'immagine: report.png

È possibile scorrere questo percorso per vedere dove i valori inseriti dall'input dell'utente hanno spinto in avanti la conversazione e dove si è bloccata a causa di input utente errato, timeout risultanti da nessun input utente, errori di sistema o altri problemi. Mentre l'ultima tappa in un percorso completato è verde, per i percorsi incompleti in cui questi problemi sono sorti, è rosso. Attraverso questo report, è possibile scoprire dove il numero di conversazioni è rimasto costante attraverso ogni stato e individuare dove le conversazioni si sono ramificate a causa di valori impostati (o non impostati), o senza scadenza a causa di qualche altro problema come un componente personalizzato non funzionante o un timeout.

Esegui query su report percorsi

Il report Percorsi visualizza un percorso di esecuzione dell'intento in base ai parametri di query. È possibile eseguire una query su questo report per i percorsi di esecuzione completi e incompleti per uno o tutti gli intenti, impostare la lunghezza del percorso scegliendo uno stato finale e isolare parti dei percorsi di esecuzione escludendo gli stati di importanza secondaria. Ad esempio, è possibile considerare gli stati che impostano variabili o strumentano la competenza per le metriche personalizzate come stati "filler" che riducono l'attenzione dell'indagine.

Tutti i flussi di esecuzione vengono visualizzati per impostazione predefinita dopo l'immissione della query. La freccia verde Inizia Immagine dell'icona Inizia percorso. rappresenta System.BeginSession, lo stato di sistema che avvia ogni conversazione. L'icona System.Intent Icona System.Intent. può rappresentare intenti diversi, a seconda del filtro. Può fare riferimento a un intento specifico scelto come filtro oppure può rappresentare ogni intento definito per lo skill quando si filtra il report in base a Tutto (impostazione predefinita).

Per le conversazioni incomplete, il percorso può concludersi con uno stato interno, ad esempio System.ExpiredSession, System.MaxStatesExceededHandler o System.DefaultErrorHandler, che rappresenta l'errore che ha interrotto la conversazione.
Nota

Se lo stato finale di un flusso creato con YAML utilizza una transazione vuota (o implcit) ({}), Insights classificherà questo stato come stato System.DefaultErrorHandler e considererà la conversazione come incompleta, anche se la competenza ha gestito correttamente la transazione.
Facendo clic sullo stato finale viene visualizzato il pannello dei dettagli, che visualizza statistiche, errori, avvertenze e messaggi dell'utente finale.

Il report visualizza una risposta nulla per qualsiasi messaggio cliente vuoto (o non altrimenti in testo normale) o contenente input imprevisti. Per le risposte non di testo che sono azioni di postback, viene visualizzato il payload dell'azione più recente. Ad esempio:
{"orderAction":"confirm""system.state":"orderSummary"}
Se si fa clic su Visualizza conversazioni, viene visualizzato il report Conversazioni su cui è stata eseguita la query in base al percorso in modo da poter rivedere i messaggi che hanno concluso la conversazione nel contesto di una trascrizione.

Scenario: interrogazione del report di percorso

Guardando il report Panoramica per una competenza finanziaria, si nota che c'è un improvviso aumento nelle conversazioni incomplete. Aggiungendo i valori rappresentati dai segmenti arancioni "incompleti" dei grafici a barre impilati, si deduce che le conversazioni non riescono nei percorsi di esecuzione degli intenti Invia denaro e saldi dello skill.

Per analizzare ulteriormente gli errori degli intenti, aprire il report di percorso e immettere la prima query: filtrare per tutti gli intenti con un risultato incompleto. Il percorso viene visualizzato con due rami: uno che inizia con startPayments e termina con SystemDefaultErrorHandler e un secondo che inizia con startBalances e termina anche con System.DefaultErrorHandler. Se si fa clic sul nodo finale in uno dei due percorsi, viene visualizzato il riquadro dei dettagli che rileva il numero di errori e visualizza gli snippet dei messaggi utente ricevuti dalla competenza prima che si verifichino questi errori. Per visualizzare questi snippet nel contesto, fare clic su Visualizza conversazioni nel pannello dei dettagli per visualizzare la trascrizione. In tutte le conversazioni, lo skill è stato costretto a rispondere con prompt di errore imprevisto (Oops! Si è verificato un problema...) perché gli errori di sistema hanno impedito l'elaborazione della richiesta utente.

Per ulteriori informazioni sugli stati che causano questi errori e sui relativi possibili ruoli nel causare questi errori, fare riferimento alla definizione del flusso della finestra di dialogo per identificare gli stati che iniziano i percorsi di esecuzione per ciascuno degli intenti. Questi stati sono startBalances, startTxns, startPayments, startTrackSpending e setDate.

Confrontando i percorsi con la definizione del flusso della finestra di dialogo, si noti che nei flussi startPayments e startBalances l'ultimo stato visualizzato nel percorso precede uno stato che utilizza un componente personalizzato. Dopo aver controllato la pagina ComponentsImmagine dell'icona Componenti nella barra di navigazione a sinistra., il servizio è stato disabilitato e non è possibile recuperare le informazioni dell'account necessarie per completare le conversazioni.

Rivedere gli approfondimenti della conversazione sulle competenze

Il report Conversazioni consente di esaminare le trascrizioni effettive delle conversazioni per esaminare il modo in cui l'input dell'utente ha completato i percorsi correlati all'intento o il motivo per cui non è stato eseguito. È possibile filtrare le conversazioni per canale, per modalità (Voce, Testo, Tutto), Tipo (flusso intento o flusso LLM) e per periodo di tempo.

È possibile rivedere le trascrizioni delle conversazioni filtrando questo report in base agli intenti. È possibile aggiungere dimensioni quali la lunghezza e il risultato della conversazione, annotate come completate, incomplete o in corso. Se si desidera individuare il tipo di errore che ha contribuito a conversazioni incomplete, è possibile filtrare Risultato per Incompleto, quindi selezionare una delle categorie di errore (Timeout, Loop infiniti e Errori gestiti dal sistema) per il filtro Errori. Per le conversazioni con messaggi iniziati come voce ma finiti come testo, è inoltre possibile filtrare in base a Conversazioni attivate da switch.
Nota

Per un singolo intento, il report Conversazioni elenca le diverse conversazioni completate. Tuttavia, nei flussi di dialogo creati con YAML, complete può indicare elementi diversi a seconda del messaggio utente e della transizione return, che termina la conversazione e distrugge il contesto della conversazione. Per un intento OrderPizza, ad esempio, il report Conversazioni potrebbe mostrare due conversazioni completate correttamente. Solo uno di loro culmina in un ordine completato. Anche l'altra conversazione termina con successo, ma invece di soddisfare un ordine, gestisce l'input utente errato.

Visualizza storico delle conversazioni

Fare clic su Visualizza conversazione per aprire la conversazione nel contesto di una finestra di chat. Se si fa clic sull'icona del grafico a barre, vengono visualizzate le metriche vocali per l'interazione.
Di seguito è riportata la descrizione della conversazione vista window.png
Descrizione della conversazione vista illustrazione window.png

Visualizza metriche vocali

Se si fa clic su Visualizza metriche vocali, viene visualizzato un subset delle metriche delle voci calcolate in base alla media nell'intera conversazione. Per visualizzare queste metriche suddivise per interazioni vocali indirette, fare clic sull'icona del grafico a barre nella vista trascrizione a cui si accede facendo clic su Visualizza conversazioni.

Anonimizzazione informazioni di identificazione personale

I messaggi utente possono contenere informazioni di identificazione personale (PII), informazioni quali nome e cognome, numeri di telefono e indirizzi e-mail. Per proteggere la privacy degli utenti, ma preservare il contesto del messaggio, è possibile rendere anonimi i valori PII con un valore equivalente, anonimo, prima che vengano resi persistenti nel database. Questi anonimi vengono utilizzati in modo coerente all'interno di una sessione. Ad esempio, tutte le occorrenze di "Mario Rossi" in una conversazione verranno sostituite dall'anonimo "davis". In questo caso, davis, non John Smith, viene memorizzato nel database e viene visualizzato in tutti i log di esportazione e nei report Insights, ad esempio il report Convevrsations, Retrainer e la parola chiave phrase cloud.
Nota

I valori CURRENCY e DATE_TIME non vengono resi anonimi, anche se contengono numeri. Inoltre, il valore "one" nel prompt predefinito per un'entità sacchetto composito ("Selezionare un valore per...") viene reso anonimo come valore numerico. Per evitare questo problema, aggiungere un prompt personalizzato ("ad esempio, selezionare il valore a per...").
È possibile rendere anonimi i valori riconosciuti dalle seguenti entità di sistema:
  • PERSONA
  • NUMERO
  • E-mail
  • PHONE_NUMBER
  • URL
Nota

Abilita mascheramento è obsoleto nella release 21.12. Utilizzare l'anonimizzazione delle informazioni di identificazione personale invece per mascherare i valori numerici nei report Insights e nei log di esportazione. Non è possibile applicare l'anonimizzazione alle conversazioni registrate prima della release 21.12.

Abilita anonimizzazione informazioni personali

  1. Fare clic su Impostazioni > Generale.
  2. Attivare Abilita anonimizzazione PII.
  3. Fare clic su Aggiungi entità per selezionare i valori di entità che si desidera rendere anonimi nei report Insights e nei log.
    Nota

    I valori anonimizzati vengono resi persistenti nel database solo dopo aver abilitato l'anonimizzazione per i valori PII per le entità selezionate. Non vengono applicate a conversazioni precedenti. A seconda dell'intervallo di date selezionato per i report Insights o i file di esportazione, è possibile che i valori PII vengano visualizzati sia nei form effettivi che in quelli anonimi. Quando si crea un task di esportazione, è possibile applicare l'anonimizzazione a qualsiasi valore PII non anonimizzato, inclusi quelli nelle conversazioni che si sono verificate prima di abilitare l'anonimizzazione nelle impostazioni dello skill o dell'assistente digitale. Questi anonimi si applicano solo al file esportato e non vengono resi persistenti nel database.
    Se si desidera interrompere l'anonimizzazione per un valore PII o se non si desidera che venga utilizzato alcun anonimo, selezionare l'entità corrispondente, quindi fare clic su Elimina entità. Dopo aver eliminato un'entità, il valore PII effettivo viene visualizzato nei report Insights per le conversazioni successive. La sua forma anonima, tuttavia, rimarrà per le conversazioni precedenti.
    Nota

    L'anonimizzazione è permanente (nonostante l'anonimizzazione applicata al task di esportazione). Impossibile recuperare i valori PII dopo aver abilitato l'anonimizzazione.


Anonimizzazione PII nel file di esportazione

L'anonimizzazione in un file Insights esportato dipende dal fatto che (e quando) sia stata abilitata l'anonimizzazione delle informazioni personali per lo skill o l'assistente digitale in Impostazioni.

Quando si abilitano le impostazioni di anonimizzazione delle informazioni personali per lo skill o l'assistente digitale:
  • I valori PII riconosciuti per le entità selezionate vengono sostituiti con anonimi. Questi anonimi vengono resi persistenti nel database e sostituiscono i valori PII nei log e nei report Insights. Questa anonimizzazione viene applicata alle conversazioni che si verificano dopo - non prima - l'abilitazione dell'anonimizzazione in Impostazioni.
  • L'opzione Abilita anonimizzazione PII per l'opzione file per il task di esportazione è abilitata per impostazione predefinita per garantire che i valori PII riconosciuti per le entità selezionate in Impostazioni vengano applicati alle conversazioni che si sono verificate prima dell'impostazione dell'anonimizzazione PII. Gli anonimi applicati durante l'esportazione nelle conversazioni precedenti all'anonimizzazione delle informazioni personali esistono solo nel file di esportazione. I valori PII originali rimangono nel database, nei log Insights e nei report Insights.
  • Se si disattiva Abilita anonimizzazione PII per il file, verranno resi anonimi solo i valori PII riconosciuti per le entità selezionate in Impostazioni. I file di log conterranno gli anonimi per le conversazioni che si sono verificate dopo l'abilitazione delle impostazioni di anonimizzazione per lo skill o l'assistente digitale. Le conversazioni precedenti appariranno come espressioni originali e non modificate con i loro valori PII intatti. Di conseguenza, il file di esportazione può includere conversazioni anonime e non rese anonime se una parte dell'intervallo di date del task di esportazione è precedente all'anonimizzazione.
    Nota

    Se il task di esportazione include conversazioni anonime verificatesi prima della Release 22.04, gli anonimi applicati alle conversazioni precedenti alla release 22.04 verranno modificati o resi anonimi nei file di esportazione quando si seleziona Abilita anonimizzazione PII per il file per il task di esportazione. Gli anonimi nel file esportato non corrispondono agli anonimi nei file di esportazione precedenti alla versione 22.04 o agli anonimi visualizzati nei report Insights.
Quando si disabilitano o non si configurano le impostazioni di anonimizzazione delle informazioni personali per uno skill o un assistente digitale:
  • L'opzione Abilita anonimizzazione PII per il file verrà disabilitata per impostazione predefinita per il task di esportazione in modo che il file esportato conterrà tutte le espressioni originali non modificate, inclusi i valori PII.
  • Se si seleziona Abilita anonimizzazione PII per il file, i valori PII verranno resi anonimi nel file esportato solo per le entità predefinite, PERSON, EMAIL, URL e NUMBER. I valori PII rimarranno nel database, nei log e nei report Insights.

Applicare il Retrainer

I clienti possono utilizzare frasi diverse per richiedere la stessa richiesta. Quando questo input utente non può essere risolto in un intento (o è stato risolto in un intento errato), è possibile indirizzarlo all'intento corretto utilizzando il Retrainer. Per aiutarti, il Retrainer suggerisce un intento per l'input dell'utente. Poiché si sta aggiungendo input utente effettivo, è possibile migliorare le prestazioni dello skill con ogni nuova versione.
È possibile filtrare la cronologia delle conversazioni utilizzando uno o più dei seguenti elementi:
  • periodo
  • lingua: per la funzionalità multilingue abilitata tramite il supporto della lingua nativa o i servizi di traduzione. Per impostazione predefinita, il report filtra in base alla lingua principale.
  • intenti - Filtra abbinando i nomi dei due intenti di primo livello e utilizzando gli operatori di confronto per le loro proprietà correlate alla risoluzione, affidabilità e margine vincita.
  • canali: include il canale agente creato per le integrazioni di Oracle Service Cloud.
  • modalità testo o voce - Include conversazioni commutate.
Il report restituisce i primi due intenti per ogni espressione restituita insieme al margine di successo che li separa e, tramite un grafico a barre orizzontali, i relativi punteggi di affidabilità contrastanti. Il passaggio del mouse sulle barre rivela i punteggi effettivi. La linea orizzontale che si interseca con il grafico indica il punto in cui il punteggio ha superato o è inferiore alla soglia di affidabilità dello skill.

Aggiorna intenti con Retrainer

Ci sono alcune cose da tenere a mente quando aggiungi messaggi utente al tuo corpus di allenamento:
  • È possibile aggiungere solo input utente al corpus di formazione che appartiene a una versione bozza di uno skill e non a una versione pubblicata.
  • Non è possibile aggiungere alcun input utente già presente come espressione nel corpus di addestramento o che è già stato aggiunto utilizzando il Retrainer.
Per aggiornare un intento transazionale o una risposta utilizzando il Retrainer, effettuare le operazioni riportate di seguito.
  1. Poiché non è possibile aggiornare uno skill pubblicato, è necessario creare una versione bozza prima di poter aggiungere nuovi dati al corpus.

    Suggerimento

    Fare clic su Confronta tutte le versioni Immagine dell'icona Confronta tutte le versioni. oppure disattivare l'opzione Mostra solo le versioni più recenti per accedere sia alle versioni bozza che a quelle pubblicate dello skill.
    Se si sta esaminando una versione pubblicata dello skill, selezionare la versione bozza dello skill.
    Questa è un'immagine del menu a discesa Seleziona versione.

  2. Nella versione bozza dello skill, applicare un filtro, se necessario, quindi fare clic su Cerca.
  3. Selezionare il messaggio utente, quindi scegliere l'intento di destinazione dal menu Seleziona intento. Se lo skill supporta più lingue native, è possibile aggiungerlo al set di formazione appropriato per la lingua scegliendo tra le lingue disponibili nel menu Seleziona lingua.

    Suggerimento

    È possibile aggiungere espressioni a un intento su base individuale oppure selezionare più intenti, quindi selezionare l'intento di destinazione e, se necessario, una lingua dai menu Aggiungi a situati nella parte superiore sinistra della tabella. Se si desidera aggiungere tutte le richieste restituite a un intento, selezionare Utteranze (posizionate nella parte superiore destra della tabella), quindi scegliere l'intento e la lingua dal menu Aggiungi a.
  4. Fare clic su Aggiungi esempio.
  5. Ritirate l'abilità.
  6. Ripubblicare lo skill.
  7. Aggiornare l'assistente digitale con la nuova abilità.
  8. Monitorare il report Panoramica per verificare la presenza di modifiche alle metriche nel tempo e confrontare versioni diverse della competenza per scoprire se le nuove versioni sono state effettivamente aggiunte al successo complessivo della competenza. La ripetizione del processo di riqualificazione migliora la reattività dello skill per ogni nuova versione. Per le competenze integrate con Oracle Service Cloud Chat, ad esempio, la riqualificazione dovrebbe determinare una tendenza al ribasso nelle escalation, indicata da una tendenza al ribasso nell'uso degli intenti di trasferimento degli agenti.

Apprendimento automatico moderato

Impostando il filtro Attendibilità massima al di sotto della soglia di attendibilità impostata per lo skill oppure tramite il filtro predefinito Corrispondenze intenzionali unresolvedIntent, è possibile aggiornare il corpo dell'addestramento utilizzando la classificazione di attendibilità effettuata dal framework di elaborazione degli intenti. Ad esempio, se la ricerca unresolvedIntent restituisce "qualcuno ha usato la mia carta di credito", puoi assegnarla a un intento chiamato Contestazione. Questo è l'autoapprendimento moderato - migliorando la risoluzione dell'intento pur preservando l'integrità dell'abilità.

Ad esempio, i criteri di ricerca predefiniti per il report mostrano l'input casuale dell'utente che non può essere risolto al livello di attendibilità perché è inappropriato, fuori argomento o contiene errori ortografici. Facendo riferimento al grafico a barre, è possibile assegnare l'input dell'utente: è possibile rafforzare l'intento dell'abilità per la gestione degli intenti non risolti assegnando l'input costituito da elementi incomprensibili oppure è possibile aggiungere voci con ortografia errata all'intento appropriato orientato alle attività ("invia moneey" ad esempio a un intento Invia denaro). Se la tua abilità ha un intento di benvenuto, ad esempio, puoi assegnare messaggi irriverenti e off-topic a cui la tua abilità può restituire una gioia come: "Non lo so, ma posso aiutarti a ordinare alcuni fiori".

Supporto ai servizi di traduzione

Se lo skill utilizza un servizio di traduzione, il Retrainer visualizza i messaggi utente nella lingua di destinazione. Tuttavia, il Retrainer non aggiunge messaggi tradotti al corpus di addestramento. Li aggiunge invece in inglese, la lingua accettata del modello di formazione. Facendo clic su Immagine dell'icona Mostra traduzione. viene visualizzata la versione inglese che può essere potenzialmente aggiunta al corpus. Ad esempio, se si fa clic su questa icona per contester (francese), viene visualizzata la contestazione (inglese).

Creare job di Data Manufacturing

Anziché assegnare le espressioni agli intenti personalmente, è possibile raggruppare il task creando job Annotazione intento e Convalida intento. Non è necessario compilare i log delle conversazioni in un file CSV per creare questi job. In alternativa, fare clic su Crea, quindi su Mansione di Data Manufacturing.
Immagine dell'opzione Crea nel report Retrainer.
Scegliere il tipo di job per l'input utente filtrato nel report Retrainer. Ad esempio, è possibile creare un job Annotazione intento da un report filtrato in base all'intento superiore corrispondente a unresolvedIntent oppure creare un job Convalida intento da un report filtrato in base a espressioni corrispondenti a un intento.
Descrizione di retrainer-data-manufacturing-job-dialog.png
Descrizione dell'immagine retrainer-data-manufacturing-job-dialog.png

Suggerimento

Utilizzando le opzioni Seleziona espressioni, è possibile scegliere tutti i risultati restituiti dal filtro applicato al Retrainer per il job di data manufacturing oppure creare un job da un subset di questi risultati che può includere un campionamento casuale delle espressioni. Se si seleziona Escludi espressioni da job precedenti, le espressioni selezionate per un job di Data Manufacturing precedente non saranno più disponibili per i job successivi: le espressioni incluse in un job di Annotazione intento, ad esempio, non saranno disponibili per un job di Annotazione intento successivo. Utilizzare questa opzione quando si creano più job per rivedere un grande set di risultati.
Dopo aver creato la mansione, viene visualizzata nella pagina Job di Data Manufacturing, in cui è possibile distribuirla ai lavoratori presenti condividendo il collegamento.

Crea una suite di test

Analogamente ai job di data manufacturing derivanti dai risultati sottoposti a query nel report Retrainer, è inoltre possibile creare casi di test dalle espressioni restituite dalla query. Per aggiungere una suite di questi casi di test al tester Utterance, fare clic su Crea, quindi su Suite di test.
Questa è un'immagine dell'opzione Test Suite.
È possibile filtrare le espressioni per la suite di test utilizzando le opzioni Seleziona espressioni nella finestra di dialogo Crea suite di test. È possibile includere tutte le espressioni restituite dal filtro applicato al Retrainer nella suite di test oppure un sottoinsieme di questi risultati che può includere un campionamento casuale delle espressioni. Selezionare Includi tag lingua per assicurarsi che la lingua associata a un caso di test rimanga invariata durante il test.
Di seguito è riportata la descrizione di create-test-suite-dialog-insights.png
Descrizione dell'immagine create-test-suite-dialog-insights.png

Per accedere alla suite di test completata, fare clic su Vai ai casi di test nel tester Utterance.

Rivedi uso lingua

Per una competenza multilingue, è possibile confrontare l'utilizzo delle relative lingue supportate tramite i segmenti del grafico Lingue. Ogni segmento rappresenta una lingua attualmente in uso.
Descrizione delle lingue-diagramma-panoramica-skill.png segue
Descrizione dell'immagine language-chart-overview-skill.png
Se si desidera rivedere le conversazioni rappresentate da una lingua nel grafico, è possibile fare clic su un segmento o sulla legenda per espandere il report conversioni, filtrato in base alla lingua selezionata.
Di seguito è riportata la descrizione delle conversazioni-report-filtered-by-language.png
Descrizione delle conversazioni dell'immagine-report-filtered-by-language.png

Esporta dati approfondimenti

I vari report Insights forniscono prospettive diverse, ma se è necessario visualizzare questi dati in un altro modo, è possibile creare il proprio report da un file CSV di dati Insights esportati.

I file CSV contengono campi per messaggi utente e skill, tipi di componente e stati, descritti in Campi log esportazione. Puoi scrivere uno script di elaborazione per filtrare questo contenuto o semplicemente utilizzare un'app per fogli di calcolo. Rivedere i log di esportazione descrive alcuni approcci comuni per filtrare i file.
Nota

I dati possono essere distribuiti in una serie di file CSV quando il task di esportazione restituisce più di 1.048.000 righe. In questi casi, il file ZIP conterrà una serie di file ZIP, ciascuno contenente un file CSV.
La pagina Esportazioni elenca i task per:
  • Nome: il nome del task di esportazione.
  • Ultima esecuzione: la data dell'ultima esecuzione del task.
  • Creato da: il nome dell'utente che ha creato il task.
  • Stato esportazione: Inviato, In corso, Non riuscito, Nessun dato (quando non sono presenti dati da esportare nell'intervallo di date definito per il task) o Completato, un collegamento ipertestuale che consente di scaricare i dati esportati come file CSV. Passando il puntatore del mouse sullo stato Non riuscito viene visualizzato un messaggio esplicativo.
Nota

Alla versione corrente dello skill viene applicato un task di esportazione.

Crea task di esportazione

  1. Aprire la pagina Esporta, quindi fare clic su + Esporta.
  2. Inserire un nome per il report, quindi inserire un intervallo di date.
  3. Fare clic su Abilita anonimizzazione PII per il file esportato per sostituire i valori PII (Personally Identifiable Information) con gli anonimi nel file esportato. Questi anonimi esistono solo nel file esportato se PII non è abilitato nelle impostazioni dello skill. In questo caso, i valori PII, non i relativi equivalenti anonimi, vengono comunque memorizzati nel database e visualizzati nei log Insights esportati e nei report Insights, inclusi il report Conversazioni, Retrainer e le frasi chiave nel word cloud. Se le informazioni personali sono state abilitate nelle impostazioni delle competenze, i log e i report Insights conterranno anonimi.
    Nota

    L'anonimizzazione PII abilitata per le impostazioni dello skill o dell'assistente digitale determina il modo in cui i valori PII vengono resi anonimi nel file di esportazione e contribuisce anche alla coerenza dell'anonimizzazione nel file di esportazione.
  4. Fare clic su Esporta.
  5. Quando il task ha esito positivo, fare clic su Completato per scaricare un file ZIP del file CSV (o CSV per esportazioni di grandi dimensioni). Il nome del file CSV di esportazione a livello di skill inizia con B_. I nomi file per le esportazioni a livello di assistente digitale iniziano con D_.
Di seguito la descrizione degli approfondimenti-export-dialog.png
Descrizione dell'immagine insights-export-dialog.png

Revisione dei log di esportazione

Ecco alcuni dei campi su cui probabilmente ti concentrerai più spesso. In Campi log esportazione vengono descritti tutti i campi. Filtrare i dati degli approfondimenti esportati descrive alcuni approcci per l'ordinamento dei dati.
  • BOT_NAME contiene il nome dello skill o il nome dell'assistente digitale. È possibile utilizzare questa colonna per vedere come la finestra di dialogo viene instradata dal sistema digitale agli skill (e tra gli skill).
  • CHANNEL_SESSION_ID memorizza l'ID sessione canale. È possibile utilizzare tale ID insieme alla terza colonna, CHANNEL_ID, per creare un tipo di identificativo univoco per la sessione. Poiché le sessioni possono scadere o terminare, è possibile utilizzare questo identificativo per scoprire se la sessione è cambiata.
  • TIMESTAMP indica la cronologia o la sequenza in cui si sono verificati gli eventi. In genere, si ordina in base a questa colonna.
  • USER_UTTERANCE e BOT_RESPONSE contengono la conversazione effettiva tra lo skill e il relativo utente. Questi due campi rendono facilmente visibile l'interleafing dei messaggi utente e skill quando si esegue l'ordinamento in base al TIMESTAMP.

    È possibile che esistano espressioni duplicate nella colonna USER_UTTERANCE. Questo può accadere quando il test utente viene eseguito sulla stessa istanza, ma è più probabile che sia perché l'espressione viene utilizzata in diverse parti della conversazione.

  • Per eseguire il debug del flusso della finestra di dialogo, è possibile utilizzare COMPONENT_NAME, CURR_STATE e NEXT_STATE.

Filtrare i dati degli approfondimenti esportati

In genere, i log vengono ordinati in base alla colonna TIMESTAMP per visualizzare la sequenza degli eventi. Per altre prospettive, ad esempio la conversazione skill-utente, è possibile filtrare le colonne in base agli stati interni generati dal sistema. Le tecniche di filtraggio comuni includono:
  • Ordinamento della conversazione di skill e assistente digitale: quando un'esportazione contiene sia i dati di un assistente digitale che le relative competenze registrate, il contenuto del campo BOT_NAME potrebbe sembrare confuso, poiché la conversazione sembra saltare arbitrariamente tra le diverse competenze e tra le competenze e l'assistente digitale. Per visualizzare la finestra di dialogo nella sequenza corretta (e nel contesto), la colonna TIMESTAMP in ordine crescente.
  • Trovare i limiti della conversazione: utilizzare il campo System.BeginSession e uno degli stati del terminale per trovare l'inizio e la fine di una conversazione. Le conversazioni iniziano con uno stato System.BeginSession. Possono terminare con uno dei seguenti stati terminali:
    • System.EndSession
    • System.ExpiredSession
    • System.MaxStatesExceededHandler
    • System.DefaultErrorHandler
  • Revisione della conversazione utente-skill effettiva: per isolare il contenuto delle colonne USER_UTTERANCE e BOT_RESPONSE, filtrare la colonna CURR_STATE in base agli stati generati dal sistema System.MsgReceived e System.MsgSent
    Nota

    Una risposta messaggio non di testo, ad esempio gli stati delle entità di risoluzione, l'output skill sarà costituito da risposte parziali unite da un carattere di nuova riga.
    A volte parti della finestra di dialogo delle competenze utente possono essere ripetute nelle colonne USER_UTTERANCE e BOT_RESPONSE. Il testo dell'utente viene ripetuto quando esiste una transizione automatica che non richiede l'input dell'utente. Le risposte skill vengono ripetute se lo stato successivo è uno degli stati terminale, ad esempio System.EndSession o System.DefaultErrorHandler.
  • Revisione della sola esecuzione del flusso della finestra di dialogo con la finestra di dialogo competenze utente: per visualizzare le transazioni interne o solo i messaggi non di testo, è necessario filtrare gli stati System.MsgReceived e System.MsgReceived dalla colonna CURR_STATE (approccio opposto alla visualizzazione solo della finestra di dialogo).
  • Identificazione di una sessione: confrontare i valori in CHANNEL_SESSION_ID e SESSION_ID (che sono uno accanto all'altro).

Campi log esportazione

Il file CSV esportato per uno skill include i campi riportati di seguito.
Nome colonna descrizione; Valore di esempio
BOT_NAME Il nome della capacità PizzaBot
CHANNEL_SESSION_ID L'ID di un utente per il valore session.This identifica una nuova sessione. Una modifica di questo valore indica che la sessione è scaduta o è stata reimpostata per il canale. 2e62fb24-8585-40c7-91a9-8adf0509acd6
SESSIONID Identificativo della sessione corrente. Questo è un GUID casuale, che rende questo ID diverso da CHANNEL_SESSION_ID o USER_ID. Una sessione indica che uno o più percorsi di esecuzione dell'intento sono stati interrotti da una transizione return esplicita nella definizione dello stato o da un ritorno implicito inserito da Dialog Engine. 00cbecbb-0c2e-4749-bfa9-c1b222182e12
TIMESTAMP L'indicatore orario "creato il". Utilizzato per l'ordinamento cronologico o la sequenza di eventi. 14-SEP-20 01.05.10.409000 PM
USER_ID L'ID utente 2880806
DOMAIN_USERID Si riferisce al USER_ID. 2880806
PARENT_BOT_ID L'ID dello skill o dell'assistente digitale. Quando una conversazione viene attivata da un assistente digitale, si riferisce all'ID dell'assistente digitale. 9148117F-D9B8-4E99-9CA9-3C8BA56CE7D5
ENTITY_MATCHES Identifica i valori degli elementi del sacchetto composito corrispondenti nella prima espressione risolta in un intento. Se il primo messaggio di un utente è "Ordina una pizza di grandi dimensioni", questa colonna conterrà la corrispondenza per l'articolo PizzaSize all'interno dell'entità sacchetto composito, Pizza:
{"Pizza":[{"entityName":"Pizza","PizzaSize":["Large"]}]}
Qualsiasi altro valore di elemento nei messaggi utente successivi non viene tracciato. Pertanto, se il messaggio successivo di un utente include un valore PizzaType, non verrà incluso nel file di esportazione. Se prima un utente inserisce "Ordina una pizza" e poi, dopo che l'intento è stato risolto, aggiunge un messaggio di follow-up con un valore di entità per l'elemento PizzaSize ("fai in modo che sia grande"), un valore nullo viene registrato nella colonna ENTITY_MATCHES, perché il messaggio iniziale risolto nell'intento non contiene alcun valore di elemento.

Quando si abilita l'anonimizzazione PII, viene restituito un oggetto vuoto ({}).

{"Pizza":[{"entityName":"Pizza","PizzaType":["CHEESE BASIC"],"PizzaSize":["Large"]}]}
PHRASE L'interpretazione ODA dell'input utente large thin pizza
INTENT_LIST Classificazione degli intenti candidati, espressa come oggetto JSON. [{"INTENT_NAME":"OrderPizza","INTENT_SCORE":0.4063},{"INTENT_NAME":"OrderPasta","INTENT_SCORE":0.1986}]

Per le esportazioni assistenti digitali, questa è una classifica di competenze che sono state chiamate attraverso l'assistente digitale. Ad esempio: [{"INTENT_NAME":"Pizza_For_DA_Starter-1.2","INTENT_SCORE":0.931},{"INTENT_NAME":"Retail_for_DA_Starter-1.1","INTENT_SCORE":0.0996},{"INTENT_NAME":"Finance_for_DA_Starter-1.1-DA","INTENT_SCORE":0.0925}]

BOT_RESPONSE Le risposte fatte dall'abilità in risposta a qualsiasi espressione dell'utente. How old are you?
USER_UTTERANCE L'input dell'utente. 18
INTENT L'intento selezionato dallo skill per elaborare il conversation.This elenca l'intento principale dall'elenco di intenti considerati come possibilità per la conversazione. OrderPizza
LOCALE Impostazioni nazionali utente en-US
COMPONENT_NAME Il componente (sistema o personalizzato), eseguito nello stato corrente. È possibile utilizzare questo campo insieme ai valori CURR_STATE e NEXT STATE per eseguire il debug della finestra di dialogo flow.There sono altri valori nella colonna COMPONENT_NAME che non sono componenti:
  • ODA.Routing: indica che è in corso la registrazione di un evento.
  • __NO_COMPONENT__: nessun componente definito per lo stato. La colonna non può contenere un valore se non è stato definito alcun componente per lo stato.
AgeChecker
CURR_STATE Stato corrente della conversazione, utilizzato per determinare l'origine del messaggio. Questo campo contiene i nomi degli stati definiti nella definizione del flusso della finestra di dialogo insieme agli stati generati dal sistema. È possibile filtrare il file CSV in base a questi stati, che includono System.MsgRecieved per i messaggi utente e System.MsgSent per i messaggi inviati dallo skill o dagli agenti per le integrazioni del servizio clienti. checkage

NEXT_STATE Stato successivo nel percorso di esecuzione. Le transizioni di stato nella definizione del flusso della finestra di dialogo indicano lo stato successivo nel percorso di esecuzione. crust
Language La lingua utilizzata durante la sessione. fr
SKILL_VERSION La versione dell'abilità 1.2
INTENT_TYPE Indica se l'intento è transazionale (TRANS) o un intento di risposta (STATIC) STATIC
CHANNEL_ID Identifica il canale su cui è stata condotta la conversazione. Questo campo, insieme a CHANNEL_SESSION_ID, descrive una sessione. AF5D45A0EF4C02D4E053060013AC71BD
ERROR_MESSAGE Messaggio di errore restituito. Session expired due to inactivity.
INTENT_QUERY_TEXT Input inviato al server degli intenti per la classificazione. Il contenuto di INTENT_QUERY_TEXT e USER_UTTERANCE è lo stesso quando l'input dell'utente si trova in una delle lingue native, ma è diverso quando l'input dell'utente si trova in una lingua non supportata in modo nativo, quindi viene gestito da un servizio tradotto. In questo caso, il INPUT_QUERY_TEXT è in inglese.  
TRANSLATE_ENABLED Indica se viene utilizzato un servizio di traduzione. NO
SKILL_SESSION_ID ID sessione 6e2ea3dc-10e2-401a-a621-85e123213d48
ASR_REQUEST_ID Un campo chiave univoco che identifica ogni input vocale, ovvero l'ID della richiesta vocale. La presenza di questo valore indica che l'input è un input vocale. cb18bc1edd1cda16ac567f26ff0ce8f0
ASR_EE_DURATION Durata di un'espressione vocale singola all'interno di una finestra di conversazione. 3376
ASR_LATENCY Latenza vocale, misurata in millisecondi. Mentre il riconoscimento vocale richiede un gran numero di calcoli, la larghezza di banda della memoria e la capacità della batteria sono limitate. Ciò introduce la latenza dal momento in cui un input vocale viene ricevuto al momento della trascrizione. Inoltre, le implementazioni basate su server aggiungono latenza a causa del round trip. 50
ASR_RTF una metrica standard di prestazioni nel sistema di riconoscimento vocale. Se l'elaborazione di un input di durata {I} richiede tempo {P}, il fattore in tempo reale viene definito come: RTF = \frac{P}{I}. Il rapporto tra il tempo impiegato per elaborare l'input audio e il tempo della CPU. Ad esempio, se l'elaborazione di un secondo di audio richiede un secondo di tempo CPU, l'RTF è 1 (1/1). L'RTF per 500 millisecondi per elaborare un secondo di audio è .5 o 1⁄2 . 0.330567
CONVERSATION_ID ID conversazione 906ed6bd-de6d-4f59-a2af-3b633d6c7c06
CUSTOM_METRICS Array JSON che contiene un oggetto per ogni dimensione metrica personalizzata. name è un nome di dimensione e value è il valore restituito. Questa colonna è disponibile per le versioni 22.02 e successive.
[{"name":"Order Sizes","value":"a box of 3 bottles"},{"name":"Wine Types","value":"red wine"},{"name":"Most Popular","value":"Pinot noir"}]

Stati interni

Nome stato descrizione;
System.MsgReceived Evento ricevuto da un messaggio che viene attivato in Insights quando uno skill riceve un messaggio di testo da un'origine esterna, ad esempio un utente o un altro skill.
System.MsgSent Messaggio inviato che viene attivato per Insights quando uno skill risponde a un'origine esterna, ad esempio un utente o un altro skill.

Per ogni evento System.MsgReceived possono esistere zero, uno o più eventi System.MsgSent corrispondenti.

System.BeginSession Un evento System.BeginSession viene inviato come indicatore per l'avvio della sessione quando:
  • Non è stato ancora eseguito alcuno stato della finestra di dialogo.
  • Il primo stato della finestra di dialogo sta per essere attivato.
System.EndSession Un evento System.EndSession viene acquisito come indicatore per l'interruzione della sessione quando lo stato corrente non ha generato errori non gestiti e ha una transizione return, che indica che non ci sarà un altro stato della finestra di dialogo da eseguire. L'evento System.EndSession può essere registrato anche quando lo stato corrente ha:
  • Transizione error per la gestione di un errore.
  • L'indicatore di conversazione insightsEndConversation: true.
System.ExpiredSession (Error type: "systemHandled") Timeout di una sessione. Il timeout predefinito è un'ora.

Quando una conversazione si interrompe per più di un'ora, viene attivata la scadenza della sessione. La scadenza della sessione viene acquisita come due eventi separati in Insights. Il primo evento è lo stato inattivo, lo stato nel flusso della finestra di dialogo in cui si è interrotta la comunicazione utente. Il secondo è l'evento System.ExpiredSession interno.

System.DefaultErrorHandler L'handler di errori predefinito viene eseguito quando non viene definita alcuna gestione degli errori nel flusso della finestra di dialogo, a livello globale (ad esempio il nodo defaultTransitions nei flussi basati su YAML) o a livello di stato con transizioni error. Quando il flusso della finestra di dialogo include transizioni error, viene attivato un evento System.EndSession.
System.ExpiredSessionHandler L'evento System.ExpiredSessionHandler viene generato se un messaggio viene inviato da un sistema esterno o da un utente alla competenza dopo la scadenza della sessione. Ad esempio, questo evento viene attivato quando un utente interrompe la chat con lo skill a metà conversazione, ma invia un messaggio dopo aver lasciato aperta la finestra di chat per più di un'ora.
System.MaxStatesExceededHandler Questo evento viene generato se vengono attivati più di 100 stati di finestra di dialogo nell'ambito di un singolo messaggio utente.

Esercitazione: Usa Oracle Digital Assistant Insights

Applica i report Insights (incluso il Retrainer) con questa esercitazione: Usa Oracle Digital Assistant Insights.