Report qualità skill

I rapporti Qualità skill consentono di fare rapidamente il punto degli intenti e delle espressioni in tutte le versioni dello skill.

È possibile utilizzare i seguenti report (a cui è possibile accedere facendo clic su Immagine dell'icona Qualità. nella barra di navigazione a sinistra) durante tutto il processo di sviluppo delle competenze:
  • Report di panoramica: le metriche e i grafici di questo report consentono di valutare rapidamente le dimensioni e la forma dei dati di formazione suddividendo ciascuno degli intenti dello skill per il numero di espressioni disponibili. È possibile utilizzare questo report man mano che il set di dati cresce durante tutto il processo di sviluppo per assicurarsi che il numero di intenti, il numero di espressioni per intento e il conteggio delle parole per ogni espressione siano sempre conformi alle nostre linee guida.
  • The Report - Raggruppa gli intenti in base a anomalie, espressioni che potrebbero essere inappropriate per il loro intento perché non rientrano nell'ambito di applicazione o non sono etichettate in modo corretto o sono potenzialmente applicabili ma difficili da classificare perché non sono corrette.

Rapporto Panoramica qualità skill

Le metriche e i grafici del report sulla qualità delle competenze consentono di fare rapidamente il punto o i dati di formazione analizzando ciascuno degli intenti dello skill il numero di espressioni disponibili. Questa relazione consente di mantenere una distribuzione equilibrata delle espressioni tra gli intenti. Puoi usarlo durante il tuo processo di sviluppo per assicurarti che il tuo corpus rispetti le nostre linee guida per il numero di intenti, il numero di espressioni per intento e il conteggio delle parole per ogni enunciato. Questo rapporto può dirvi a colpo d'occhio se:
  • Lo skill ha un minimo di due intenti, ma non ha superato il numero consigliato di 300 intenti.
  • La tua formazione non supera i 25.000 discorsi.
  • Ogni intento ha un minimo di due espressioni (con il minimo raccomandato di 12 espressioni per fornire una formazione prevedibile).
  • La lunghezza media delle espressioni è compresa tra tre e 30 parole.
Nota

Questo report tiene traccia degli intenti abilitati.

Come utilizzare il report Panoramica

Il report Panoramica fornisce viste dei dati di formazione.
  • Vista di alto livello dei dati di formazione mediante il grafico a barre e le metriche di intenti per conteggio, che includono il numero totale di intenti e espressioni in tutte le versioni dello skill. Utilizzando il grafico a barre e le metriche, puoi scoprire cosa significano questi totali in termini di bilanciamento o squilibrio del tuo set di allenamento. Ad esempio, il grafico del report, insieme alla disparità tra i totali di intento più grande e intento più piccolo, potrebbe indicare un set di addestramento guidato, in cui è necessario aggiungere dati per colmare il divario tra l'intento più grande e quello più piccolo.

    Parametro Descrizione e uso
    Intenti Il numero totale di intenti in tutte le versioni dello skill. Utilizzare questa metrica per scoprire se questa abilità ha superato il massimo consigliato di 300 intenti.
    Termini Il numero totale di espressioni in tutti gli intenti. Utilizzare questa metrica per determinare le dimensioni effettive del set di formazione.
    Intento più grande L'intento con le più espressioni. Confrontare questo totale con la metrica Media espressioni per intento.
    Intento più piccolo L'intento con il minor numero di espressioni. Potrebbe essere necessario aggiungere espressioni se questo totale è molto inferiore a Media espressioni per intento.
    Media espressioni per intento Numero medio di espressioni in tutti gli intenti. Utilizzare questa metrica per scoprire se si stanno fornendo dati sufficienti al set di formazione.
    Lunghezza media La lunghezza totale dell'intero set di allenamento. Confrontare questa metrica con la metrica Lunghezza massima media per un intento per scoprire se il conteggio delle parole delle espressioni ha un impatto negativo sul modello perché è troppo alto o troppo basso.
    Lunghezza minima La parola più breve nel set di allenamento. Utilizzare questa metrica per scoprire se una qualsiasi delle espressioni nel set di addestramento contiene un numero eccessivo di parole (meno di tre), il che potrebbe influire negativamente sulle prestazioni del modello.
    Lunghezza massima La voce più lunga nel set di allenamento. Utilizzare questa metrica per trovare espressioni lunghe (30 o più parole) che potrebbero influire negativamente sulle prestazioni del modello.
    Intento risposta Numero di intenti risposta nel set di formazione. Utilizzare questa metrica per confrontare il numero di intenti risposta con intenti normali (o transazionali).
    Nota

    Le metriche Lunghezza minima, Lunghezza massima e Lunghezza media e le relative avvertenze si riferiscono alle competenze della lingua nativa e non alle competenze che utilizzano i servizi di traduzione.
    Il report contrassegna le aree con problemi con avvertenze. Passando sopra un avvertimento si apre un messaggio diagnostico, che mette l'espressione o l'intento problematico nel contesto delle nostre linee guida di intenti e espressioni e suggerisce azioni correttive.
    Immagine di un messaggio di avvertenza.

    Suggerimento

    I messaggi di avvertenza a cui si accede dalle metriche forniscono un collegamento alla pagina Intento.
    Questi messaggi vengono visualizzati anche nel riquadro Problemi intenti.

  • Ripartizione dell'addestramento impostato su base per intento. Il report include una tabella che elenca gli intenti in base alla lingua (per le competenze multilingue), al conteggio delle espressioni e alla lunghezza media, minima e massima delle parole. Per visualizzare gli ultimi tre totali nel contesto del set di formazione globale, confrontarli con le metriche Lunghezza media, Lunghezza minima e Lunghezza massima.

    Come per le metriche di alto livello, il report contrassegna gli intenti problematici con messaggi di avvertenza. Un'avvertenza Immagine dell'icona Avvertenza. nei problemi indica che l'intento è carente in alcuni aspetti della lunghezza dell'espressione. Se si fa clic sull'avvertenza corrispondente Immagine dell'icona di avvertenza. nelle colonne Lunghezza media di Utterance, Lunghezza massima di Utterance in Words o Lunghezza minima di Utterance in Words, viene visualizzato un messaggio di diagnostica. È possibile applicare l'azione correttiva suggerita dal messaggio direttamente all'intento facendo clic sul collegamento nella colonna Intento.
    Di seguito è riportata la descrizione di intent-issues-table.png
    Descrizione dell'immagine intento-problemi-table.png

Report anomalie qualità skill

Come il rapporto Panoramica, questo rapporto scompone gli intenti per espressioni. Le affermazioni contenute in questo rapporto, tuttavia, sono anomalie, espressioni che potrebbero essere inappropriate per il loro intento perché sono fuori portata o etichettate in modo errato, o sono potenzialmente applicabili ma uniche. Le anomalie possono rendere sfocati i confini tra gli intenti, in particolare se hai esteso la tua abilità per coprire nuovi domini o hai suddiviso un grande intento in intenti più piccoli.

Come utilizzare il report sulle anomalie

Questo report non solo classifica gli intenti in base alle anomalie, ma classifica anche le anomalie stesse in base alla loro differenza rispetto alle altre espressioni nel set di formazione.
Di seguito è riportata la descrizione delle anomalie-intent-breakdown.png
Descrizione dell'immagine anomalie-intento-breakdown.png

È possibile ordinare le anomalie in questo elenco sia per severità che per intento. È possibile filtrare le anomalie in base all'intento, alle parole o alle frasi nelle espressioni e per un'abilità multilingue, per lingua.

Per sapere dove (o se) un'affermazione appartiene al proprio set di formazione, fare clic su Visualizza simile nell'elenco per visualizzarla nel report Informazioni simili.
Segue la descrizione dell'immagine anomalies-list.png
Descrizione delle anomalie dell'illustrazione - list.png

Come il report Attenzioni simili utilizzato nel Tester di pertinenza, questo report classifica le altre espressioni nel set di formazione rispetto all'espressione selezionata. In questo caso, tuttavia, l'espressione non è una frase di prova, ma un'espressione anomala che è già nel set di allenamento.
Segue la descrizione dell'immagine similar-utterance-report-anomalies.png
Descrizione dell'illustrazione similar-utterance-report-anomalies.png

In base alla relazione dell'anomalia con le altre espressioni del report, è possibile che l'espressione sia semplicemente classificata erroneamente o non pertinente alla competenza. Altre anomalie, tuttavia, possono essere anomale solo per le altre espressioni in quanto sono richieste implicite – stanno ponendo le stesse domande degli altri dati di formazione, ma in un modo diverso. Ad esempio, "Non riesco ad accedere al mio account" potrebbe essere valutato come un'anomalia per un intento di trasferimento agente le cui espressioni di formazione si raggruppano attorno a richieste più semplici come "Devo parlare con un agente reale". L'aggiunta di espressioni simili aggiungerà profondità al modello.

In generale, l'approccio per l'utilizzo di questo report è:
  1. Eseguire il report.
  2. Selezionare un'espressione, quindi fare clic su Visualizza simile.
  3. Nella finestra di dialogo Visualizza simile, valutare l'espressione dell'intento.
    • Se l'espressione appartiene all'intento, aggiungi espressioni simili.
    • Se l'espressione è classificata in modo errato, assegnarla a un altro intento.
    • Se l'espressione non appartiene al set di addestramento, eliminarla.
  4. Ritirate l'abilità.