1. Fare clic su + Aggiungi entità.
2. Completare la finestra di dialogo Crea entità. Tenere presente che il nome e la descrizione vengono visualizzati nelle pagine del crowd worker per le mansioni con annotazione entità.
   • Immettere un nome che identifichi il contenuto annotato. Un nome univoco aiuta i crowd worker.
   • Immettere una descrizione. Sebbene si tratti di una proprietà facoltativa, i crowd worker la utilizzano, insieme alla proprietà Name, per differenziare le entità.
   • Scegliere Entità ML dalla lista.
3. Attivare Escludi corrispondenze entità di sistema quando le annotazioni di formazione contengono nomi, posizioni, numeri o altri contenuti che potrebbero potenzialmente scontrarsi con i valori delle entità di sistema. L'impostazione di questa opzione impedisce al modello di estrarre i valori delle entità di sistema all'interno dell'input risolto in questa entità ML. Applica un limite attorno a questo input in modo che il modello lo riconosca solo come valore di entità ML e non lo analizzi ulteriormente per i valori di entità di sistema. È possibile impostare questa opzione per le entità sacchetto composito che fanno riferimento a entità ML.
4. Fare clic su Crea.
5. Fare clic su +Value Elenca entità per associare questa entità a un massimo di cinque entità elenco valori. Questa opzione è facoltativa, ma l'associazione di un'entità ML a un'entità elenco di valori combina l'estrazione contestuale dell'entità ML e l'estrazione indipendente dal contesto dell'entità elenco di valori.
6. Fare clic sulla scheda DataSet. Questa pagina elenca tutte le espressioni per ogni entità ML nella tua abilità, che includono le espressioni che ti sei aggiunto per eseguire il bootstrap dell'entità, quelle sottomesse da job di crowd sourcing o che sono state importate come oggetti JSON. Da questa pagina è possibile aggiungere espressioni manualmente o in blocco caricando un file JSON. È inoltre possibile gestire le espressioni da questa pagina modificandole (inclusa l'annotazione o la nuova annotazione), oppure eliminandole, importandole ed esportandole.
   • Aggiungere le espressioni manualmente:
     • Fare clic su Aggiungi disposizione. Dopo aver aggiunto l'espressione, fare clic su Modifica annotazioni per aprire la lista entità.
       Nota
       
       È possibile aggiungere una sola espressione alla volta. Se si desidera aggiungere espressioni in blocco, è possibile aggiungerle tramite un job Annotazione entità oppure caricare un file JSON.
     • Evidenziare il testo rilevante per l'entità ML, quindi completare l'etichettatura selezionando l'entità ML dall'elenco entità. È possibile rimuovere un'annotazione facendo clic su x nell'etichetta.
       
       
       
       
   • Aggiungere espressioni da un file JSON. Questo file JSON contiene una lista di oggetti di espressione.

     [
       {
         "Utterance": {
           "utterance": "I expensed $35.64 for group lunch at Joe's on 4/7/21",
           "languageTag": "en",
           "entities": [
             {
               "entityValue": "Joe's"   
               "entityName": "VendorName",
               "beginOffset": 37,
               "endOffset": 42
             }
           ]
         }
       },
       {
         "Utterance": {
           "utterance": "Give me my $30 for Coffee Klatch on 7/20",
           "languageTag": "en",
           "entities": [
             {
               "entityName": "VendorName",
               "beginOffset": 19,
               "endOffset": 32
             }
           ]
         }
       }
     ]

     È possibile caricarlo facendo clic su Altro > Importa per recuperarlo dal sistema locale.
     L'oggetto entities descrive le entità ML identificate all'interno dell'espressione. Anche se l'esempio precedente illustra un singolo oggetto entities per ogni espressione, un'espressione può contenere più entità ML che significa più oggetti entities:

     [
       {
         "Utterance": {
           "utterance": "I want this and that",
           "languageTag": "en",
           "entities": [
             {
               "entityName": "ML_This",
               "beginOffset": 7,
               "endOffset": 11
             },
             {
               "entityName": "ML_That",
               "beginOffset": 16,
               "endOffset": 20
             }
           ]
         }
       },
       {
         "Utterance": {
           "utterance": "I want less of this and none of that",
           "languageTag": "en",
           "entities": [
             {
               "entityName": "ML_This",
               "beginOffset": 15,
               "endOffset": 19
             },
             {
               "entityName": "ML_That",
               "beginOffset": 32,
               "endOffset": 36
             }
           ]
         }
       }
     ]

     entityName identifica l'entità ML stessa e entityValue identifica il testo con etichetta per l'entità. entityValue è una chiave facoltativa che è possibile utilizzare per convalidare il testo con etichetta rispetto alle modifiche apportate all'espressione. L'etichetta stessa è identificata dalle proprietà beginOffset e endOffset, che rappresentano l'offset per i caratteri che iniziano e terminano l'etichetta. Questo offset è determinato dal carattere, non dalla parola, ed è calcolato dal primo carattere dell'espressione (0-1).

     Nota
     
     Non è possibile creare le entità ML da questo JSON. Devono esistere prima di caricare il file.
     Se non si desidera determinare gli offset, è possibile lasciare l'oggetto entities non definito e quindi applicare le etichette dopo aver caricato il file JSON.

     [
       {
         "Utterance": {
           "utterance": "I expensed $35.64 for group lunch at Joe's on 4/7/21",
           "languageTag": "en",
           "entities": []
             
           
         }
       },
       {
         "Utterance": {
           "utterance": "Give me my $30 for Coffee Klatch on 7/20",
           "languageTag": "en",
           "entities": []
           
         }
       }
     ]

     Il sistema verifica la presenza di duplicati per evitare inserimenti ridondanti. Vengono applicate solo le modifiche apportate alla definizione entities nel file JSON. Se un'espressione è stata modificata nel file JSON, allora è considerata una nuova espressione.
   • Modificare un'espressione annotata:
     • Fare clic su Modifica per rimuovere l'annotazione.
       Nota
       
       Un'espressione modificata viene considerata una nuova espressione (non concessa).
     • Fare clic su Modifica annotazioni per aprire la lista di entità.
     • Evidenziare il testo, quindi selezionare un'entità ML dall'elenco entità.
     • Se è necessario rimuovere un'annotazione, fare clic su x nell'etichetta.
7. Quando hai completato l'annotazione delle espressioni. Fare clic su Formazione per aggiornare sia Tm formatore che il modello Entità.
8. Eseguire il test del riconoscimento immettendo una frase di prova nel tester Utterance, idealmente una con un valore non trovato in alcun dato di addestramento. Controllare i risultati per scoprire se il modello ha rilevato l'entità ML corretta e se il testo è stato etichettato correttamente e completamente.
9. Associare l'entità ML a un intento.

entity,value,synonyms
PizzaSize,Large,lrg:lrge:big
PizzaSize,Medium,med
PizzaSize,Small,little

entity,en:value,en:synonyms
PizzaSize,Large,lrg:lrge:big
PizzaSize,Medium,med
PizzaSize,Small,
PizzaSize,Extra Large,XL

entity,en:value,en:synonyms,fr:value,fr:synonyms
PizzaSize,Large,lrg:lrge:big,grande,grde:g
PizzaSize,Medium,med,moyenne,moy
PizzaSize,Small,,petite,p
PizzaSize,Extra Large,XL,pizza extra large,

• Se si importa un file CSV precedente alla versione 20.12 in una competenza 20.12 (incluse quelle che supportano le lingue native o utilizzano servizi di traduzione), i valori e i sinonimi vengono importati come lingue principali.
• Tutti i valori entità per le lingue principale e secondaria devono essere univoci all'interno di un'entità, pertanto non è possibile importare un file CSV se lo stesso valore è stato definito più di una volta per una singola entità. I valori duplicati possono verificarsi nelle versioni precedenti alla 20.12, dove i valori possono essere considerati univoci a causa delle variazioni nell'involucro delle lettere. Questo non è vero per 20.12, dove l'involucro è più rigorosamente applicato. Ad esempio, non è possibile importare un file CSV se contiene sia PizzaSize, Small che PizzaSize, SMALL. Se si prevede di aggiornare la versione 20.12, prima di eseguire l'aggiornamento è necessario risolvere tutti i valori entità uguali, ma differenziati solo per lettere.
• Il supporto della lingua principale si applica agli skill creati con la versione 20.12 e successive, pertanto è necessario rimuovere i tag della lingua e le eventuali voci della lingua secondaria prima di poter importare un file CSV della versione 20.12 in uno skill creato con una versione precedente.

• È possibile importare un file CSV multilingue in skill che non utilizzano il supporto della lingua nativa, inclusi quelli che utilizzano servizi di traduzione.
• Se si importa un file CSV multilingue in uno skill che supporta lingue native o utilizza servizi di traduzione, vengono importate solo le righe che forniscono un valore valido per la lingua principale. Il resto viene ignorato.

1. Fare clic su Entità () nella barra di navigazione laterale.

2. Fare clic su Altro, scegliere Importa entità elenco valori, quindi selezionare il file .csv dal sistema locale.
   
   Descrizione dell'immagine import-entities.png
   

3. Aggiungere l'entità o le entità a un intento (o a un elenco di entità e quindi a un intento).

• I file CSV esportati da skill creati con o aggiornati alla versione 20.12 sono forniti per il supporto della lingua nativa tramite i tag di lingua primaria (e talvolta secondaria) aggiunti alle colonne value e synonyms. Ad esempio, il file CSV nel seguente snippet dispone di un set di colonne value e synonyms per la lingua principale dello skill, l'inglese (en) e un altro set per la lingua secondaria, il francese (fr):

  entity,en:value,en:synonyms,fr:value,fr:synonyms

  I tag della lingua principale sono inclusi in tutti i file CSV 20.12 indipendentemente dal supporto della lingua nativa. Sono presenti in competenze che non sono destinate a svolgere alcun tipo di traduzione (nativa o tramite un servizio di traduzione) e in competenze che utilizzano servizi di traduzione.
• I file CSV esportati da skill in esecuzione su versioni precedenti alla 20.12 dispongono delle colonne entità, valore e sinonimi, ma non di tag lingua.

1. Fare clic su Entità () nella barra di navigazione laterale.

2. Fare clic su Altro, scegliere Esporta entità elenco valori, quindi salvare il file.
   
   Descrizione della figura export-entities.png
   

   Il file .csv esportato viene denominato in base alla competenza. Se si intende utilizzare questo file come importazione, potrebbe essere necessario eseguire alcune delle modifiche descritte in Importa intenti da un file CSV se si intende importarlo o esportarlo da competenze e versioni precedenti della versione 20.12.

1. Fare clic su + Entità.
2. Scegliere Entità dinamiche dalla lista Tipo.
3. Se il servizio backend non è disponibile o non ha ancora eseguito il PUSH di alcun valore oppure se non si gestisce il servizio, fare clic su + Valore per aggiungere i valori mock che è possibile utilizzare per il test. In genere, è necessario aggiungere questi valori statici prima che l'infrastruttura di entità dinamica sia attiva. Questi valori vengono persi quando si duplica, si esegue la versione o si esporta uno skill. Dopo aver eseguito il provisioning dei valori di entità tramite l'API, è possibile sovrascrivere o conservare questi valori, sebbene nella maggior parte dei casi li si sovrascriva.
4. Fare clic su Crea.

• È possibile eseguire una query per le entità dinamiche configurate per uno skill utilizzando il file entityId generato con botId. Includere questi valori nelle chiamate per creare le richieste push e gli oggetti che aggiornano i valori dell'entità.
• Un'entità non può avere più di 150.000 valori. Per ridurre la probabilità di superare questo limite quando si tratta di grandi quantità di dati, inviare richieste PATCH con le eliminazioni prima di inviare richieste PATCH con le aggiunte.

1. Crea entità ML concise. La definizione di entità ML è alla base di un set di formazione utile, quindi la chiarezza è fondamentale in termini di nome e descrizione che aiutano i crowd worker ad annotare le espressioni.

   Poiché i crowd worker si basano sulle descrizioni e sui nomi delle entità ML, è necessario assicurarsi che le entità ML siano facilmente distinguibili l'una dall'altra, soprattutto in caso di potenziale sovrapposizione. Se le differenze non sono chiare per voi, è probabile che i lavoratori della folla saranno confusi. Ad esempio, le entità Commerciante e Tipo di conto potrebbero essere difficili da distinguere in alcuni casi. In "Trasferisci $ 100 dal mio conto di risparmio a Pacific Gas and Electric", puoi chiaramente etichettare "risparmi" come tipo di conto e Pacific Gas and Electric come commerciante. Tuttavia, il confine tra i due può essere sfocato in frasi come "Devo inviare denaro a John, trasferire $ 100 dai miei risparmi al suo conto corrente". Il "conto di controllo" è un tipo di conto o un nome commerciante? In questo caso, è possibile decidere che qualsiasi destinatario debba essere sempre un nome commerciante anziché un tipo di conto.

2. In preparazione del crowdfunding delle espressioni di formazione, considera l'input tipico dell'utente per diversi contesti di estrazione delle entità. Ad esempio, il valore può essere estratto nel messaggio iniziale dell'utente (contesto di espressione iniziale) o viene estratto dalle risposte ai prompt dell'abilità (contesto di espressione della fascia)?

   Contesto	descrizione;	Valori di esempio (valori entità ML rilevati in grassetto)
   Contesto di pronuncia iniziale	Messaggio che di solito è ben strutturato e include valori di entità ML. Per uno skill di reporting spese, ad esempio, l'espressione include un valore che il modello può rilevare per un'entità ML denominata Commerciante.	Crea una spesa per la cena in team presso John's Pasta Shop per 85 dollari il 3 maggio
   Contesto espressione slot	Messaggio utente che fornisce l'entità ML in risposta a un prompt, a causa della progettazione della conversazione (lo skill richiede "Chi è il commerciante?") o per inserire un valore nello slot perché non è stato fornito da una risposta sottomessa in precedenza. In altre circostanze, il valore dell'entità ML potrebbe essere già stato fornito, ma potrebbe essere incluso in altri messaggi utente nella stessa conversazione. Ad esempio, lo skill potrebbe richiedere agli utenti di fornire ulteriori dettagli sulle spese o descrivere l'immagine di una ricevuta caricata.	Il commerciante è John's Pasta Shop. Cena di squadra. Quantità $85. Pasta shop di John. La descrizione è TurboTaxi da casa all'aeroporto CMH. Ricevuta del Grandiose Shack Hotel per il simposio sul cloud

3. Raccogli i dati relativi a formazione e test.
   • Se si dispone già di una raccolta sufficiente di espressioni, è possibile valutarle per la distribuzione delle entità e la diversità dei valori delle entità prima di avviare un job Annotazione entità.
   • Se non si dispone di dati di formazione sufficienti o se si sta iniziando da zero, avviare un job di parafrasi intento. Per raccogliere espressioni valide (e abbondanti) per la formazione e il test, integrare il contesto dell'entità nel lavoro creando compiti per ogni intento. Per raccogliere frasi diverse, considerare di suddividere ogni intento in base al contesto di conversazione.
   • Per la richiesta del compito, fornisci contesto ai lavoratori della folla e chiedi loro: "Come risponderesti?" o "Cosa diresti?" Utilizzare i suggerimenti di accompagnamento per fornire esempi e illustrare contesti diversi. Ad esempio:

     Prompt	Suggerimento
     Si sta parlando con un bot per le note spese e si desidera creare una spesa. Quale sarebbe la prima cosa che diresti?	Assicurarsi che il nome del commerciante sia presente nell'espressione. Si potrebbe dire: "Crea una spesa per la cena di squadra al John's Pasta Shop per $ 85 il 3 maggio".

     Questo task richiede frasi che non solo avviino la conversazione, ma includano anche un nome commerciante. È inoltre possibile desiderare espressioni che riflettano le risposte richieste dallo skill quando l'utente non fornisce un valore. Ad esempio, "Merchant is John's Pasta Shop" in risposta al prompt "Who is the merchant?" dell'abilità.

     Prompt	Suggerimento
     È stata sottomessa una spesa a un bot per le note spese, ma non è stato specificato un nome commerciante. Come rispondere?	Identificare il commerciante. Ad esempio, "Merchant è il negozio di pasta di John".
     È stata caricata un'immagine di una ricevuta in un bot per le note spese. Ti sta chiedendo di descrivere la ricevuta. Come rispondere?	Identificare il nome del commerciante sulla ricevuta. Ad esempio: "Grandiosa ricevuta di Shack Hotel per il simposio sul cloud".

     Per testare i falsi positivi per i test - parole e frasi che il modello non dovrebbe identificare come entità ML - potresti anche voler raccogliere "esempi negativi". Queste espressioni includono un valore di entità ML.

     Contesto	Esempio di argomenti
     Contesto di pronuncia iniziale	Pagami indietro per la cena di martedì
     Contesto espressione slot	Pos cena di presentazione. Importo $ 50, 4 persone. Descrizione xerox pranzo per 5 Ricevuta hotel per soggiorno colloquio

   • Raccogliere un grande set di allenamento impostando un numero appropriato di parafrasi per intento. Affinché il modello si generalizzi correttamente, il data set deve contenere da qualche parte tra 500 e 5000 occorrenze per ogni entità ML. Idealmente, dovresti evitare la fascia bassa di questo intervallo.
4. Una volta che i crowd worker hanno completato il job (o hanno completato un numero sufficiente di espressioni che è possibile annullare il job), è possibile aggiungere le espressioni oppure avviare un job di convalida degli intenti per verificarle. È inoltre possibile scaricare i risultati nel sistema locale per ulteriori revisioni.
5. Riserva circa il 20% delle espressioni per i test. Per creare CSV per il tester di utenza dai file CSV scaricati per i job di parafrasi degli intenti e convalida degli intenti, effettuare le operazioni riportate di seguito.
   • Per i job di parafrasi intento: trasferire il contenuto nella colonna result (le espressioni fornite dai crowd worker) alla colonna utterance nel CSV Utterance Tester. Trasferire il contenuto della colonna intentName nella colonna expectedIntent nel file CSV del tester di Utterance.
   • Per i job di convalida degli intenti: trasferire il contenuto nella colonna prompt (le espressioni fornite dai crowd worker) alla colonna utterance nel file CSV del tester degli intenti. Trasferire il contenuto della colonna intentName nella colonna expectedIntent nel file CSV del tester di Utterance.
6. Aggiungere le espressioni rimanenti a un file CSV con una sola colonna, utterance. Creare un job di annotazione entità caricando questo file CSV. Poiché i lavoratori stanno etichettando i valori delle entità, probabilmente classificheranno le espressioni negative come "Non sono sicuro" o "Nessuna delle entità si applica".
7. Al termine del job Annotazione entità, è possibile aggiungere i risultati oppure avviare un job Convalida entità per verificare l'assegnazione etichette. Solo le espressioni che i lavoratori ritengono corrette in un job di convalida entità possono essere aggiunte al corpus.

   Suggerimento

   È possibile aggiungere, rimuovere o modificare le etichette delle annotazioni nella scheda Insieme di dati della pagina Entità.
8. Addestrare l'entità selezionando Entità.
9. Eseguire casi di test per valutare il riconoscimento delle entità utilizzando le espressioni riservate dal job Parafrasi intento. È possibile suddividere queste espressioni in diverse suite di test per testare comportamenti diversi (valori sconosciuti, punteggiatura che potrebbero non essere presenti nei dati di addestramento, falsi positivi e così via). Poiché potrebbe esserci un gran numero di queste espressioni, è possibile creare suite di test caricando un CSV nel Tester di utenza.
   
   
   Descrizione dell'immagine ml-test-suites.png
   
   
   Nota
   
   Il tester di utenza visualizza solo le etichette delle entità per il superamento dei casi di test. Utilizzare invece un test rapido per visualizzare le etichette delle espressioni che si risolvono al di sotto della soglia di affidabilità.
10. Utilizzare i risultati per perfezionare il data set. Aggiungere, rimuovere o modificare in modo iterativo le espressioni di addestramento fino a quando i risultati dell'esecuzione del test indicano che il modello sta identificando in modo efficace le entità ML.
    Nota
    
    Per evitare che corrispondenze di entità involontarie che peggiorino l'esperienza utente, attivare Escludi corrispondenze entità di sistema se i dati di formazione contengono nomi, ubicazioni e numeri.