1. Klicken Sie auf + Entity hinzufügen.
2. Füllen Sie das Dialogfeld "Entity erstellen" aus. Beachten Sie, dass der Name und die Beschreibung auf den Crowdworkerseiten für Entityanmerkungsjobs angezeigt werden.
   • Geben Sie einen Namen ein, der den kommentierten Inhalt identifiziert. Ein eindeutiger Name hilft Crowdworkern.
   • Geben Sie eine Beschreibung ein. Obwohl dies eine optionale Eigenschaft ist, verwenden Crowdworker sie zusammen mit der Eigenschaft "Name", um Entitys zu unterscheiden.
   • Wählen Sie in der Liste die Option ML-Entity aus.
3. Aktivieren Sie Systementityübereinstimmungen ausschließen, wenn die Trainingsanmerkungen Namen, Speicherorte, Zahlen oder anderen Inhalt enthalten, der möglicherweise mit Systementitywerten in Konflikt geraten könnte. Wenn Sie diese Option festlegen, wird verhindert, dass das Modell Systementitätswerte extrahiert, die sich in der Eingabe befinden, die für diese ML-Entity aufgelöst wird. Es erzwingt eine Grenze um diese Eingabe, sodass das Modell sie nur als ML-Entitywert erkennt und sie nicht weiter für Systementitywerte parst. Sie können diese Option für Mischentitys festlegen, die ML-Entitys referenzieren.
4. Klicken Sie auf Erstellen.
5. Klicken Sie auf +Value Listenentitys, um diese Entity mit bis zu fünf Wertelistenentitys zu verknüpfen. Dies ist optional. Wenn Sie jedoch eine ML-Entity mit einer Wertelistenentity verknüpfen, werden die kontextbezogene Extraktion der ML-Entity und die kontextunabhängige Extraktion der Wertelistenentity kombiniert.
6. Klicken Sie auf die Registerkarte DataSet. Auf dieser Seite werden alle Äußerungen für jede ML-Entity in Ihrem Skill aufgeführt. Dazu gehören die Äußerungen, die Sie selbst zum Bootstrap der Entity hinzugefügt haben, die Äußerungen, die aus Crowd Sourcing-Jobs weitergeleitet wurden oder als JSON-Objekte importiert wurden. Auf dieser Seite können Sie Äußerungen manuell oder per Bulkvorgang hinzufügen, indem Sie eine JSON-Datei hochladen. Sie können die Äußerungen auch auf dieser Seite verwalten, indem Sie sie bearbeiten (einschließlich Anmerkungen oder erneute Anmerkungen) oder löschen, importieren und exportieren.
   • Äußerungen manuell hinzufügen:
     • Klicken Sie auf Äußerung hinzufügen. Nachdem Sie die Äußerung hinzugefügt haben, klicken Sie auf Annotationen bearbeiten, um die Entityliste zu öffnen.
       Hinweis
       
       Sie können immer nur eine Äußerung gleichzeitig hinzufügen. Wenn Sie Äußerungen im Bulkverfahren hinzufügen möchten, können Sie sie entweder über einen Entityanmerkungsjob hinzufügen oder eine JSON-Datei hochladen.
     • Markieren Sie den für die ML-Entity relevanten Text, und vervollständigen Sie die Beschriftung, indem Sie die ML-Entity aus der Entityliste auswählen. Sie können eine Anmerkung entfernen, indem Sie im Label auf x klicken.
       
       
       
       
   • Fügen Sie Äußerungen aus einer JSON-Datei hinzu. Diese JSON-Datei enthält eine Liste der Äußerungsobjekte.

     [
       {
         "Utterance": {
           "utterance": "I expensed $35.64 for group lunch at Joe's on 4/7/21",
           "languageTag": "en",
           "entities": [
             {
               "entityValue": "Joe's"   
               "entityName": "VendorName",
               "beginOffset": 37,
               "endOffset": 42
             }
           ]
         }
       },
       {
         "Utterance": {
           "utterance": "Give me my $30 for Coffee Klatch on 7/20",
           "languageTag": "en",
           "entities": [
             {
               "entityName": "VendorName",
               "beginOffset": 19,
               "endOffset": 32
             }
           ]
         }
       }
     ]

     Sie können sie hochladen, indem Sie auf Weitere Informationen > Importieren klicken, um sie aus Ihrem lokalen System abzurufen.
     Das Objekt entities beschreibt die ML-Entitys, die in der Äußerung identifiziert wurden. Obwohl das vorherige Beispiel ein einzelnes entities-Objekt für jede Äußerung veranschaulicht, kann eine Äußerung mehrere ML-Entitys enthalten, was mehrere entities-Objekte bedeutet:

     [
       {
         "Utterance": {
           "utterance": "I want this and that",
           "languageTag": "en",
           "entities": [
             {
               "entityName": "ML_This",
               "beginOffset": 7,
               "endOffset": 11
             },
             {
               "entityName": "ML_That",
               "beginOffset": 16,
               "endOffset": 20
             }
           ]
         }
       },
       {
         "Utterance": {
           "utterance": "I want less of this and none of that",
           "languageTag": "en",
           "entities": [
             {
               "entityName": "ML_This",
               "beginOffset": 15,
               "endOffset": 19
             },
             {
               "entityName": "ML_That",
               "beginOffset": 32,
               "endOffset": 36
             }
           ]
         }
       }
     ]

     entityName identifiziert die ML-Entity selbst, und entityValue identifiziert den für die Entity beschrifteten Text. entityValue ist ein optionaler Schlüssel, mit dem Sie den beschrifteten Text anhand von Änderungen an der Äußerung validieren können. Das Label selbst wird durch die Eigenschaften beginOffset und endOffset identifiziert, die den Offset für die Zeichen darstellen, die mit dem Label beginnen und enden. Dieser Offset wird durch Zeichen und nicht durch Wort bestimmt und aus dem ersten Zeichen der Äußerung (0-1) berechnet.

     Hinweis
     
     Sie können die ML-Entitys nicht aus dieser JSON erstellen. Sie müssen vorhanden sein, bevor Sie die Datei hochladen.
     Wenn Sie die Offsets nicht bestimmen möchten, können Sie das Objekt entities nicht definieren und die Labels dann anwenden, nachdem Sie die JSON-Datei hochgeladen haben.

     [
       {
         "Utterance": {
           "utterance": "I expensed $35.64 for group lunch at Joe's on 4/7/21",
           "languageTag": "en",
           "entities": []
             
           
         }
       },
       {
         "Utterance": {
           "utterance": "Give me my $30 for Coffee Klatch on 7/20",
           "languageTag": "en",
           "entities": []
           
         }
       }
     ]

     Das System prüft auf Duplikate, um redundante Einträge zu vermeiden. Nur Änderungen an der entities-Definition in der JSON-Datei werden angewendet. Wenn eine Äußerung in der JSON-Datei geändert wurde, wird sie als neue Äußerung betrachtet.
   • Mit Anmerkungen versehene Äußerungen bearbeiten:
     • Klicken Sie auf Bearbeiten , um die Anmerkung zu entfernen.
       Hinweis
       
       Eine geänderte Äußerung wird als neue (nicht kommentierte) Äußerung betrachtet.
     • Klicken Sie auf Annotationen bearbeiten, um die Entityliste zu öffnen.
     • Markieren Sie den Text, und wählen Sie dann eine ML-Entity aus der Entityliste aus.
     • Wenn Sie eine Anmerkung entfernen müssen, klicken Sie im Label auf x.
7. Wenn Sie die Anmerkungen abgeschlossen haben. Klicken Sie auf Schulung, um sowohl die Trainer-Zeit als auch das Entitymodell zu aktualisieren.
8. Testen Sie die Erkennung, indem Sie eine Testphrase im Äußerungstester eingeben, idealerweise eine mit einem Wert, der in keinen Trainingsdaten enthalten ist. Prüfen Sie die Ergebnisse, um herauszufinden, ob das Modell die richtige ML-Entity ermittelt hat und ob der Text korrekt und vollständig beschriftet wurde.
9. Ordnen Sie die ML-Entity einem Intent zu.

entity,value,synonyms
PizzaSize,Large,lrg:lrge:big
PizzaSize,Medium,med
PizzaSize,Small,little

entity,en:value,en:synonyms
PizzaSize,Large,lrg:lrge:big
PizzaSize,Medium,med
PizzaSize,Small,
PizzaSize,Extra Large,XL

entity,en:value,en:synonyms,fr:value,fr:synonyms
PizzaSize,Large,lrg:lrge:big,grande,grde:g
PizzaSize,Medium,med,moyenne,moy
PizzaSize,Small,,petite,p
PizzaSize,Extra Large,XL,pizza extra large,

• Wenn Sie eine CSV-Datei vor 20.12 in einen Skill mit 20.12 importieren (einschließlich solcher, die native Sprachen unterstützen oder Übersetzungsservices verwenden), werden die Werte und Synonyme als primäre Sprachen importiert.
• Alle Entitywerte für die primäre und die sekundäre Sprache müssen innerhalb einer Entity eindeutig sein. Daher können Sie keine CSV-Datei importieren, wenn für eine einzelne Entity ein Wert mehrmals definiert wurde. In Versionen vor 20.12 können doppelte Werte vorhanden sein, wobei Werte aufgrund von Variationen in der Groß-/Kleinschreibung als eindeutig betrachtet werden können. Das gilt nicht für 20.12, wo die Beachtung der Groß-/Kleinschreibung strenger durchgesetzt wird. Beispiel: Sie können keine CSV-Datei importieren, wenn sie sowohl PizzaSize, Small als auch PizzaSize, SMALL enthält. Wenn Sie ein Upgrade auf Version 20.12 durchführen möchten, müssen Sie zunächst alle Entitywerte auflösen, die identisch sind, sich jedoch nur durch die Groß-/Kleinschreibung unterscheiden.
• Die primäre Sprachunterstützung gilt für Skills, die mit Version 20.12 und höher erstellt wurden. Daher müssen Sie zuerst Sprachtags und alle sekundären Spracheinträge entfernen, bevor Sie eine CSV-Datei mit Version 20.12 in einen mit einer früheren Version erstellten Skill importieren können.

• Sie können eine mehrsprachige CSV-Datei in Skills importieren, die keine native Sprachunterstützung verwenden, einschließlich solcher, die Übersetzungsservices verwenden.
• Wenn Sie eine mehrsprachige CSV-Datei in einen Skill importieren, der native Sprachen unterstützt oder Übersetzungsservices verwendet, werden nur Zeilen importiert, die einen gültigen Wert für die primäre Sprache angeben. Der Rest wird ignoriert.

1. Klicken Sie in der seitlichen Navigationsleiste auf Entitys ().

2. Klicken Sie auf Mehr, wählen Sie Werte in der Liste importieren und dann die Datei .csv im lokalen System aus.
   
   Beschreibung der Abbildung import-entities.png
   

3. Fügen Sie die Entity(s) einem Intent (oder einer Entityliste und dann einem Intent) hinzu.

• Die CSV-Dateien, die aus mit Version 20.12 erstellten oder auf die Version 20.12 upgegradeten Skills exportiert wurden, sind für die native Sprachunterstützung ausgestattet, indem die Tags für die primäre (und manchmal die sekundäre) Sprache an die Spalten value und synonyms angehängt sind. Beispiel: Die CSV-Datei im folgenden Snippet enthält ein Set aus value- und synonyms-Spalten für die primäre Sprache des Skills Englisch (en) und ein anderes Set für die sekundäre Sprache Französisch (fr):

  entity,en:value,en:synonyms,fr:value,fr:synonyms

  Die Tags für die primäre Sprache sind in allen CSV-Dateien mit 20.12 enthalten, unabhängig von der nativen Sprachunterstützung. Sie sind in Skills vorhanden, die keine Übersetzungen (nativ oder über einen Übersetzungsservice) durchführen, sowie in Skills, die Übersetzungsservices nutzen.
• Die aus Skills exportierten CSV-Dateien mit Versionen vor 20.12 enthalten die Spalten "entity", "value" und "synonyms", aber keine Sprachtags.

1. Klicken Sie in der seitlichen Navigationsleiste auf Entitys ().

2. Klicken Sie auf Mehr, wählen Sie Werteliste-Entitys exportieren aus, und speichern Sie die Datei.
   
   Beschreibung der Abbildung export-entities.png
   

   Die exportierte CSV-Datei (.csv) wird nach Ihrem Skill benannt. Wenn Sie diese Datei als Import verwenden möchten, müssen Sie möglicherweise einige der unter Intents aus einer CSV-Datei importieren beschriebenen Änderungen vornehmen, wenn Sie sie in Skills der Version 20.12 oder früheren Versionen importieren oder daraus exportieren möchten.

1. Klicken Sie auf + Entity.
2. Wählen Sie in der Liste "Typ" den Eintrag Dynamische Entitys aus.
3. Wenn der Backend-Service nicht verfügbar ist oder noch keine Werte übertragen hat oder Sie den Service nicht verwalten, klicken Sie auf + Wert. Dann können Sie Pseudowerte hinzufügen, die Sie zu Testzwecken verwenden können. Normalerweise fügen Sie diese statischen Werte hinzu, bevor die dynamische Entityinfrastruktur eingerichtet wird. Diese Werte gehen verloren, wenn Sie einen Skill klonen, versionieren oder exportieren. Nachdem Sie die Entitywerte über die API bereitgestellt haben, können Sie diese Werte überschreiben oder beibehalten (in den meisten Fällen werden sie jedoch überschrieben).
4. Klicken Sie auf Erstellen.

• Sie können die dynamischen Entitys, die für einen Skill konfiguriert sind, über die generierte entityId mit der botId abfragen. Sie nehmen diese Werte in die Aufrufe auf, um die Push-Anforderungen und Objekte zu erstellen, mit denen die Entitywerte aktualisiert werden.
• Eine Entity darf nicht mehr als 150.000 Werte enthalten. Um die Wahrscheinlichkeit zu verringern, dass dieses Limit überschritten wird, wenn Sie mit großen Datenmengen arbeiten, senden Sie PATCH-Anforderungen mit Löschvorgängen, bevor Sie PATCH-Anforderungen mit Hinzufügevorgängen senden.

1. Erstellen Sie präzise ML-Entitys. Die ML-Entitydefinition ist die Basis eines nützlichen Trainingssets. Daher ist Klarheit in Bezug auf den Namen und die Beschreibung wichtig, die Crowdworkern helfen, Äußerungen zu kommentieren.

   Da Crowdworker sich auf die Beschreibungen und Namen der ML-Entitys verlassen, müssen Sie sicherstellen, dass Ihre ML-Entitys leicht voneinander unterschieden werden können, insbesondere wenn es potenzielle Überschneidungen gibt. Wenn die Unterschiede für Sie nicht klar sind, ist es wahrscheinlich, dass Crowdworker verwirrt werden. Beispiel: Die Entitäten "Händler" und "Kontotyp" können in einigen Fällen schwer zu unterscheiden sein. In "Überweisen Sie 100 US-Dollar von meinem Sparkonto auf Pacific Gas and Electric" können Sie "Einsparungen" eindeutig als Kontotyp und Pacific Gas and Electric als Händler kennzeichnen. Die Grenze zwischen den beiden kann jedoch in Sätzen wie "Muss Geld an John senden, 100 Dollar von meinen Ersparnissen auf sein Girokonto überweisen" verschwommen sein. Ist "Konto prüfen" ein Kontotyp oder ein Händlername? In diesem Fall können Sie entscheiden, dass jeder Empfänger immer ein Händlername und nicht ein Kontotyp sein sollte.

2. Berücksichtigen Sie bei der Vorbereitung des Crowd Sourcing der Trainingsäußerungen die typische Benutzereingabe für verschiedene Entityextraktionskontexte. Beispiel: Kann der Wert in der anfänglichen Nachricht des Benutzers extrahiert werden (anfänglicher Äußerungskontext), oder wird er aus Antworten auf die Prompts des Skills extrahiert (Slot-Äußerungskontext)?

   Kontext	Beschreibung	Beispieläußerungen (entdeckte ML-Entitywerte in Fettschrift)
   Kontext der ersten Äußerung	Eine Nachricht, die in der Regel gut strukturiert ist und ML-Entitywerte enthält. Beispiel: Bei einem Skill für Spesenabrechnungen enthält die Äußerung einen Wert, den das Modell für eine ML-Entity namens "Händler" ermitteln kann.	Erstellen Sie am 3. Mai eine Spesenposition für Teamdinner im John's Pasta Shop für 85 US-Dollar
   Kontext für Slotäußerung	Eine Benutzernachricht, die als Antwort auf eine Eingabeaufforderung die ML-Entity bereitstellt, entweder aufgrund des Konversationsdesigns (der Skill fordert mit "Wer ist der Händler?" auf) oder um einen Wert zu setzen, weil er nicht von einer zuvor weitergeleiteten Antwort bereitgestellt wurde. In anderen Fällen wurde der ML-Entitywert möglicherweise bereits angegeben, kann jedoch in anderen Benutzernachrichten in derselben Unterhaltung enthalten sein. Beispiel: Der Skill fordert Benutzer möglicherweise auf, zusätzliche Spesendetails anzugeben oder das Bild einer hochgeladenen Quittung zu beschreiben.	Der Händler ist John's Pasta Shop. Teamessen. Betrag 85 $. John's Pasta Shop. Die Beschreibung lautet TurboTaxi von zu Hause zum Flughafen CMH. Grandiose Shack Hotel-Quittung für Cloud-Symposium

3. Sammeln Sie Ihre Trainings- und Testdaten.
   • Wenn Sie bereits über eine ausreichende Sammlung von Äußerungen verfügen, können Sie diese für die Entityverteilung und Entitywertdiversität bewerten, bevor Sie einen Entityanmerkungsjob starten.
   • Wenn Sie nicht genügend Trainingsdaten haben oder von Grund auf neu beginnen, starten Sie einen Intent-Paraphrasierungsjob. Um brauchbare (und zahlreiche) Äußerungen für Schulungen und Tests zu sammeln, integrieren Sie den Entitykontext in den Job, indem Sie Aufgaben für jedes Intent erstellen. Um verschiedene Phrasen zu sammeln, sollten Sie jedes Intent nach Konversationskontext aufschlüsseln.
   • Stellen Sie Crowdworkern für die Aufforderung der Aufgabe einen Kontext zur Verfügung, und fragen Sie sie: "Wie würden Sie antworten?" oder "Was würden Sie sagen?" Verwenden Sie die zugehörigen Hints, um Beispiele anzugeben und verschiedene Kontexte zu veranschaulichen. Beispiel:

     Prompt	Hinweis
     Sie sprechen mit einem Bot für Spesenabrechnungen und möchten eine Spesenposition erstellen. Was wäre das erste, was Sie sagen würden?	Stellen Sie sicher, dass der Händlername in der Äußerung enthalten ist. Sie könnten so etwas sagen wie: "Erstellen Sie am 3. Mai eine Kosten für das Team-Dinner im John's Pasta Shop für 85 US-Dollar."

     Diese Aufgabe fragt nach Wortgruppen, die nicht nur die Konversation initiieren, sondern auch einen Händlernamen enthalten. Möglicherweise möchten Sie auch Äußerungen verwenden, die Antworten widerspiegeln, die vom Skill angefordert werden, wenn der Benutzer keinen Wert angibt. Beispiel: "Händler ist Johns Pasta Shop" als Antwort auf die Aufforderung "Wer ist der Händler?" des Skills.

     Prompt	Hinweis
     Sie haben eine Spesenposition an einen Bot für Spesenabrechnungen weitergeleitet, aber keinen Händlernamen angegeben. Wie sollen Sie antworten?	Geben Sie den Händler an. Zum Beispiel: "Händler ist John's Pasta Shop."
     Sie haben ein Bild einer Quittung in einen Bot für Spesenabrechnungen hochgeladen. Sie werden nun aufgefordert, die Quittung zu beschreiben. Wie sollen Sie antworten?	Geben Sie den Namen des Händlers auf der Quittung an. Zum Beispiel: "Grandiose Shack Hotel Quittung für Cloud-Symposium."

     Um falsch positive Ergebnisse für Tests zu testen - Wörter und Ausdrücke, die das Modell nicht als ML-Entitys identifizieren sollte - möchten Sie möglicherweise auch "negative Beispiele" sammeln. Diese Äußerungen enthalten einen ML-Entitywert.

     Kontext	Beispieläußerungen
     Kontext der ersten Äußerung	Zahlen Sie mich für das Abendessen am Dienstag zurück
     Kontext für Slotäußerung	Pos Präsentation Abendessen. Betrag $ 50. 4 Personen. Beschreibung xerox Mittagessen für 5 Personen Hotelquittung für Interviewaufenthalt

   • Sammeln Sie ein großes Trainingsset, indem Sie eine angemessene Anzahl von Paraphrasen pro Intent festlegen. Damit das Modell erfolgreich verallgemeinert werden kann, muss das Dataset für jede ML-Entity zwischen 500 und 5000 Vorkommen enthalten. Idealerweise sollten Sie das untere Ende dieses Bereichs vermeiden.
4. Nachdem die Crowdworker den Job abgeschlossen haben (oder genügend Äußerungen abgeschlossen haben, damit Sie den Job abbrechen können), können Sie die Äußerungen hinzufügen oder einen Intent-Validierungsjob starten, um sie zu verifizieren. Sie können die Ergebnisse auch zur weiteren Überprüfung auf Ihr lokales System herunterladen.
5. Reservieren Sie etwa 20% der Äußerungen für Tests. So erstellen Sie CSVs für den Äußerungstester aus den heruntergeladenen CSVs für Intent-Paraphrasierungs- und Intent-Validierungsjobs:
   • Bei Intent-Paraphrasierungsjobs: Übertragen Sie den Inhalt in der Spalte result (die von Crowdworkern bereitgestellten Äußerungen) in die Spalte utterance in der CSV-Datei für Äußerungstester. Übertragen Sie den Inhalt der Spalte intentName in die Spalte expectedIntent in der CSV-Datei des Äußerungstests.
   • Bei Intent-Validierungsjobs: Übertragen Sie den Inhalt in der Spalte prompt (die von Crowdworkern bereitgestellten Äußerungen) in die Spalte utterance in der CSV-Datei für Äußerungstester. Übertragen Sie den Inhalt der Spalte intentName in die Spalte expectedIntent in der CSV-Datei des Äußerungstests.
6. Fügen Sie die restlichen Äußerungen einer CSV-Datei mit einer einzelnen Spalte, utterance, hinzu. Erstellen Sie einen Entityannotationsjob, indem Sie diese CSV hochladen. Da Mitarbeiter die Entitywerte beschriften, klassifizieren sie negative Äußerungen wahrscheinlich als "Ich bin mir nicht sicher" oder "Keine der Entitys gilt".
7. Nachdem der Entityanmerkungsjob abgeschlossen ist, können Sie die Ergebnisse hinzufügen oder einen Entityvalidierungsjob starten, um die Labeling zu prüfen. Nur die Äußerungen, die Mitarbeiter in einem Entityvalidierungsjob als korrekt erachten, können dem Korpus hinzugefügt werden.

   Tipp:

   Sie können die Anmerkungslabels auf der Registerkarte "Dataset" der Seite "Entitys" hinzufügen, entfernen oder anpassen.
8. Trainieren Sie die Entity, indem Sie Entity auswählen.
9. Führen Sie Testfälle aus, um die Entityerkennung mit den Äußerungen zu bewerten, die Sie über den Intent-Paraphrasierungsjob reserviert haben. Sie können diese Äußerungen in verschiedene Testsuites aufteilen, um verschiedenes Verhalten zu testen (unbekannte Werte, Satzzeichen, die möglicherweise nicht in den Trainingsdaten vorhanden sind, falsch positive Ergebnisse usw.). Da eine große Anzahl dieser Äußerungen vorhanden sein kann, können Sie Testsuites erstellen, indem Sie eine CSV-Datei in den Äußerungstester hochladen.
   
   
   Beschreibung der Abbildung ml-test-suites.png
   
   
   Hinweis
   
   Der Äußerungstester zeigt nur Entitylabels für das Bestehen von Testfällen an. Verwenden Sie stattdessen einen Schnelltest, um die Labels für Äußerungen anzuzeigen, die unterhalb des Konfidenzschwellenwerts aufgelöst werden.
10. Verwenden Sie die Ergebnisse, um das Dataset zu verfeinern. Fügen Sie die Trainingsäußerungen iterativ hinzu, entfernen oder bearbeiten Sie sie, bis Testlaufergebnisse darauf hinweisen, dass das Modell ML-Entitys effektiv identifiziert.
    Hinweis
    
    Um unbeabsichtigte Entityübereinstimmungen zu verhindern, die das Benutzererlebnis beeinträchtigen, aktivieren Sie Systementityübereinstimmungen ausschließen, wenn die Trainingsdaten Namen, Speicherorte und Zahlen enthalten.