Datenproduktion
Als einzelner Entwickler kann es für Sie schwierig oder sogar unmöglich sein, ein großes, vielfältiges Set von Äußerungen zu erstellen, insbesondere wenn Sie Trainingsdaten für mehrere Intents oder ML-Entitys bereitstellen müssen. Anstatt dass Sie Trainingsdaten alleine erstellen, können Sie diese Aufgabe mit Oracle Digital Assistant per Crowdsourcing abschließen. Die Erledigung per Crowdsourcing kann besonders nützlich sein, wenn Sie Äußerungen benötigen, die nur Experten in der Anwendung oder dem Fachbereich bereitstellen können.
Was ist ein Datenproduktionsjob?
Data Manufacturing-Jobs sind Sammlungen von Aufgaben, die Crowdworkern zugewiesen sind. Die Jobs selbst konzentrieren sich auf verschiedene Möglichkeiten zur Verbesserung von Intents und ML-Entitäten.
Anmerkungsjobs
Sie können einen Anmerkungsjob zuweisen, wenn Loggingdaten einem Intent zugeordnet werden müssen oder wenn ein einzelnes Intent zu umfassend ist und in separate Intents aufgeteilt werden muss. Sie können Crowdworkern auch eine Anmerkung zu den Schlüsselwörtern und Wortgruppen aus den Trainingsdaten zuweisen, die sich auf eine ML-Entity beziehen.
Validierungsjobs
Bei Validierungsjobs prüfen Crowd Worker Äußerungen, um zu bestimmen, ob diese der Aufgabe oder Aktion entsprechen, die vom Intent beschrieben wird, oder ob die richtige ML-Entity identifiziert wurde. Nur Äußerungen, die von Crowdworkern als gültig eingestuft wurden, werden den Trainingsdaten hinzugefügt.
Der Workflow für die Datenproduktion
Um einen Datenproduktionsjob zu erstellen, legen Sie zunächst einen Job an und überwachen dessen Fortschritt. Wenn Sie auf die Daten zugreifen möchten, bevor der Job offiziell beendet ist (z.B. wenn die Crowdworker nicht mehr am Job arbeiten), können Sie den Job abbrechen. Abschließend prüfen Sie die Ergebnisse, bevor Sie sie den Trainingsdaten hinzufügen, indem Sie sie akzeptieren. Sie können die Daten auch durch Ablehnung aus den Trainingsdaten ausschließen.
Job erstellen
- Klicken Sie in der linken Navigationsleiste auf Produktion
.
- Klicken Sie auf der Seite "Jobs" auf Job hinzufügen.
- Wählen Sie den Jobtyp aus (Paraphrasierung, Validierung oder Anmerkung).
- Wählen Sie die Sprache aus, die von den Crowdworkern verwendet wird. Die Standardsprache ist die vorherrschende Sprache des Skills. Sie können jedoch aus anderen nativ unterstützten Sprachen wählen. Allerdings können Sie keine Sprache auswählen, die von einem Übersetzungsservice aktiviert wird.
- Klicken Sie auf Starten. Nachdem Sie einen Job gestartet haben, wird sein Status auf der Seite "Jobs" als "Wird ausgeführt" angegeben. Sie können einen Job nicht bearbeiten, wenn er ausgeführt wird. Wenn Sie eine Änderung vornehmen möchten, müssen Sie zuerst den Job abbrechen, ihn duplizieren und ihn dann bearbeiten, bevor Sie ihn erneut starten.
- Um den Job an die Crowd zu senden, klicken Sie auf Link kopieren. Fügen Sie den Link dann in einer E-Mail ein, die an die Crowdworker gesendet wird.
Crowdworker akzeptieren den Job, indem sie auf diesen Link klicken. Nachdem ein Crowdworker den Job akzeptiert hat, prüft er allgemeine Regeln für Paraphrasierungs-, Anmerkungs- oder Validierungsjobs.Hinweis
Crowdworker geben ihre Namen und E-Mail-Adressen zu Trackingzwecken an. Sie sortieren die Ergebnisse nach ihren Namen, um ihren Erfolg bei der Ausführung der Aufgaben zu beurteilen.
Fortschritt der Crowdworker überwachen
Abgeschlossene oder abgebrochene Jobs können auf der Seite "Ergebnisse" heruntergeladen werden. Auf dieser Seite können Sie normalerweise Ergebnisse aufrufen und ändern, indem Sie diese als CSV-Datei herunterladen. Diese können Sie in einem Tabellenkalkulationsprogramm wie Excel bearbeiten.
Wenn die Anzahl der Jobs steigt, können Sie sie nach "Akzeptiert", "Abgelehnt" oder "Nicht entschieden" (also Jobs, die weder akzeptiert noch abgelehnt wurden) filtern.
Tipp:
Da der Status "Akzeptiert" oder "Abgelehnt" bedeutet, dass Ihre Arbeit an einem Job abgeschlossen wurde, filtern Sie wahrscheinlich am häufigsten nach "Nicht entschieden".Ergebnisse prüfen
- Klicken Sie auf Anzeigen, um die Ergebnisse zu prüfen.
Wenn die meisten Ergebnisse einheitlich falsch sind, klicken Sie auf Ablehnen. Sie können einen schlecht konzipierten Job ablehnen, der Crowdworker verwirrt oder irreführt, oder Sie können einen Job ablehnen, weil er ein Test war. Wenn die Ergebnisse korrekt sind, können Sie sie Ihrem Trainingsset hinzufügen, indem Sie auf Akzeptieren klicken. Bevor Sie diese Option auswählen, sollten Sie bedenken, dass Sie diesen Vorgang nicht rückgängig machen können. Dadurch wird die gesamte Ergebnismenge zu Ihren Trainingsdaten hinzugefügt. Da Sie versehentlich falsche Äußerungen hinzufügen können, die Sie nur durch Bearbeiten des Intents entfernen können, wird empfohlen, die Ergebnisse herunterzuladen und zu bearbeiten, bevor Sie sie in den Trainingskorpus aufnehmen.
Durch Bearbeiten der heruntergeladenen CSV-Dateien können Sie die Ergebnisse bereinigen. Bei Paraphrasierungsjobs können Sie durch Bearbeiten der Ergebnisse vor dem Festschreiben im Trainingsset Äußerungen ändern oder löschen.Hinweis
Der Inhalt in der Spalteresult
hängt vom Jobtyp ab. Bei einem Paraphrasierungsjob werden die Äußerungen des Crowdworkers in diese Spalte geladen. Bei einem Validierungsjob handelt es sich um die Mitarbeiterauswertung der Äußerung für die Aufgabe (Richtig, Falsch, Nicht sicher). Bei einem Anmerkungsjob ist es das Intent, das mit der Äußerung übereinstimmt.
Um den Job herunterzuladen, klicken Sie entweder auf der Seite "Ergebnisse" oder im Dialogfeld "Ergebnisse anzeigen" auf Herunterladen. Speichern Sie den Job im lokalen System, und öffnen Sie dann die CSV-Datei mit einem Tabellenkalkulationsprogramm.
- Nachdem Sie die Änderungen abgeschlossen haben, klicken Sie auf der Seite "Ergebnisse" auf Hochladen.
- Trainieren Sie den Skill nach.
Paraphrasierungsjobs
Sie sammeln Äußerungen von den Crowdworkern über Paraphrasierungsjobs. Mitarbeiter, die den Paraphrasierungsjob akzeptieren, erzeugen gültige Äußerungen anhand von Richtlinien in Form von Prompts und Hinweisen, die Sie angeben. Ein Prompt erfasst, was Benutzer im Wesentlichen vom Skill erwarten. Ein optionaler Hinweis stellt dem Crowdworker weitere Details zur Verfügung, z.B. Wortlaut- und Entitywerte. Beispiel: "Spesen für einen Händler mit einem Geldbetrag erstellen" ist ein Prompt für das Intent "Spesenabrechnung erstellen". Der dazugehörige Hinweis lautet "Händlernamen ACME und einen Betrag von weniger als 50 US-Dollar verwenden".
- Ein Prompt ist keine Äußerung. Äußerungen können die Kreativität von Mitarbeitern aufgrund ihrer Spezifität behindern. Anstatt als Beispiel zu dienen, ermutigen sie die Arbeitnehmer vielmehr, nur geringfügige Abweichungen zu erzeugen. Diese redundanten Phrasen überladen den Trainingskorpus unnötig und verbessern nicht die Erkennungsfähigkeiten des Skills.
- Wenn Sie mehrere Prompts für ein Intent verwenden, variieren Sie diese. Jeder Prompt in einem Paraphrasierungsjob wird wahrscheinlich an andere Crowdworker verteilt. Selbst wenn ein Crowdworker mehrere Prompts aus demselben Paraphrasierungsjob erhält, ändert sich die Perspektive des Mitarbeiters durch einen anderen Prompt.
- Verwenden Sie Hinweise, um Variation zu fördern. Sie können Hinweise für beliebige Elemente definieren, die in Äußerungen aufgenommen (oder nicht aufgenommen) werden sollen. Da Sie Ihre Prompts variieren, sollten Sie die entsprechenden Hinweise ebenfalls variieren.
Prompt Hinweis Spesenposten für Flughafenparkplatz erstellen Geben Sie den Flughafencode (SFO, LAX usw.), ein vollständiges Datum (dd/mm/yyyy) und einen Betrag in US-Dollar an. Spesen für eine Mahlzeit erstellen Geben Sie den Namen des Restaurants, ein vollständiges Datum (dd/mm/yyyy) und einen Betrag in US-Dollar an.
Paraphrasierungsjob erstellen
- Wenn Sie noch keine Jobs erstellt haben, klicken Sie (entweder auf der Landingpage, wenn Sie noch keine Jobs erstellt haben, oder auf der Registerkarte "Jobs", wenn Jobs vorhanden sind) auf Job hinzufügen.
- Wählen Sie Paraphrasierung aus.
- Geben Sie einen Jobnamen ein.
- Wählen Sie die Sprache aus, die von den Crowdworkern verwendet wird. Standardmäßig wird die vorherrschende Sprache des Skills angezeigt. Sie können jedoch andere nativ unterstützte Sprachen auswählen, die für den Skill festgelegt wurden.
- Fügen Sie die Prompts und Hinweise (optional) für die Intents hinzu. Sie können diese offline in einer CSV-Datei mit den Spalten
intentName
,prompt
undhint
erstellen und sie als Batch hinzufügen oder im Dialogfeld "Neuer Job" nacheinander. Sie können diese Spalten in beliebiger Reihenfolge in der CSV-Datei hinzufügen.Hinweis
Wenn Sie eine andere Sprache als die vorherrschende Sprache des Skills ausgewählt haben, müssen Ihre Prompts und Hinweise ebenfalls diese Sprache verwenden. - Wenn Sie die Prompts, Hinweise und Intent-Namen zu einer CSV-Datei hinzugefügt haben, klicken Sie auf Hochladen. Wählen Sie die Datei dann aus. Klicken Sie anschließend auf Weiter.
- Fügen Sie bei Bedarf weitere Prompts hinzu
, bearbeiten Sie Prompts
, oder löschen Sie Prompts
, falls erforderlich, oder ändern Sie die Anzahl der Äußerungen pro Prompt. Klicken Sie auf Starten.
- Um einen Paraphrasierungsjob manuell zu erstellen, klicken Sie auf Auswählen.
- Klicken Sie auf das Feld "Intents", um ein Intent aus dem Menü auszuwählen, oder klicken Sie auf die Option Alle ... Intents auswählen, wenn Sie Prompts zum gesamten Intent-Set hinzufügen möchten.
- Klicken Sie auf Weiter.
- Klicken Sie in das Feld "Prompt", oder klicken Sie auf Bearbeiten
, um den Prompt einzugeben.
- Klicken Sie in das Feld "Hinweis" oder klicken Sie auf Bearbeiten
, um den Prompt einzugeben.
- Klicken Sie auf Hinzufügen
, um einen weiteren Prompt zu erstellen. Beachten Sie, dass jeder neue Prompt möglicherweise ein separater Job ist, der von einem anderen Crowdworker bearbeitet wird.
- Löschen oder überarbeiten Sie Prompts oder Hinweise bei Bedarf.
- Klicken Sie auf Hinzufügen
- Wählen Sie die Anzahl der Paraphrasen pro Prompt aus.
- Klicken Sie abschließend auf Starten.
Der Paraphrasierungsjob wird auf der Seite "Jobs" als neue Zeile mit dem Status "Wird ausgeführt" angezeigt. - Klicken Sie in der Zeile auf Link kopieren, und fügen Sie den Link in eine E-Mail ein, die Sie an die Crowd senden. Crowdworker akzeptieren den Job, indem sie auf diesen Link klicken. Nachdem Crowdworker den Job akzeptiert haben, prüfen sie allgemeine Regeln für Paraphrasierungsjobs.HinweisAnschließend leiten Mitarbeiter ihre Paraphrasen weiter.
Das Gebietsschema des Mitarbeiters wird auf die im Dialogfeld "Job erstellen" ausgewählte Sprache gesetzt.
Auf der Seite "Jobs" können Sie den Fortschritt der Ausführung in Echtzeit überwachen.
Tipps für Paraphrasierungsjobs
Für die Ergebnisse eines Paraphrasierungsjobs, um das Trainingskorpus wirklich zu verbessern, ist es wichtig, es auf eine Weise einzurichten, die verschiedene und reale Phrasen für den Anwendungsfall hervorruft. Hier sind einige Tipps, um Ihre Paraphrasierungsjobs erfolgreicher zu machen:
- Formulieren Sie sorgfältig die Anwendungsfälle, die Sie als Samen für die Aufgaben verwenden können.
- Unter Verwendung der "Seed-Anwendungsfälle" werden konkrete Szenarien beschrieben, für die der Benutzer Äußerungen bereitstellen soll, anstatt lediglich nach Variationen einer Wortgruppe zu fragen.
- Stellen Sie mehrere Szenarios für dasselbe Intent bereit.
- Verwenden Sie das Feld Hinweis, um Tipps zu geben, mit denen die Perspektive erweitert werden kann. Beispiel: Für ein Aufwands-Intent können Sie den Hinweis "Verschiedene Währungen einschließen, als ob Sie unterwegs wären" hinzufügen.
Paraphrasierungsjob prüfen
Bevor Sie die Äußerungen zum Trainingsset hinzufügen, sollten Sie sie auf Semantik, Rechtschreibung oder Spam prüfen.
- Sie können warten, bis ein Job abgeschlossen ist, oder auf der Seite "Jobs" auf Abbrechen klicken, wenn Sie glauben, dass alle Beiträge an einem laufenden Job geleistet wurden.
- Klicken Sie auf Ergebnisse. Auf der Seite "Ergebnisse" werden nur abgebrochene oder abgeschlossene Jobs angezeigt.
- Klicken Sie auf Anzeigen, um eine schreibgeschützte Ansicht der Äußerungen anzuzeigen. Mit den Optionen in diesem Dialogfeld können Sie den Job als CSV herunterladen oder ihn vollständig akzeptieren oder ablehnen.
Bevor Sie alle Jobaufgaben gleichzeitig ablehnen oder akzeptieren (dieser Vorgang kann nicht automatisch rückgängig gemacht werden), können Sie den Job herunterladen und die Ergebnisse bereinigen, bevor Sie sie zum Trainingsset hinzufügen. Wenn Sie diesen Ansatz verfolgen, klicken Sie entweder in diesem Dialogfeld oder auf der Seite "Ergebnisse" auf Herunterladen.Tipp:
Bevor Sie Äußerungen nicht einfach entfernen können, nachdem Sie sie akzeptiert haben, möchten Sie möglicherweise eine neue Version Ihres Skills erstellen oder vorsorglich klonen. - Öffnen Sie die CSV-Datei mit einem Tabellenkalkulationsprogramm.
Prüfen Sie die Äußerungen in der Ergebnisspalte anhand der Spalten
IntentName
und "prompt". Aktualisieren Sie gegebenenfalls die Äußerungen in der Ergebnisspalte, oder löschen Sie ganze Zeilen. Wenn die Äußerung nicht korrigiert werden kann, können Sie die ganze Zeile löschen. Wenn ein Crowdworker immer wieder falsche Äußerungen eingibt, weil er die Prompts nicht verstanden oder die allgemeinen Paraphrasierungsrichtlinien nicht befolgt hat, können Sie das Arbeitsblatt nach der Contributor-Spalte sortieren und dann Zeilen löschen. Achten Sie dabei darauf, die Zeile komplett zu löschen. Andernfalls können Sie die Datei nicht hochladen.Tipp:
Sie müssen sich nur auf die SpaltenintentName
,prompt
,result
undcontributor
der Kalkulationstabelle konzentrieren. Die anderen können Sie ignorieren. - Wenn Sie fertig sind, klicken Sie auf der Seite "Ergebnisse" auf Hochladen. Navigieren Sie zur CSV-Datei, und wählen Sie sie aus. Wählen Sie Intent-Paraphrasierung aus, geben Sie einen Namen ein, und klicken Sie auf Hochladen.
- Wenn Sie die Äußerungen zu den Trainingsdaten eines Intents hinzufügen möchten, klicken Sie auf der Seite "Ergebnisse" auf Akzeptieren. Klicken Sie auf Ablehnen, wenn Sie sie nicht zum Trainingsset hinzufügen möchten. Sie können einen Job ablehnen, wenn es sich um einen Test handelt oder wenn er aufgrund von mangelhaft konzipierten Prompts und Hinweisen nicht genutzt werden kann.
Anmerkungsjobs
Wenn Chatdaten einem Intent zugeordnet oder für ML-Entitys mit Anmerkungen versehen werden müssen, können Sie einen Anmerkungsjob erstellen. Mitarbeiter schließen Annotationsjobs für Intents ab, indem sie eine Äußerung mit einem Intent abgleichen. Bei Entityannotationsjobs kennzeichnen Mitarbeiter den Text in der Äußerung für eine ML-Entity. Sie können diese Jobs mit einer CSV-Datei mit einer Spalte utterance
, zuvor abgeschlossenen Anmerkungsjobs oder durch Kombination der beiden Ansätze erstellen. Sie können auch einen Intent-Annotationsjob aus den im Retrainer erfassten Äußerungen erstellen.
Beschreibung der Illustrationsannotation-csv.png
Intent-Annotationsjob erstellen
- Klicken Sie auf der Seite "Jobs" auf + Neuer Job.
- Wählen Sie Intent-Annotation aus.
- Geben Sie einen Namen ein.
- Geben Sie die Sprache ein, die von den Crowdworkern verwendet wird.
- Laden Sie die Datei hoch, klicken Sie auf Weiter, notieren Sie sich die Anzahl der Elemente für den Job, und klicken Sie auf Starten.
- Klicken Sie auf Link kopieren, und fügen Sie den Link in eine E-Mail ein, die an Crowdworker gesendet wird. Mitarbeiter akzeptieren den Job, indem sie auf diesen Link klicken. Nachdem sie sich angemeldet haben, überprüfen Crowdworker grundlegende Regeln zur Klassifizierung von Äußerungen.
Aktives Lernen hilft Crowdworkern. Dabei werden alle Intents des Skills danach eingestuft, wie wahrscheinlich es ist, dass sie der Äußerung entsprechen. Das Intent mit dem höchsten Potenzial, der Äußerung zu entsprechen, wird zuerst angezeigt. Ebenso werden die Äußerungen, die sich derzeit im Korpus befinden, den Crowdworker als Leitfaden verwenden, nach ihrer Wahrscheinlichkeit, der Äußerung zu entsprechen, eingestuft.
Sie können den Fortschritt auf der Seite "Jobs" überwachen.
Anmerkungsjob prüfen
- Nachdem der Job abgeschlossen ist oder Sie auf Abbrechen geklickt haben, weil Sie glauben, dass der Job so gut wie vollständig ist, klicken Sie auf Anzeigen.
- Wenn Sie mit einigen Entscheidungen der Crowdworker nicht einverstanden sind, klicken Sie auf Herunterladen, um eine CSV-Datei mit den Ergebnissen in das lokale System herunterzuladen.
- Geben Sie in der CSV-Datei den erwarteten Intent-Namen in der Spalte
intentName
ein. - Überschreiben Sie das vom Crowdworker ausgewählte Intent in der Spalte
result
, indem Sie den Namen der Unterhaltung für das Intent eingeben, das Sie in der SpalteintentName
eingegeben haben. - Wenn Sie die Prüfung abgeschlossen haben, klicken Sie auf der Seite "Ergebnisse" auf Hochladen. Wählen Sie dann die Datei aus, geben Sie einen Namen ein, und klicken Sie auf Hochladen.
HinweisDie Ergebnisse werden mit dem aktuellen Job zusammengeführt.
Sie können keine Einträge aus den Ergebnissen entfernen. Die Ergebnisse behalten alle Einträge bei, selbst wenn Sie vor dem Hochladen eine Zeile aus der CSV-Datei löschen. Wenn Sie mangelhafte Einträge entfernen möchten (weil Sie nicht den gesamten Job ablehnen möchten), müssen Sie eine separate Ergebnismenge erstellen, die zu keinem Job gehört. Dazu entfernen Sie den Inhalt aus den SpaltenjobId
undId
, bevor Sie die Datei hochladen. - Trainieren Sie den Skill nach.
Hinweis
Nur die Äußerungen, die einem Intent entsprechen, werden den Trainingsdaten hinzugefügt. Die als Keine dieser Intents oder Ich bin nicht sicher klassifizierten Intents werden ausgeschlossen.
Entityanmerkungsjob erstellen
Ihr Skill benötigt mindestens eine ML-Entity für diesen Job. Sie können keinen Entityanmerkungsjob mit Nicht-ML-Entitys erstellen.
- Klicken Sie auf der Seite "Jobs" auf + Neuer Job.
- Wählen Sie Objektannotation aus.
- Geben Sie einen Namen ein.
- Geben Sie die Sprache ein, die von den Crowdworkern verwendet wird.
- Wählen Sie die ML-Entity (oder ML-Entitys), aus der Crowdworker auswählen sollen. Idealerweise haben diese Entitäten hilfreiche Namen und kurze Beschreibungen.
- Wenn dies Ihr erster Entityanmerkungsjob ist, navigieren Sie zu einer CSV-Datei, und wählen Sie sie aus. Je nach Format dieser Datei können Sie Mitarbeitern kommentierte oder nicht kommentierte Äußerungen bereitstellen:
- Laden Sie bei nicht kommentierten Äußerungen eine CSV-Datei hoch, in der die einfachen Äußerungen unter einer einzelnen Spalte organisiert sind:
utterance
:utterance I want to order a family size pepperoni pizza with thin crust and mozzarella cheese I want to order a large supreme pizza with regular crust and provolone cheese I want to order a medium size meat-lover pizza with gluten-free crust and goat cheese
- Laden Sie für kommentierte Äußerungen eine CSV-Datei mit einer einzelnen Spalte hoch (
annotation
), wobei jede Äußerung als JSON-Objekt dargestellt wird. Die EigenschaftenbeginOffset
undendOffset
stellen den Anfang und das Ende des für die ML-Entity beschrifteten Textes dar. Unter ML-Entitys erstellen werden die anderen Eigenschaften in diesem Objekt beschrieben.
Crowdworker prüfen die vorhandenen Labels, die durch diese Offsets definiert sind, und ändern sie, wenn sie falsch sind.annotation "[ { ""Utterance"":{ ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"", ""languageTag"":""en"", ""entities"":[ { ""entityValue"":""family"", ""entityName"":""MLPizzaCrust"", ""beginOffset"":18, ""endOffset"":24 }, { ""entityValue"":""mozzarella"", ""entityName"":""MLCheeseType"", ""beginOffset"":66, ""endOffset"":76 }, { ""entityValue"":""pepperoni"", ""entityName"":""MLPizzaType"", ""beginOffset"":30, ""endOffset"":39 } ] } } ]" "[ { ""Utterance"":{ ""utterance"":""I want to order a large supreme pizza with regular crust and provolone cheese"", ""languageTag"":""en"", ""entities"":[ { ""entityValue"":""supreme"", ""entityName"":""MLPizzaType"", ""beginOffset"":24, ""endOffset"":31 }, { ""entityValue"":""provolone"", ""entityName"":""MLCheeseType"", ""beginOffset"":61, ""endOffset"":70 }, { ""entityValue"":""regular"", ""entityName"":""MLPizzaCrust"", ""beginOffset"":43, ""endOffset"":50 }, { ""entityValue"":""large"", ""entityName"":""MLPizzaSize"", ""beginOffset"":18, ""endOffset"":23 } ] } } ]"
- Laden Sie bei nicht kommentierten Äußerungen eine CSV-Datei hoch, in der die einfachen Äußerungen unter einer einzelnen Spalte organisiert sind:
- Klicken Sie auf Weiter, prüfen Sie die Anzahl der Datensätze, und wählen Sie Starten aus.
- Kopieren Sie den Link, und fügen Sie ihn in eine E-Mail ein, die an Crowdworker gesendet wird. Mitarbeiter akzeptieren den Job, indem sie auf diesen Link klicken. Bevor sie mit dem Labeling der Äußerungen mit Anmerkungen beginnen, prüfen sie grundlegende Regeln für das Labeling von Inhalten mit Anmerkungen. Wenn die Äußerung Text enthält, der mit einer der auf der Seite aufgeführten ML-Entitys übereinstimmt, hebt ein Crowdworker den anwendbaren Text hervor und wendet das ML-Entitylabel an. Wenn die Äußerung bereits mit Anmerkungen versehen ist, können Mitarbeiter die Labels prüfen und bei Bedarf anpassen.
- Wenn der Job abgeschlossen ist (entweder weil Mitarbeiter die Anmerkungen abgeschlossen haben oder weil Sie ihn abgebrochen haben), können Sie die Ergebnisse anzeigen und im Trainingskorpus der ML-Entity akzeptieren.
Bevor Sie die Ergebnisse hinzufügen, können Crowdworker sie jedoch überprüfen lassen, indem sie einen Entityvalidierungsjob starten. Nur die korrekten Ergebnisse eines Validierungsjobs werden dem Korpus hinzugefügt. Bei Bedarf können Sie in der Registerkarte "Dataset" der ML-Entity zusätzliche Korrekturen und Ergänzungen zu den Jobergebnissen vornehmen.
Validierungsjobs
Bei Validierungsjobs prüfen Crowdworker die Ergebnisse von Paraphrasierungsjobs, Entityanmerkungsjobs oder Aus Retrainer generierte Intent-Validierungsjobs. Um einen Paraphrasierungsjob zu validieren, vergleichen sie die Äußerungen (die Ergebnisse eines Paraphrasierungsjobs oder von ) mit einer Aufgabe, der Eingabeaufforderung des Paraphrasierungsjobs. Bei Entityanmerkungsjobs prüfen sie die Äußerungen, um sicherzustellen, dass die richtige ML-Entity identifiziert wurde und der Text vollständig beschriftet wurde.
Validierungsjob für Intent-Paraphrasierung erstellen
- Klicken Sie auf der Seite "Jobs" auf Job hinzufügen.
- Wählen Sie Intent-Paraphrasierungsvalidierung aus.
- Geben Sie einen Namen ein.
- Geben Sie die Sprache ein, die von den Crowdworkern verwendet wird.
- Fügen Sie Paraphrasierungsjobs hinzu, die noch nicht akzeptiert wurden (d.h. beendete oder abgeschlossene Jobs). Sie können entweder eine CSV-Datei aus dem lokalen System hochladen, einen oder mehrere Paraphrasierungsjobs auswählen oder einen Job aus beidem erstellen.
- Klicken Sie auf Weiter, prüfen Sie die Anzahl der Datensätze, und wählen Sie Starten aus.
- Nachdem die Zeile für den Validierungsjob auf der Seite "Jobs" hinzugefügt wurde (Sie müssen möglicherweise auf Aktualisieren klicken), klicken Sie auf Link kopieren.
- Fügen Sie den Link in eine E-Mail ein, die an Crowdworker gesendet wird. Nachdem die Crowdworker den Job akzeptiert haben, prüfen sie grundlegende Regeln zur Bewertung der Äußerungen.
Dann bewerten sie eine Äußerung.
Sie können den Fortschritt der Mitarbeiter auf der Seite "Jobs" überwachen.
Validierungsjob prüfen
Nachdem die Mitarbeiter den Validierungsjob abgeschlossen haben (oder Sie den Job abbrechen, weil er so gut wie abgeschlossen ist), können Sie ihn anzeigen, akzeptieren oder ablehnen. Obwohl Validierungsjobs Tausende von Ergebnissen enthalten können (weshalb sie sich zum Crowdsourcing eignen), sollten Sie diese möglicherweise dennoch einzeln prüfen. Beispiel: Im Dialogfeld "Ergebnisse anzeigen" können Antworten angezeigt werden, mit denen Sie nicht einverstanden sind. Sie können diese vor dem Festschreiben der Ergebnisse in den Trainingsdaten ändern oder entfernen.
Beschreibung der Abbildung review-validation-job.png
- Laden Sie den Job als CSV herunter, entweder im Dialogfeld "Ergebnisse anzeigen" oder indem Sie auf der Seite "Ergebnisse" auf Herunterladen klicken.
- Öffnen Sie die CSV-Datei in einem Tabellenkalkulationsprogramm.
- Vergleichen Sie die Einträge in den Spalten
IntentName
und "prompt", und ändern Sie gegebenenfalls den Ergebniseintrag. Sie können nur diese Spalte bearbeiten oder eine ganze Zeile entfernen.
Im Allgemeinen müssen Sie sich nur auf diese drei Spalten konzentrieren. Sie können aber auch nach der Contributor-Spalte sortieren, um die Arbeit eines bestimmten Crowdworkers zu isolieren. Wenn die Entscheidungen dieses Mitarbeiters konsistent unzuverlässig sind, können Sie alle Zeilen für diesen Beitragenden löschen.Hinweis
Achten Sie dabei darauf, die Zeile komplett zu löschen. Sie können keine CSV-Datei mit einer teilweise vorhandenen Zeile hochladen. - Wenn Sie den Vorgang abgeschlossen haben, klicken Sie auf der Seite "Ergebnisse" auf Hochladen. Navigieren Sie zur CSV-Datei, und wählen Sie sie aus. Wählen Sie Validierung aus, geben Sie einen Namen ein, und klicken Sie auf Hochladen.
- Klicken Sie auf Akzeptieren oder Ablehnen. Wenn Sie den Job akzeptieren, werden dem Trainingsset nur die "richtigen" Äußerungen hinzugefügt. Dieser Vorgang kann nicht rückgängig gemacht werden. Sie können diese Äußerungen nur manuell entfernen.
- Trainieren Sie den Skill nach.
Validierungsjob für Entityanmerkungen erstellen
- Klicken Sie auf der Seite "Jobs" auf Neuer Job.
- Wählen Sie Entityvalidierung aus.
- Geben Sie einen Namen ein.
- Geben Sie die Sprache ein, die von den Crowdworkern verwendet wird.
- Sie können entweder eine CSV-Datei aus Ihrem lokalen System hochladen, einen oder mehrere abgeschlossene Entityanmerkungsjobs (einschließlich Jobs, die von Mitarbeitern abgeschlossen oder abgebrochen wurden) auswählen oder sie kombinieren, um einen einzelnen Job zu erstellen. Die CSV-Datei hat dasselbe Format wie das Format, mit dem einem Entityanmerkungsjob annotierte Äußerungen hinzugefügt werden: Sie enthält die einzelne Spalte
annotation
und JSON-Objekte für Äußerungen:annotation "[ { ""Utterance"":{ ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"", ""languageTag"":""en"", ""entities"":[ { ""entityValue"":""family"", ""entityName"":""MLPizzaCrust"", ""beginOffset"":18, ""endOffset"":24 }, { ""entityValue"":""mozzarella"", ""entityName"":""MLCheeseType"", ""beginOffset"":66, ""endOffset"":76 }, { ""entityValue"":""pepperoni"", ""entityName"":""MLPizzaType"", ""beginOffset"":30, ""endOffset"":39 } ] } } ]" ...
- Klicken Sie auf Fortfahren, prüfen Sie die Anzahl der Datensätze, und klicken Sie auf Starten.
- Fügen Sie den Link in eine E-Mail ein, die an Crowdworker gesendet wird.
Nachdem die Crowdworker den Job akzeptiert haben, prüfen sie grundlegende Regeln zur Bewertung der Anmerkungen. Von dort aus prüfen sie die Anmerkungen, indem sie sie als korrekt, falsch oder nicht sicher klassifizieren.
Sie können den Fortschritt der Mitarbeiter auf der Seite "Jobs" überwachen. Wenn der Job abgeschlossen ist, können Sie die Ergebnisse prüfen, bevor Sie ihn akzeptieren oder ablehnen.
Wenn Sie auf "Akzeptieren" klicken, fügen Sie dem Trainingsset der ML-Entity die richtigen Ergebnisse hinzu. Bei Bedarf können Sie sie auf der Registerkarte "Dataset" weiter bearbeiten.
Testsuites erstellen
- Wählen Sie den Bericht auf der Seite "Ergebnisse" aus, und klicken Sie dann auf
- Wählen Sie Test Suite aus.
- Füllen Sie das Dialogfeld aus, indem Sie die Testsuite und den Namen angeben und die Sprache auswählen, in der die Äußerungen getestet werden. Klicken Sie anschließend auf Erstellen.
- Öffnen Sie den Äußerungstester, um die Testsuite auszuführen.