Datenproduktion

Als einzelner Entwickler kann es für Sie schwierig oder sogar unmöglich sein, ein großes, vielfältiges Set von Äußerungen zu erstellen, insbesondere wenn Sie Trainingsdaten für mehrere Intents oder ML-Entitys bereitstellen müssen. Anstatt dass Sie Trainingsdaten alleine erstellen, können Sie diese Aufgabe mit Oracle Digital Assistant per Crowdsourcing abschließen. Die Erledigung per Crowdsourcing kann besonders nützlich sein, wenn Sie Äußerungen benötigen, die nur Experten in der Anwendung oder dem Fachbereich bereitstellen können.

Was ist ein Datenproduktionsjob?

Data Manufacturing-Jobs sind Sammlungen von Aufgaben, die Crowdworkern zugewiesen sind. Die Jobs selbst konzentrieren sich auf verschiedene Möglichkeiten zur Verbesserung von Intents und ML-Entitäten.

Anmerkungsjobs

Sie können einen Anmerkungsjob zuweisen, wenn Loggingdaten einem Intent zugeordnet werden müssen oder wenn ein einzelnes Intent zu umfassend ist und in separate Intents aufgeteilt werden muss. Sie können Crowdworkern auch eine Anmerkung zu den Schlüsselwörtern und Wortgruppen aus den Trainingsdaten zuweisen, die sich auf eine ML-Entity beziehen.

Validierungsjobs

Bei Validierungsjobs prüfen Crowd Worker Äußerungen, um zu bestimmen, ob diese der Aufgabe oder Aktion entsprechen, die vom Intent beschrieben wird, oder ob die richtige ML-Entity identifiziert wurde. Nur Äußerungen, die von Crowdworkern als gültig eingestuft wurden, werden den Trainingsdaten hinzugefügt.

Paraphrasierungsjobs

Mit dem Paraphrasierungsjob erfassen Sie Äußerungen aus der Menge. Diese Aufgabe beschreibt, wie sie ihre Äußerungen erstellen sollen.

Der Workflow für die Datenproduktion

Um einen Datenproduktionsjob zu erstellen, legen Sie zunächst einen Job an und überwachen dessen Fortschritt. Wenn Sie auf die Daten zugreifen möchten, bevor der Job offiziell beendet ist (z.B. wenn die Crowdworker nicht mehr am Job arbeiten), können Sie den Job abbrechen. Abschließend prüfen Sie die Ergebnisse, bevor Sie sie den Trainingsdaten hinzufügen, indem Sie sie akzeptieren. Sie können die Daten auch durch Ablehnung aus den Trainingsdaten ausschließen.

Job erstellen

Klicken Sie in der linken Navigationsleiste auf Produktion .
Klicken Sie auf der Seite "Jobs" auf Job hinzufügen.

Beschreibung der Abbildung create-job-landing-page.png
Wählen Sie den Jobtyp aus (Paraphrasierung, Validierung oder Anmerkung).

Beschreibung der Abbildung new-job-dialog.png
Wählen Sie die Sprache aus, die von den Crowdworkern verwendet wird. Die Standardsprache ist die vorherrschende Sprache des Skills. Sie können jedoch aus anderen nativ unterstützten Sprachen wählen. Allerdings können Sie keine Sprache auswählen, die von einem Übersetzungsservice aktiviert wird.
Klicken Sie auf Starten. Nachdem Sie einen Job gestartet haben, wird sein Status auf der Seite "Jobs" als "Wird ausgeführt" angegeben. Sie können einen Job nicht bearbeiten, wenn er ausgeführt wird. Wenn Sie eine Änderung vornehmen möchten, müssen Sie zuerst den Job abbrechen, ihn duplizieren und ihn dann bearbeiten, bevor Sie ihn erneut starten.
Um den Job an die Crowd zu senden, klicken Sie auf Link kopieren. Fügen Sie den Link dann in einer E-Mail ein, die an die Crowdworker gesendet wird.

Beschreibung der Abbildung jobs-copy-link.png

Crowdworker akzeptieren den Job, indem sie auf diesen Link klicken. Nachdem ein Crowdworker den Job akzeptiert hat, prüft er allgemeine Regeln für Paraphrasierungs-, Anmerkungs- oder Validierungsjobs.
Hinweis

Crowdworker geben ihre Namen und E-Mail-Adressen zu Trackingzwecken an. Sie sortieren die Ergebnisse nach ihren Namen, um ihren Erfolg bei der Ausführung der Aufgaben zu beurteilen.

Fortschritt der Crowdworker überwachen

Sie können den Fortschritt der Crowdworker für den ausgeführten Job auf der Seite "Jobs" überwachen. Sie können jedoch nicht auf die Ergebnisse zugreifen oder sie anzeigen, wenn der Status eines Jobs "Wird ausgeführt" lautet. Sie können nur dann auf die Ergebnisse zugreifen, wenn Mitarbeiter den Job abgeschlossen haben oder wenn Sie einen Job abgebrochen haben, da Sie glauben, dass er so vollständig wie möglich ist. Wenn das der Fall ist, klicken Sie auf Abbrechen. Die Jobergebnisse enthalten alle abgeschlossenen Datensätze bis zu dem Punkt, an dem Sie sie storniert haben.

Beschreibung der Abbildung jobs-cancel.png

Abgeschlossene oder abgebrochene Jobs können auf der Seite "Ergebnisse" heruntergeladen werden. Auf dieser Seite können Sie normalerweise Ergebnisse aufrufen und ändern, indem Sie diese als CSV-Datei herunterladen. Diese können Sie in einem Tabellenkalkulationsprogramm wie Excel bearbeiten.

Beschreibung der Abbildung job-results.png

Wenn die Anzahl der Jobs steigt, können Sie sie nach "Akzeptiert", "Abgelehnt" oder "Nicht entschieden" (also Jobs, die weder akzeptiert noch abgelehnt wurden) filtern.

Beschreibung von filter-results-page.png folgt

Beschreibung der Abbildung filter-results-page.png

Tipp:

Da der Status "Akzeptiert" oder "Abgelehnt" bedeutet, dass Ihre Arbeit an einem Job abgeschlossen wurde, filtern Sie wahrscheinlich am häufigsten nach "Nicht entschieden".

Ergebnisse prüfen

Klicken Sie auf Anzeigen, um die Ergebnisse zu prüfen.

Beschreibung der Abbildung view-job-results.png

Wenn die meisten Ergebnisse einheitlich falsch sind, klicken Sie auf Ablehnen. Sie können einen schlecht konzipierten Job ablehnen, der Crowdworker verwirrt oder irreführt, oder Sie können einen Job ablehnen, weil er ein Test war. Wenn die Ergebnisse korrekt sind, können Sie sie Ihrem Trainingsset hinzufügen, indem Sie auf Akzeptieren klicken. Bevor Sie diese Option auswählen, sollten Sie bedenken, dass Sie diesen Vorgang nicht rückgängig machen können. Dadurch wird die gesamte Ergebnismenge zu Ihren Trainingsdaten hinzugefügt. Da Sie versehentlich falsche Äußerungen hinzufügen können, die Sie nur durch Bearbeiten des Intents entfernen können, wird empfohlen, die Ergebnisse herunterzuladen und zu bearbeiten, bevor Sie sie in den Trainingskorpus aufnehmen.

Beschreibung der Abbildung Intent-Seite-Bearbeiten-results.png

Durch Bearbeiten der heruntergeladenen CSV-Dateien können Sie die Ergebnisse bereinigen. Bei Paraphrasierungsjobs können Sie durch Bearbeiten der Ergebnisse vor dem Festschreiben im Trainingsset Äußerungen ändern oder löschen.
Hinweis

Der Inhalt in der Spalte result hängt vom Jobtyp ab. Bei einem Paraphrasierungsjob werden die Äußerungen des Crowdworkers in diese Spalte geladen. Bei einem Validierungsjob handelt es sich um die Mitarbeiterauswertung der Äußerung für die Aufgabe (Richtig, Falsch, Nicht sicher). Bei einem Anmerkungsjob ist es das Intent, das mit der Äußerung übereinstimmt.

Beschreibung der Abbildung heruntergeladen-paraphrasing-results-csv.png

Um den Job herunterzuladen, klicken Sie entweder auf der Seite "Ergebnisse" oder im Dialogfeld "Ergebnisse anzeigen" auf Herunterladen . Speichern Sie den Job im lokalen System, und öffnen Sie dann die CSV-Datei mit einem Tabellenkalkulationsprogramm.
Nachdem Sie die Änderungen abgeschlossen haben, klicken Sie auf der Seite "Ergebnisse" auf Hochladen.

Beschreibung der Abbildung upload-results.png
Trainieren Sie den Skill nach.

Paraphrasierungsjobs

Sie sammeln Äußerungen von den Crowdworkern über Paraphrasierungsjobs. Mitarbeiter, die den Paraphrasierungsjob akzeptieren, erzeugen gültige Äußerungen anhand von Richtlinien in Form von Prompts und Hinweisen, die Sie angeben. Ein Prompt erfasst, was Benutzer im Wesentlichen vom Skill erwarten. Ein optionaler Hinweis stellt dem Crowdworker weitere Details zur Verfügung, z.B. Wortlaut- und Entitywerte. Beispiel: "Spesen für einen Händler mit einem Geldbetrag erstellen" ist ein Prompt für das Intent "Spesenabrechnung erstellen". Der dazugehörige Hinweis lautet "Händlernamen ACME und einen Betrag von weniger als 50 US-Dollar verwenden".

Die Zusammenstellung von sprachlich unterschiedlichen, aber semantisch korrekten Äußerungen beginnt mit der Gestaltung des Prompts und des Hinweises. Beachten Sie Folgendes beim Erstellen der Prompts:

Ein Prompt ist keine Äußerung. Äußerungen können die Kreativität von Mitarbeitern aufgrund ihrer Spezifität behindern. Anstatt als Beispiel zu dienen, ermutigen sie die Arbeitnehmer vielmehr, nur geringfügige Abweichungen zu erzeugen. Diese redundanten Phrasen überladen den Trainingskorpus unnötig und verbessern nicht die Erkennungsfähigkeiten des Skills.
Wenn Sie mehrere Prompts für ein Intent verwenden, variieren Sie diese. Jeder Prompt in einem Paraphrasierungsjob wird wahrscheinlich an andere Crowdworker verteilt. Selbst wenn ein Crowdworker mehrere Prompts aus demselben Paraphrasierungsjob erhält, ändert sich die Perspektive des Mitarbeiters durch einen anderen Prompt.

Verwenden Sie Hinweise, um Variation zu fördern. Sie können Hinweise für beliebige Elemente definieren, die in Äußerungen aufgenommen (oder nicht aufgenommen) werden sollen. Da Sie Ihre Prompts variieren, sollten Sie die entsprechenden Hinweise ebenfalls variieren.

Prompt	Hinweis
Spesenposten für Flughafenparkplatz erstellen	Geben Sie den Flughafencode (SFO, LAX usw.), ein vollständiges Datum (dd/mm/yyyy) und einen Betrag in US-Dollar an.
Spesen für eine Mahlzeit erstellen	Geben Sie den Namen des Restaurants, ein vollständiges Datum (dd/mm/yyyy) und einen Betrag in US-Dollar an.

Paraphrasierungsjob erstellen

Sie können eine Paraphrasierung aus einer CSV-Datei erstellen, die die Intent-Namen und die entsprechenden Prompts und Hinweise enthält, oder indem Sie einzelne Prompts und Hinweise für ein ausgewähltes Intent hinzufügen. Sie können jeweils eine der beiden Methoden verwenden, diese jedoch nicht kombinieren.

Wenn Sie noch keine Jobs erstellt haben, klicken Sie (entweder auf der Landingpage, wenn Sie noch keine Jobs erstellt haben, oder auf der Registerkarte "Jobs", wenn Jobs vorhanden sind) auf Job hinzufügen.
Wählen Sie Paraphrasierung aus.
Geben Sie einen Jobnamen ein.
Wählen Sie die Sprache aus, die von den Crowdworkern verwendet wird. Standardmäßig wird die vorherrschende Sprache des Skills angezeigt. Sie können jedoch andere nativ unterstützte Sprachen auswählen, die für den Skill festgelegt wurden.
Fügen Sie die Prompts und Hinweise (optional) für die Intents hinzu. Sie können diese offline in einer CSV-Datei mit den Spalten intentName, prompt und hint erstellen und sie als Batch hinzufügen oder im Dialogfeld "Neuer Job" nacheinander. Sie können diese Spalten in beliebiger Reihenfolge in der CSV-Datei hinzufügen.

Beschreibung der Abbildung promts-csv.png

Hinweis

Wenn Sie eine andere Sprache als die vorherrschende Sprache des Skills ausgewählt haben, müssen Ihre Prompts und Hinweise ebenfalls diese Sprache verwenden.
Wenn Sie die Prompts, Hinweise und Intent-Namen zu einer CSV-Datei hinzugefügt haben, klicken Sie auf Hochladen. Wählen Sie die Datei dann aus. Klicken Sie anschließend auf Weiter.
Fügen Sie bei Bedarf weitere Prompts hinzu , bearbeiten Sie Prompts , oder löschen Sie Prompts , falls erforderlich, oder ändern Sie die Anzahl der Äußerungen pro Prompt. Klicken Sie auf Starten.

Beschreibung der Abbildung edit-prompts-hints-upload.png
Um einen Paraphrasierungsjob manuell zu erstellen, klicken Sie auf Auswählen.
Klicken Sie auf das Feld "Intents", um ein Intent aus dem Menü auszuwählen, oder klicken Sie auf die Option Alle ... Intents auswählen, wenn Sie Prompts zum gesamten Intent-Set hinzufügen möchten.

Beschreibung der Abbildung new-job-paraphrasing.png
Klicken Sie auf Weiter.
Klicken Sie in das Feld "Prompt", oder klicken Sie auf Bearbeiten , um den Prompt einzugeben.
Klicken Sie in das Feld "Hinweis" oder klicken Sie auf Bearbeiten , um den Prompt einzugeben.
- Klicken Sie auf Hinzufügen , um einen weiteren Prompt zu erstellen. Beachten Sie, dass jeder neue Prompt möglicherweise ein separater Job ist, der von einem anderen Crowdworker bearbeitet wird.
- Löschen oder überarbeiten Sie Prompts oder Hinweise bei Bedarf.
Wählen Sie die Anzahl der Paraphrasen pro Prompt aus.
Klicken Sie abschließend auf Starten.

Beschreibung der Abbildung edit-promts-hints.png

Der Paraphrasierungsjob wird auf der Seite "Jobs" als neue Zeile mit dem Status "Wird ausgeführt" angezeigt.
Klicken Sie in der Zeile auf Link kopieren, und fügen Sie den Link in eine E-Mail ein, die Sie an die Crowd senden. Crowdworker akzeptieren den Job, indem sie auf diesen Link klicken. Nachdem Crowdworker den Job akzeptiert haben, prüfen sie allgemeine Regeln für Paraphrasierungsjobs.

Beschreibung der Abbildung paraphrasing-help-page.png

Hinweis

Das Gebietsschema des Mitarbeiters wird auf die im Dialogfeld "Job erstellen" ausgewählte Sprache gesetzt.
Anschließend leiten Mitarbeiter ihre Paraphrasen weiter.

Beschreibung der Abbildung employee-paraphrasing-page.png

Auf der Seite "Jobs" können Sie den Fortschritt der Ausführung in Echtzeit überwachen.

Beschreibung der Abbildung paraphrasing-jobs-page.png

Tipps für Paraphrasierungsjobs

Für die Ergebnisse eines Paraphrasierungsjobs, um das Trainingskorpus wirklich zu verbessern, ist es wichtig, es auf eine Weise einzurichten, die verschiedene und reale Phrasen für den Anwendungsfall hervorruft. Hier sind einige Tipps, um Ihre Paraphrasierungsjobs erfolgreicher zu machen:

Formulieren Sie sorgfältig die Anwendungsfälle, die Sie als Samen für die Aufgaben verwenden können.
Unter Verwendung der "Seed-Anwendungsfälle" werden konkrete Szenarien beschrieben, für die der Benutzer Äußerungen bereitstellen soll, anstatt lediglich nach Variationen einer Wortgruppe zu fragen.
Stellen Sie mehrere Szenarios für dasselbe Intent bereit.
Verwenden Sie das Feld Hinweis, um Tipps zu geben, mit denen die Perspektive erweitert werden kann. Beispiel: Für ein Aufwands-Intent können Sie den Hinweis "Verschiedene Währungen einschließen, als ob Sie unterwegs wären" hinzufügen.

Paraphrasierungsjob prüfen

Bevor Sie die Äußerungen zum Trainingsset hinzufügen, sollten Sie sie auf Semantik, Rechtschreibung oder Spam prüfen.

So prüfen Sie den Paraphrasierungsjob:

Sie können warten, bis ein Job abgeschlossen ist, oder auf der Seite "Jobs" auf Abbrechen klicken, wenn Sie glauben, dass alle Beiträge an einem laufenden Job geleistet wurden.
Klicken Sie auf Ergebnisse. Auf der Seite "Ergebnisse" werden nur abgebrochene oder abgeschlossene Jobs angezeigt.

Beschreibung der Abbildung paraphrase-job-results-page.png
Klicken Sie auf Anzeigen, um eine schreibgeschützte Ansicht der Äußerungen anzuzeigen. Mit den Optionen in diesem Dialogfeld können Sie den Job als CSV herunterladen oder ihn vollständig akzeptieren oder ablehnen.

Beschreibung der Abbildung review-results-paraphrasing-job-dialog.png

Bevor Sie alle Jobaufgaben gleichzeitig ablehnen oder akzeptieren (dieser Vorgang kann nicht automatisch rückgängig gemacht werden), können Sie den Job herunterladen und die Ergebnisse bereinigen, bevor Sie sie zum Trainingsset hinzufügen. Wenn Sie diesen Ansatz verfolgen, klicken Sie entweder in diesem Dialogfeld oder auf der Seite "Ergebnisse" auf Herunterladen.

Tipp:
Bevor Sie Äußerungen nicht einfach entfernen können, nachdem Sie sie akzeptiert haben, möchten Sie möglicherweise eine neue Version Ihres Skills erstellen oder vorsorglich klonen.
Öffnen Sie die CSV-Datei mit einem Tabellenkalkulationsprogramm.
Prüfen Sie die Äußerungen in der Ergebnisspalte anhand der Spalten IntentName und "prompt". Aktualisieren Sie gegebenenfalls die Äußerungen in der Ergebnisspalte, oder löschen Sie ganze Zeilen. Wenn die Äußerung nicht korrigiert werden kann, können Sie die ganze Zeile löschen. Wenn ein Crowdworker immer wieder falsche Äußerungen eingibt, weil er die Prompts nicht verstanden oder die allgemeinen Paraphrasierungsrichtlinien nicht befolgt hat, können Sie das Arbeitsblatt nach der Contributor-Spalte sortieren und dann Zeilen löschen. Achten Sie dabei darauf, die Zeile komplett zu löschen. Andernfalls können Sie die Datei nicht hochladen.

Tipp:
Sie müssen sich nur auf die Spalten intentName, prompt, result und contributor der Kalkulationstabelle konzentrieren. Die anderen können Sie ignorieren.

Beschreibung der Abbildung review-paraphasing-results-csv.png
Wenn Sie fertig sind, klicken Sie auf der Seite "Ergebnisse" auf Hochladen. Navigieren Sie zur CSV-Datei, und wählen Sie sie aus. Wählen Sie Intent-Paraphrasierung aus, geben Sie einen Namen ein, und klicken Sie auf Hochladen.

Beschreibung der Abbildung upload-paraphrase-results.png
Wenn Sie die Äußerungen zu den Trainingsdaten eines Intents hinzufügen möchten, klicken Sie auf der Seite "Ergebnisse" auf Akzeptieren. Klicken Sie auf Ablehnen, wenn Sie sie nicht zum Trainingsset hinzufügen möchten. Sie können einen Job ablehnen, wenn es sich um einen Test handelt oder wenn er aufgrund von mangelhaft konzipierten Prompts und Hinweisen nicht genutzt werden kann.

Beschreibung der Abbildung accept-paraphrase-job-results.png

Anmerkungsjobs

Wenn Chatdaten einem Intent zugeordnet oder für ML-Entitys mit Anmerkungen versehen werden müssen, können Sie einen Anmerkungsjob erstellen. Mitarbeiter schließen Annotationsjobs für Intents ab, indem sie eine Äußerung mit einem Intent abgleichen. Bei Entityannotationsjobs kennzeichnen Mitarbeiter den Text in der Äußerung für eine ML-Entity. Sie können diese Jobs mit einer CSV-Datei mit einer Spalte utterance, zuvor abgeschlossenen Anmerkungsjobs oder durch Kombination der beiden Ansätze erstellen. Sie können auch einen Intent-Annotationsjob aus den im Retrainer erfassten Äußerungen erstellen.
Beschreibung von annotation-csv.png folgt
Beschreibung der Illustrationsannotation-csv.png

Intent-Annotationsjob erstellen

Klicken Sie auf der Seite "Jobs" auf + Neuer Job.
Wählen Sie Intent-Annotation aus.
Geben Sie einen Namen ein.
Geben Sie die Sprache ein, die von den Crowdworkern verwendet wird.
Laden Sie die Datei hoch, klicken Sie auf Weiter, notieren Sie sich die Anzahl der Elemente für den Job, und klicken Sie auf Starten.
Klicken Sie auf Link kopieren, und fügen Sie den Link in eine E-Mail ein, die an Crowdworker gesendet wird. Mitarbeiter akzeptieren den Job, indem sie auf diesen Link klicken. Nachdem sie sich angemeldet haben, überprüfen Crowdworker grundlegende Regeln zur Klassifizierung von Äußerungen.

Beschreibung der Abbildung annotation-help.png

Aktives Lernen hilft Crowdworkern. Dabei werden alle Intents des Skills danach eingestuft, wie wahrscheinlich es ist, dass sie der Äußerung entsprechen. Das Intent mit dem höchsten Potenzial, der Äußerung zu entsprechen, wird zuerst angezeigt. Ebenso werden die Äußerungen, die sich derzeit im Korpus befinden, den Crowdworker als Leitfaden verwenden, nach ihrer Wahrscheinlichkeit, der Äußerung zu entsprechen, eingestuft.

Beschreibung der Abbildung employee-annotation-page.png

Sie können den Fortschritt auf der Seite "Jobs" überwachen.

Anmerkungsjob prüfen

Nachdem der Job abgeschlossen ist oder Sie auf Abbrechen geklickt haben, weil Sie glauben, dass der Job so gut wie vollständig ist, klicken Sie auf Anzeigen.

Beschreibung der Abbildung review-annotation-job.png
Wenn Sie mit einigen Entscheidungen der Crowdworker nicht einverstanden sind, klicken Sie auf Herunterladen, um eine CSV-Datei mit den Ergebnissen in das lokale System herunterzuladen.
Geben Sie in der CSV-Datei den erwarteten Intent-Namen in der Spalte intentName ein.
Überschreiben Sie das vom Crowdworker ausgewählte Intent in der Spalte result, indem Sie den Namen der Unterhaltung für das Intent eingeben, das Sie in der Spalte intentName eingegeben haben.
Wenn Sie die Prüfung abgeschlossen haben, klicken Sie auf der Seite "Ergebnisse" auf Hochladen. Wählen Sie dann die Datei aus, geben Sie einen Namen ein, und klicken Sie auf Hochladen.
Hinweis

Sie können keine Einträge aus den Ergebnissen entfernen. Die Ergebnisse behalten alle Einträge bei, selbst wenn Sie vor dem Hochladen eine Zeile aus der CSV-Datei löschen. Wenn Sie mangelhafte Einträge entfernen möchten (weil Sie nicht den gesamten Job ablehnen möchten), müssen Sie eine separate Ergebnismenge erstellen, die zu keinem Job gehört. Dazu entfernen Sie den Inhalt aus den Spalten jobId und Id, bevor Sie die Datei hochladen.
Die Ergebnisse werden mit dem aktuellen Job zusammengeführt.
Trainieren Sie den Skill nach.
Hinweis

Nur die Äußerungen, die einem Intent entsprechen, werden den Trainingsdaten hinzugefügt. Die als Keine dieser Intents oder Ich bin nicht sicher klassifizierten Intents werden ausgeschlossen.

Entityanmerkungsjob erstellen

Ihr Skill benötigt mindestens eine ML-Entity für diesen Job. Sie können keinen Entityanmerkungsjob mit Nicht-ML-Entitys erstellen.

Klicken Sie auf der Seite "Jobs" auf + Neuer Job.
Wählen Sie Objektannotation aus.
Geben Sie einen Namen ein.
Geben Sie die Sprache ein, die von den Crowdworkern verwendet wird.
Wählen Sie die ML-Entity (oder ML-Entitys), aus der Crowdworker auswählen sollen. Idealerweise haben diese Entitäten hilfreiche Namen und kurze Beschreibungen.

Wenn dies Ihr erster Entityanmerkungsjob ist, navigieren Sie zu einer CSV-Datei, und wählen Sie sie aus. Je nach Format dieser Datei können Sie Mitarbeitern kommentierte oder nicht kommentierte Äußerungen bereitstellen:

Laden Sie bei nicht kommentierten Äußerungen eine CSV-Datei hoch, in der die einfachen Äußerungen unter einer einzelnen Spalte organisiert sind: utterance:

utterance
I want to order a family size pepperoni pizza with thin crust and mozzarella cheese
I want to order a large supreme pizza with regular crust and provolone cheese
I want to order a medium size meat-lover pizza with gluten-free crust and goat cheese

Laden Sie für kommentierte Äußerungen eine CSV-Datei mit einer einzelnen Spalte hoch (annotation), wobei jede Äußerung als JSON-Objekt dargestellt wird. Die Eigenschaften beginOffset und endOffset stellen den Anfang und das Ende des für die ML-Entity beschrifteten Textes dar. Unter ML-Entitys erstellen werden die anderen Eigenschaften in diesem Objekt beschrieben.

annotation
"[
   {
      ""Utterance"":{
         ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"",
         ""languageTag"":""en"",
         ""entities"":[
            {
               ""entityValue"":""family"",
               ""entityName"":""MLPizzaCrust"",
               ""beginOffset"":18,
               ""endOffset"":24
            },
            {
               ""entityValue"":""mozzarella"",
               ""entityName"":""MLCheeseType"",
               ""beginOffset"":66,
               ""endOffset"":76
            },
            {
               ""entityValue"":""pepperoni"",
               ""entityName"":""MLPizzaType"",
               ""beginOffset"":30,
               ""endOffset"":39
            }
         ]
      }
   }
]"
"[
   {
      ""Utterance"":{
         ""utterance"":""I want to order a large supreme pizza with regular crust and provolone cheese"",
         ""languageTag"":""en"",
         ""entities"":[
            {
               ""entityValue"":""supreme"",
               ""entityName"":""MLPizzaType"",
               ""beginOffset"":24,
               ""endOffset"":31
            },
            {
               ""entityValue"":""provolone"",
               ""entityName"":""MLCheeseType"",
               ""beginOffset"":61,
               ""endOffset"":70
            },
            {
               ""entityValue"":""regular"",
               ""entityName"":""MLPizzaCrust"",
               ""beginOffset"":43,
               ""endOffset"":50
            },
            {
               ""entityValue"":""large"",
               ""entityName"":""MLPizzaSize"",
               ""beginOffset"":18,
               ""endOffset"":23
            }
         ]
      }
   }
]"

Crowdworker prüfen die vorhandenen Labels, die durch diese Offsets definiert sind, und ändern sie, wenn sie falsch sind.

Sie können zuvor abgeschlossene Anmerkungsjobs zu einem einzigen Job kombinieren und auch CSVs mit abgeschlossenen Anmerkungsjobs kombinieren. Wenn Sie einen vorherigen Job hinzufügen, werden einige Äußerungen bereits mit Anmerkungen versehen.

Beschreibung von create-entity-annotation-job-dialog.png folgt

Beschreibung der Abbildung create-entity-annotation-job-dialog.png

Klicken Sie auf Weiter, prüfen Sie die Anzahl der Datensätze, und wählen Sie Starten aus.
Kopieren Sie den Link, und fügen Sie ihn in eine E-Mail ein, die an Crowdworker gesendet wird. Mitarbeiter akzeptieren den Job, indem sie auf diesen Link klicken. Bevor sie mit dem Labeling der Äußerungen mit Anmerkungen beginnen, prüfen sie grundlegende Regeln für das Labeling von Inhalten mit Anmerkungen. Wenn die Äußerung Text enthält, der mit einer der auf der Seite aufgeführten ML-Entitys übereinstimmt, hebt ein Crowdworker den anwendbaren Text hervor und wendet das ML-Entitylabel an. Wenn die Äußerung bereits mit Anmerkungen versehen ist, können Mitarbeiter die Labels prüfen und bei Bedarf anpassen.

Beschreibung der Abbildung entity-annotation-worker-page.png
Wenn der Job abgeschlossen ist (entweder weil Mitarbeiter die Anmerkungen abgeschlossen haben oder weil Sie ihn abgebrochen haben), können Sie die Ergebnisse anzeigen und im Trainingskorpus der ML-Entity akzeptieren.

Beschreibung der Abbildung view-entity-annotation-results.png

Bevor Sie die Ergebnisse hinzufügen, können Crowdworker sie jedoch überprüfen lassen, indem sie einen Entityvalidierungsjob starten. Nur die korrekten Ergebnisse eines Validierungsjobs werden dem Korpus hinzugefügt. Bei Bedarf können Sie in der Registerkarte "Dataset" der ML-Entity zusätzliche Korrekturen und Ergänzungen zu den Jobergebnissen vornehmen.

Validierungsjobs

Bei Validierungsjobs prüfen Crowdworker die Ergebnisse von Paraphrasierungsjobs, Entityanmerkungsjobs oder Aus Retrainer generierte Intent-Validierungsjobs. Um einen Paraphrasierungsjob zu validieren, vergleichen sie die Äußerungen (die Ergebnisse eines Paraphrasierungsjobs oder von ) mit einer Aufgabe, der Eingabeaufforderung des Paraphrasierungsjobs. Bei Entityanmerkungsjobs prüfen sie die Äußerungen, um sicherzustellen, dass die richtige ML-Entity identifiziert wurde und der Text vollständig beschriftet wurde.

Validierungsjob für Intent-Paraphrasierung erstellen

Klicken Sie auf der Seite "Jobs" auf Job hinzufügen.
Wählen Sie Intent-Paraphrasierungsvalidierung aus.
Geben Sie einen Namen ein.
Geben Sie die Sprache ein, die von den Crowdworkern verwendet wird.
Fügen Sie Paraphrasierungsjobs hinzu, die noch nicht akzeptiert wurden (d.h. beendete oder abgeschlossene Jobs). Sie können entweder eine CSV-Datei aus dem lokalen System hochladen, einen oder mehrere Paraphrasierungsjobs auswählen oder einen Job aus beidem erstellen.
Klicken Sie auf Weiter, prüfen Sie die Anzahl der Datensätze, und wählen Sie Starten aus.

Beschreibung der Abbildung new-validation-job.png
Nachdem die Zeile für den Validierungsjob auf der Seite "Jobs" hinzugefügt wurde (Sie müssen möglicherweise auf Aktualisieren klicken), klicken Sie auf Link kopieren.

Beschreibung der Abbildung running-validation-job.png
Fügen Sie den Link in eine E-Mail ein, die an Crowdworker gesendet wird. Nachdem die Crowdworker den Job akzeptiert haben, prüfen sie grundlegende Regeln zur Bewertung der Äußerungen.

Beschreibung der Abbildung Validation-help.png

Dann bewerten sie eine Äußerung.

Beschreibung der Abbildung employee-validation-page.png

Sie können den Fortschritt der Mitarbeiter auf der Seite "Jobs" überwachen.

Validierungsjob prüfen

Nachdem die Mitarbeiter den Validierungsjob abgeschlossen haben (oder Sie den Job abbrechen, weil er so gut wie abgeschlossen ist), können Sie ihn anzeigen, akzeptieren oder ablehnen. Obwohl Validierungsjobs Tausende von Ergebnissen enthalten können (weshalb sie sich zum Crowdsourcing eignen), sollten Sie diese möglicherweise dennoch einzeln prüfen. Beispiel: Im Dialogfeld "Ergebnisse anzeigen" können Antworten angezeigt werden, mit denen Sie nicht einverstanden sind. Sie können diese vor dem Festschreiben der Ergebnisse in den Trainingsdaten ändern oder entfernen.
Beschreibung von review-validation-job.png folgt
Beschreibung der Abbildung review-validation-job.png

So bearbeiten Sie die Ergebnisse nacheinander:

Laden Sie den Job als CSV herunter, entweder im Dialogfeld "Ergebnisse anzeigen" oder indem Sie auf der Seite "Ergebnisse" auf Herunterladen klicken.
Öffnen Sie die CSV-Datei in einem Tabellenkalkulationsprogramm.
Vergleichen Sie die Einträge in den Spalten IntentName und "prompt", und ändern Sie gegebenenfalls den Ergebniseintrag. Sie können nur diese Spalte bearbeiten oder eine ganze Zeile entfernen.

Beschreibung der Abbildung review-validation-results-csv.png

Im Allgemeinen müssen Sie sich nur auf diese drei Spalten konzentrieren. Sie können aber auch nach der Contributor-Spalte sortieren, um die Arbeit eines bestimmten Crowdworkers zu isolieren. Wenn die Entscheidungen dieses Mitarbeiters konsistent unzuverlässig sind, können Sie alle Zeilen für diesen Beitragenden löschen.
Hinweis

Achten Sie dabei darauf, die Zeile komplett zu löschen. Sie können keine CSV-Datei mit einer teilweise vorhandenen Zeile hochladen.
Wenn Sie den Vorgang abgeschlossen haben, klicken Sie auf der Seite "Ergebnisse" auf Hochladen. Navigieren Sie zur CSV-Datei, und wählen Sie sie aus. Wählen Sie Validierung aus, geben Sie einen Namen ein, und klicken Sie auf Hochladen.
Klicken Sie auf Akzeptieren oder Ablehnen. Wenn Sie den Job akzeptieren, werden dem Trainingsset nur die "richtigen" Äußerungen hinzugefügt. Dieser Vorgang kann nicht rückgängig gemacht werden. Sie können diese Äußerungen nur manuell entfernen.
Trainieren Sie den Skill nach.

Validierungsjob für Entityanmerkungen erstellen

Klicken Sie auf der Seite "Jobs" auf Neuer Job.
Wählen Sie Entityvalidierung aus.
Geben Sie einen Namen ein.
Geben Sie die Sprache ein, die von den Crowdworkern verwendet wird.

Sie können entweder eine CSV-Datei aus Ihrem lokalen System hochladen, einen oder mehrere abgeschlossene Entityanmerkungsjobs (einschließlich Jobs, die von Mitarbeitern abgeschlossen oder abgebrochen wurden) auswählen oder sie kombinieren, um einen einzelnen Job zu erstellen. Die CSV-Datei hat dasselbe Format wie das Format, mit dem einem Entityanmerkungsjob annotierte Äußerungen hinzugefügt werden: Sie enthält die einzelne Spalte annotation und JSON-Objekte für Äußerungen:

annotation
"[
   {
      ""Utterance"":{
         ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"",
         ""languageTag"":""en"",
         ""entities"":[
            {
               ""entityValue"":""family"",
               ""entityName"":""MLPizzaCrust"",
               ""beginOffset"":18,
               ""endOffset"":24
            },
            {
               ""entityValue"":""mozzarella"",
               ""entityName"":""MLCheeseType"",
               ""beginOffset"":66,
               ""endOffset"":76
            },
            {
               ""entityValue"":""pepperoni"",
               ""entityName"":""MLPizzaType"",
               ""beginOffset"":30,
               ""endOffset"":39
            }
         ]
      }
   }
]"
...

Klicken Sie auf Fortfahren, prüfen Sie die Anzahl der Datensätze, und klicken Sie auf Starten.

Beschreibung der Abbildung entity-validation-job-dialog.png
Fügen Sie den Link in eine E-Mail ein, die an Crowdworker gesendet wird.

Beschreibung der Abbildung entity-validation-help-page.png

Nachdem die Crowdworker den Job akzeptiert haben, prüfen sie grundlegende Regeln zur Bewertung der Anmerkungen. Von dort aus prüfen sie die Anmerkungen, indem sie sie als korrekt, falsch oder nicht sicher klassifizieren.

Beschreibung der Abbildung entity-validation-worker-page.png

Sie können den Fortschritt der Mitarbeiter auf der Seite "Jobs" überwachen. Wenn der Job abgeschlossen ist, können Sie die Ergebnisse prüfen, bevor Sie ihn akzeptieren oder ablehnen.

Beschreibung der Abbildung view-entity-validation-results.png

Wenn Sie auf "Akzeptieren" klicken, fügen Sie dem Trainingsset der ML-Entity die richtigen Ergebnisse hinzu. Bei Bedarf können Sie sie auf der Registerkarte "Dataset" weiter bearbeiten.

Beschreibung der Abbildung utteranaces-added-ml.png

Testsuites erstellen

Sie können Testfälle aus den Ergebnissen von Intent-Annotations- und Intent-Validierungsjobs erstellen.

Wählen Sie den Bericht auf der Seite "Ergebnisse" aus, und klicken Sie dann auf
Wählen Sie Test Suite aus.
Füllen Sie das Dialogfeld aus, indem Sie die Testsuite und den Namen angeben und die Sprache auswählen, in der die Äußerungen getestet werden. Klicken Sie anschließend auf Erstellen.
Öffnen Sie den Äußerungstester, um die Testsuite auszuführen.

Oracle Cloud Infrastructure - Dokumentation