Wir empfehlen, 20 % des Korpus für das Testen von Intents aufzuheben und die verbleibenden 80 % zum Training der Intents zu verwenden. Halten Sie diese beiden Sets getrennt, sodass die Testäußerungen, die Sie in Testfälle integrieren, für den Skill "unbekannt" bleiben.

Wenden Sie die 80/20-Aufteilung auf die Datasets der einzelnen Intents an. Wählen Sie Ihre Äußerungen zufällig aus, bevor Sie diese Aufteilung vornehmen, damit die Trainingsmodelle die Begriffe und Muster in den Äußerungen gleich gewichten können.

Der Äußerungstester bietet Ihnen einen Überblick über die Erkennungsfähigkeit Ihres Skills. Durch die Eingabe von Wortgruppen, die nicht Teil des Trainingskorpus sind, können Sie anhand des Intent-Konfidenzrankings und der zurückgegebenen JSON feststellen, wie gut Sie die Intents ausgearbeitet haben. Dieses Ranking, das eine Schätzung des Skills für den besten Kandidaten zur Lösung der Benutzereingabe ist, zeigt die Genauigkeit zum aktuellen Zeitpunkt an.

Beschreibung der Abbildung utterance-tester-quick-test.png

Mit dem Äußerungstester können Sie Schnelltests für einmalige Tests ausführen oder eine Äußerung als Testfall integrieren, um die Intent-Lösung für verschiedene Versionen von Trainingsmodellen zu bewerten.

1. Klicken Sie auf Äußerungen testen (links).
2. Wenn der Skill mehrere native Sprachen unterstützt, wählen Sie die Testsprache aus. Durch Auswahl dieser Option wird sichergestellt, dass die Äußerung der entsprechenden Sprachversion des Korpus hinzugefügt wird. Standardmäßig ist die primäre Sprache des Skills ausgewählt.
3. Geben Sie eine Zeichenfolge ein.
4. Klicken Sie auf Testen, und prüfen Sie dann das Ranking und die in der Äußerung erkannten Entitys (sofern vorhanden).
5. Prüfen Sie die Intent-Konfidenzscores. (Die Fortschrittsbalken für jedes aufgelistete Intent sind grün, wenn sie das Konfidenzniveau erfüllen oder überschreiten, oder rot, wenn sie das Niveau nicht erreichen).
   Wenn der von Ihrem Skill an oberster Stelle eingestufte Kandidat nicht Ihren Erwartungen entspricht, müssen Sie möglicherweise die Intents nachtrainieren, nachdem Sie eine oder beide der folgenden Aktionen durchgeführt haben:

   • Aktualisieren Sie das Korpus des besseren Kandidaten mit dem soeben eingegebenen Eingabetext. Wählen Sie dazu das entsprechende Intent aus, und klicken Sie dann auf Zu Intent hinzufügen.

     Achtung:

     Überlegen Sie, wie sich das Hinzufügen einer neuen Testphrase auf die Trainingsdaten auswirken kann. Das Hinzufügen einer Testwortgruppe kann die Art und Weise ändern, wie die Äußerungen, die dieser Wortgruppe ähnlich sind, nach dem Nachtrainieren klassifiziert werden. Darüber hinaus führt das Hinzufügen einer Testwortgruppe zur Ungültigkeit des Tests, denn die Aufnahme einer Testwortgruppe in das Trainingsset stellt sicher, dass der Test erfolgreich sein wird. Anstatt eine Testwortgruppe zu den Trainingsdaten hinzuzufügen, sollten Sie sie stattdessen als Testfall speichern.

   • Auf der Seite "Intents" können Sie eine Äußerung bearbeiten () oder entfernen. Beispiel: Ein Intent mit häufig gestellten Fragen erhält möglicherweise aufgrund des Umfangs und der Formulierung seiner konstituierenden Äußerungen eine hohe Einstufung. Wenn Sie nicht möchten, dass Ihre Benutzer häufig gestellte Fragen erhalten, wenn sie typische Fragen stellen, müssen Sie das Korpus überarbeiten.

   Sie müssen ein Intent immer dann nachtrainieren, wenn Sie eine Äußerung hinzufügen, ändern oder löschen. Training erforderlich wird immer angezeigt, wenn Sie die Trainingsdaten ändern.

6. Wenn Intents nicht wie beabsichtigt aufgelöst werden, können Sie das JSON-Fenster erweitern, um die abgeglichenen Intents, Scores und erkannten Entitys in der zurückgegebenen JSON zu prüfen.
7. Klicken Sie auf Zurücksetzen.

Jeder Test enthält eine Äußerung und das Intent, in das er aufgelöst werden soll. Dies wird als Labelübereinstimmung bezeichnet. Ein Testfall kann auch übereinstimmende Entitywerte und die erwartete Sprache für die Äußerung enthalten. Sie können Testfälle ausführen, wenn Sie einen Skill entwickeln, und später, wenn der Skill in Produktion ist, können Sie die Testfälle für Regressionstests verwenden. Im letzteren Fall können Sie Testfälle ausführen, um herauszufinden, ob ein neues Release des Trainingsmodells die Intent-Auflösung negativ beeinflusst hat.

Wie die Testfälle, die Sie mit dem Unterhaltungstester erstellen, gehören auch Äußerungstestfälle zum Skill und werden mit jeder Version übertragen. Wenn Sie einen Skill erweitern, übernimmt die Erweiterung die Testfälle. Während Unterhaltungstestfälle zum Testen eines Szenarios bestimmt sind, dienen Äußerungstestfälle dazu, Fragmente einer Unterhaltung unabhängig zu testen und sicherzustellen, dass jede Äußerung in das richtige Intent aufgelöst wird.

Sie können herausfinden, wie ähnlich Ihre Testphrase den Äußerungen im Trainingskorpus ist, indem Sie auf Ähnliche Äußerungen anzeigen klicken. Dieses Tool bietet eine zusätzliche Perspektive auf die Trainingsdaten des Skills, indem es Ihnen zeigt, wie ähnlich seine Äußerungen der Testphrase sind und wie ähnlich die Äußerungen in allen Intents zueinander sind. Mit diesem Tool können Sie herausfinden, ob die Ähnlichkeit der Testphrase mit Äußerungen anderer Intents der Grund ist, warum die Testphrase nicht wie erwartet aufgelöst wird. Es kann sogar darauf hinweisen, wo Trainingsdaten zum falschen Intent gehören, da sie der Testphrase ähneln.

Beschreibung der Abbildung "ear-utterance-report-all-intents.png"

Die von diesem Tool generierte Liste enthält 20 Äußerungen (zusammen mit den zugehörigen Intents), die der Testphrase am nächsten liegen. Idealerweise gehört die oberste Äußerung in dieser Liste - die am ehesten der Testphrase ähnelt - zu dem Intent, das für die Testphrase bestimmt ist. Wenn die nächste Äußerung, die zum erwarteten Intent gehört, weiter unten ist, kann eine Prüfung der Liste einige Hinweise darauf enthalten, warum. Beispiel: Wenn Sie eine Äußerung des Intents "Transaktionen" testen, wie viel Geld habe ich gestern überwiesen?, würden Sie erwarten, dass die hochrangige Äußerung ebenfalls zu einem Transaktions-Intent gehört. Wenn diese Testäußerung jedoch in das falsche Intent aufgelöst oder unter dem Konfidenzniveau aufgelöst wird, könnte die Liste zeigen, dass sie mit Äußerungen mit hoher Rangfolge mit ähnlichem Wortlaut, die zu anderen Intents gehören, mehr gemein hat. Beispiel: Die Äußerung des Intents "Salden" Wie viel Geld habe ich in allen meinen Konten? könnte näher an der Testäußerung liegen als die niedrigere Wie viel habe ich im April eingezahlt? des Intents "Transaktionen".

You can access the list, which is generated for skills trained on Trainer Tm, by clicking View Similar Utterances in the Utterance Tester or from the Test Cases report.

Beschreibung der Abbildung ähnlich-äußerungen-tester.png

Hinweis

Sie können dieses Tool nur für Skills verwenden, die in Trainer Tm trainiert wurden (es ist nicht für Skills verfügbar, die mit Ht trainiert wurden).