Wir empfehlen, 20 % des Korpus für das Testen von Intents aufzuheben und die verbleibenden 80 % zum Training der Intents zu verwenden. Halten Sie diese beiden Sets getrennt, sodass die Testäußerungen, die Sie in Testfälle integrieren, für den Skill "unbekannt" bleiben.

Wenden Sie die 80/20-Aufteilung auf die Datasets der einzelnen Intents an. Wählen Sie Ihre Äußerungen zufällig aus, bevor Sie diese Aufteilung vornehmen, damit die Trainingsmodelle die Begriffe und Muster in den Äußerungen gleich gewichten können.

Der Äußerungstester ist Ihr Fenster zur Erkennungsfähigkeit Ihres Skills. Durch die Eingabe von Wortgruppen, die nicht Teil des Trainingskorpus sind, können Sie anhand des Intent-Konfidenzrankings und der zurückgegebenen JSON feststellen, wie gut Sie die Intents ausgearbeitet haben. Dieses Ranking, das eine Schätzung des Skills für den besten Kandidaten zur Lösung der Benutzereingabe ist, zeigt die Genauigkeit zum aktuellen Zeitpunkt an.

Beschreibung der Abbildung utterance-tester-quick-test.png

Mit dem Äußerungstester können Sie Schnelltests für einmalige Tests durchführen oder eine Äußerung als Testfall integrieren, um die Intent-Auflösung über verschiedene Versionen von Trainingsmodellen hinweg zu messen.

1. Klicken Sie auf Äußerungen testen (links).
2. Wenn der Skill mehrere native Sprachen unterstützt, wählen Sie die Testsprache aus. Durch Auswahl dieser Option wird sichergestellt, dass die Äußerung zur entsprechenden Sprachversion des Korpus hinzugefügt werden. Standardmäßig ist die primäre Sprache des Skills ausgewählt.
3. Geben Sie eine Zeichenfolge ein.
4. Klicken Sie auf Testen, und prüfen Sie dann das Ranking und die in der Äußerung erkannten Entitys (sofern vorhanden).
5. Prüfen Sie die Intent-Konfidenzscores. (Die Fortschrittsbalken für jedes aufgelistete Intent sind grün, wenn sie das Konfidenzniveau erfüllen oder überschreiten, oder rot, wenn sie das Niveau nicht erreichen).
   Wenn der von Ihrem Skill an oberster Stelle eingestufte Kandidat nicht Ihren Erwartungen entspricht, müssen Sie möglicherweise die Intents nachtrainieren, nachdem Sie eine oder beide der folgenden Aktionen durchgeführt haben:

   • Aktualisieren Sie das Korpus des besseren Kandidaten mit dem soeben eingegebenen Eingabetext. Wählen Sie dazu das entsprechende Intent aus, und klicken Sie dann auf Zu Intent hinzufügen.

     Achtung:

     Überlegen Sie, wie sich das Hinzufügen einer neuen Testphrase auf die Trainingsdaten auswirken kann. Das Hinzufügen einer Testwortgruppe kann die Art und Weise ändern, wie die Äußerungen, die dieser Wortgruppe ähnlich sind, nach dem Nachtrainieren klassifiziert werden. Darüber hinaus führt das Hinzufügen einer Testwortgruppe zur Ungültigkeit des Tests, denn die Aufnahme einer Testwortgruppe in das Trainingsset stellt sicher, dass der Test erfolgreich sein wird. Anstatt eine Testwortgruppe zu den Trainingsdaten hinzufügen, sollten Sie sie stattdessen als Testfall speichern.

   • Auf der Seite "Intents" können Sie eine Äußerung bearbeiten () oder entfernen. Beispiel: Ein Intent mit häufig gestellten Fragen erhält möglicherweise aufgrund des Umfangs und der Formulierung seiner konstituierenden Äußerungen eine hohe Einstufung. Wenn Sie nicht möchten, dass Ihre Benutzer häufig gestellte Fragen erhalten, wenn sie typische Fragen stellen, müssen Sie das Korpus überarbeiten.

   Sie müssen ein Intent immer dann nachtrainieren, wenn Sie eine Äußerung hinzufügen, ändern oder löschen. Training erforderlich wird immer angezeigt, wenn Sie die Trainingsdaten ändern.

6. Wenn Intents nicht wie beabsichtigt aufgelöst werden, können Sie das JSON-Fenster erweitern, um die abgeglichenen Intents, Scores und erkannten Entitys in der zurückgegebenen JSON zu prüfen.
7. Klicken Sie auf Zurücksetzen.

Jeder Test hat eine Äußerung und das Intent, auf das er voraussichtlich aufgelöst werden soll. Dies wird als Labelübereinstimmung bezeichnet. Ein Testfall kann auch übereinstimmende Entitywerte und die erwartete Sprache für die Äußerung enthalten. Sie können Testfälle ausführen, wenn Sie einen Skill entwickeln und später, wenn der Skill in Produktion ist, die Testfälle für Regressionstests verwenden. Im letzteren Fall können Sie Testfälle ausführen, um herauszufinden, ob ein neues Release des Trainingsmodells die Intent-Auflösung negativ beeinflusst hat.

Wie die Testfälle, die Sie mit dem Unterhaltungstester erstellen, gehören auch Äußerungstestfälle zum Skill und werden mit jeder Version übertragen. Wenn Sie einen Skill erweitern, übernimmt die Erweiterung die Testfälle. Während Unterhaltungstestfälle zum Testen eines Szenarios bestimmt sind, dienen Äußerungstestfälle dazu, Fragmente einer Unterhaltung unabhängig zu testen und sicherzustellen, dass jede Äußerung in das richtige Intent aufgelöst wird.

Sie können herausfinden, wie ähnlich Ihre Testphrase den Äußerungen im Trainingskorpus ist, indem Sie auf Ähnliche Äußerungen anzeigen klicken. Dieses Tool bietet Ihnen eine zusätzliche Perspektive auf die Trainingsdaten des Skills, indem es Ihnen zeigt, wie ähnlich die Äußerungen der Testphrase sind und wie ähnlich die Äußerungen intentübergreifend zueinander sind. Mit diesem Tool können Sie herausfinden, ob die Ähnlichkeit der Testphrase mit Äußerungen anderer Intents der Grund ist, warum die Testphrase nicht wie erwartet aufgelöst wird. Es kann sogar darauf hinweisen, wo Trainingsdaten zum falschen Intent gehören, da sie der Testphrase ähneln.

Beschreibung der Abbildung "like-utterance-report-all-intents.png"

Die von diesem Tool generierte Liste stuft 20 Äußerungen (zusammen mit den zugehörigen Intents) ein, die der Testphrase am nächsten sind. Idealerweise gehört die oberste Äußerung auf dieser Liste - diejenige, die der Testphrase am meisten ähnelt - zu dem Intent, das für die Testphrase bestimmt ist. Wenn die nächste Äußerung, die zum erwarteten Intent gehört, weiter unten ist, kann eine Überprüfung der Liste einige Hinweise dazu enthalten. Beispiel: Wenn Sie eine Intent-Äußerung für Transaktionen testen, wie viel Geld habe ich gestern überwiesen?, würden Sie erwarten, dass die oberste Äußerung ebenfalls zu einem Transaktions-Intent gehört. Wenn diese Testäußerung jedoch auf das falsche Intent aufgelöst wird oder sich unter dem Konfidenzniveau auflöst, kann die Liste zeigen, dass sie mehr mit hochrangigen Äußerungen mit ähnlicher Formulierung gemeinsam hat, die zu anderen Intents gehören. Beispiel: Die Äußerung des Intents "Salden" Wie viel Geld habe ich auf allen meinen Konten? ist möglicherweise näher an der Testäußerung als die Äußerung des Intents "Transaktionen" mit niedrigerem Rang Wie viel habe ich im April eingezahlt?.

You can access the list, which is generated for skills trained on Trainer Tm, by clicking View Similar Utterances in the Utterance Tester or from the Test Cases report.

Beschreibung der Abbildung Similar-äußerances-tester.png

Hinweis

Sie können dieses Tool nur für Skills verwenden, die in Trainer Tm trainiert wurden (es ist nicht für Skills verfügbar, die mit Ht trainiert wurden).