Digitale Assistenten testen

Kurz gesagt: Wenn Sie einem digitalen Assistenten einen Skill hinzufügen und den digitalen Assistenten trainieren, werden alle Äußerungen, mit denen die Intents in einem Skill trainiert wurden, vom digitalen Assistenten verwendet, um einen Classifier für den Skill zu trainieren.

Wenn die Routing-Engine in einem digitalen Assistenten zur Laufzeit sicher ist, dass ein bestimmter Skill eine Übereinstimmung für eine eingehende Benutzernachricht darstellt, wird der Skill als "Kandidatenskill" gekennzeichnet. Wenn kein anderer Skill innerhalb eines konfigurierten Konfidenzbereichs oder besser aufgelöst wird, navigiert er zum identifizierten Kandidatenskill und seinem übereinstimmenden Intent und startet eine Unterhaltung.

Äußerungen sind also wichtig, wenn Sie Anforderungen in einem digitalen Assistenten weiterleiten. Dazu müssen Sie testen, ob die Äußerungen, die erfolgreich in ein Intent in einem Skill aufgelöst wurden, weiterhin in dieses aufgelöst werden. Ähnlich wie Sie Ihre Fähigkeiten isoliert testen, führen Sie positive Tests, negative Tests und Nachbartests für Ihre Fähigkeiten durch.

Die positiven und negativen Tests verwenden Äußerungen, mit denen Sie die Intents eines Skills getestet haben. Wenn die Tests positiv sind, sollten Sie Ergebnisse erzielen, die weit über der Konfidenzschwelle liegen, aber nicht unbedingt die gleiche Konfidenz wie beim isolierten Testen.

Verwenden Sie für benachbarte Tests Testäußerungen aus anderen Skills im digitalen Assistenten, und konfigurieren Sie sie so, dass sie in den Skill aufgelöst werden, für den Sie testen. Im Idealfall verlaufen beim Ausführen des Tests alle Tests nicht erfolgreich, da die Äußerungen nicht für den getesteten Skill bestimmt sind.

Oracle Digital Assistant unterstützt Batchtests von Äußerungen auf Ebene des digitalen Assistenten, mit denen Sie die in diesem Teil des Dokuments erläuterten Tests implementieren können.

Sobald Sie mit dem Ergebnis der Äußerungstests zufrieden sind, können Sie den Unterhaltungstest starten. Dazu gibt es einen Unterhaltungstester, der auch die Entscheidungsfindung erklärt, die zu einem bestimmten Skillrouting geführt hat.

Wie bei Skills kann der Unterhaltungstester verwendet werden, um Testunterhaltungen für die spätere Wiedergabe aufzuzeichnen. Durch die Wiedergabe von Unterhaltungen können Sie sicherstellen, dass Änderungen an einem Skill immer noch zu derselben Unterhaltung führen und sich nicht anders verhalten.

Bevor Sie sich bei einem digitalen Assistenten abmelden, lassen Sie ihn von echten Benutzern testen. Geben Sie ihnen ein Minimum an Anweisungen und sehen Sie, wie sie es tun. Sie können Insights verwenden, um den Traffic zu überwachen, Äußerungen zu identifizieren, die kein übereinstimmendes Intent finden, Äußerungen zu identifizieren, die eine falsche Übereinstimmung finden, und um mehr über die Rate erfolgreicher und nicht erfolgreicher Unterhaltungen zu erfahren.

Hier sind einige Fragen, mit denen Sie Benutzer zu dem führen können, worauf sie achten sollen:

• Ist es Benutzern klar, dass sie mit einem digitalen Assistenten und nicht mit einem Menschen interagieren?
• Erklärt der digitale Assistent Benutzern, was er tun kann und was nicht?
• Ist es für erfahrene Benutzer möglich, die Konversation zu verkürzen, indem sie in der ersten Nachricht weitere Informationen angeben?
• Können Benutzer mit dem digitalen Assistenten arbeiten, ohne zuerst eine Gruppe von Stichwörtern oder eine Unterhaltung starten zu müssen?
• Verarbeitet der digitale Assistent Fehler, indem er Benutzer anweist, einen menschlichen Agent zu kontaktieren, wenn er feststeht?
• Bietet der digitale Assistent eine Option "Hilfe" oder "Abbrechen" an, wenn Benutzer bei Aufforderung keine gültige Eingabe angeben können?
• Bietet der digitale Assistent eine schnelle Auswahl für allgemeine Benutzereingabeoptionen, wenn Sie dazu aufgefordert werden (z.B. eine Schaltfläche zum Festlegen des aktuellen oder des morgigen Datums beim Erstellen eines Kalendereintrags)?
• Wird die Botpersona (Ton und Sprache) während der Gespräche mit dem digitalen Assistenten konsistent verwendet?
• Ist der digitale Assistent wirklich dialogorientiert oder verfügt er über Bereiche, die nicht nachrichtengesteuert sind, die Benutzer jedoch dazu verpflichten, eine Schaltfläche zu drücken oder eine Auswahl aus einer Liste zu treffen?
• Wird die Sprache vom digitalen Assistenten einfach verwendet? Wenn Sie Fachsprache und Abkürzungen verwenden, wird dies von der Zielgruppe verstanden?
• Sind Botnachrichten präzise und aussagekräftig?
• Enthalten Botnachrichten und Prompts Kontext, damit der Benutzer versteht, was der aktuelle Status der Unterhaltung ist?
• Verwendet der digitale Assistent abwechselnde Eingabeaufforderungen bei der erneuten Abfrage einer Information?
• Hilft der digitale Assistent aktiv dabei, Benutzereingaben zu eindeutig zu machen, wenn die angegebene Eingabe nicht eindeutig ist (z.B. zwei Größen, die in einer Pizzabestellung eingegeben wurden, wenn nur eine angegeben werden sollte)?

• ☑ Testen Sie das NLU-Verständnis auf Ebene des digitalen Assistenten mit Testsuites.
• ☑ Testen Sie die Intent-Auflösung für verschiedene Kontexte (dadurch wird ein Skill als aktuell angenommen).
• ☑ Prüfen Sie die Konfigurationseinstellungen des digitalen Assistenten, um die Nachrichtenvorlagen für integrierte Nachrichten an Ihre Anforderungen und die Botpersona anzupassen.
• ☑ Verwenden Sie Konfidenzeinstellungen für digitale Assistenten, um das Verständnis zu optimieren.
• ☑ Stellen Sie mit dem Unterhaltungstester sicher, dass der digitale Assistent die richtigen Antworten auf Benutzernachrichten bereitstellt. 
• ☑ Überwachen Sie die Performance und das Verhalten Ihres digitalen Assistenten zur Laufzeit.
• ☑ Implementieren Sie eine Feedbackschleife, damit Benutzer über die Unterhaltung Feedback geben können.

• Oracle Digital Assistant Design Camp-Video: Inside Artie – Erfahrungen mit dem Bau von Artie teilen
• Routingverhalten optimieren
• Unterhaltungsmetriken für digitale Assistenten