Skillqualitätsberichte
Mit den Skillqualitätsberichten können Sie schnell eine Bestandsaufnahme der Intents und Äußerungen über alle Versionen des Skills hinweg vornehmen.
in der linken Navigationsleiste zugreifen) während des gesamten Skillentwicklungsprozesses verwenden:
- Überblicksbericht - Mit den Metriken und Diagrammen dieses Berichts können Sie die Größe und Form Ihrer Trainingsdaten schnell bewerten, indem Sie die Intents des Skills nach der Anzahl der Äußerungen aufschlüsseln. Sie können diesen Bericht verwenden, wenn Ihr Dataset während des Entwicklungsprozesses wächst, um sicherzustellen, dass die Anzahl der Intents, die Anzahl der Äußerungen pro Intent und die Wortanzahl für jede Äußerung immer mit unseren Richtlinien konform sind.
- Der Bericht - Unterteilt die Intents nach Anomalien, Äußerungen, die für ihre Absicht möglicherweise ungeeignet sind, weil sie außerhalb des Geltungsbereichs liegen oder falsch beschriftet sind oder potenziell anwendbar sind, aber schwer zu klassifizieren sind, weil sie unspezifisch sind.
Skillqualitätsüberblick - Bericht
- Ihr Skill hat mindestens zwei Intents, hat jedoch die empfohlene Anzahl von 300 Intents nicht überschritten.
- Ihr Training überschreitet nicht mehr als 25.000 Äußerungen.
- Jedes Intent hat mindestens zwei Äußerungen (mit dem empfohlenen Minimum von 12 Äußerungen, um vorhersehbare Schulungen bereitzustellen).
- Die durchschnittliche Länge der Äußerungen liegt zwischen drei und 30 Wörtern.
Dieser Bericht verfolgt die aktivierten Intents.
So verwenden Sie den Übersichtsbericht
- Eine allgemeine Ansicht der Trainingsdaten über das Balkendiagramm und die Metriken für die Anzahl der Intents nach Äußerungen, die die Gesamtanzahl der Intents und Äußerungen in allen Versionen des Skills enthalten. Anhand des Balkendiagramms und der Metriken können Sie herausfinden, was diese Summen im Hinblick darauf bedeuten, wie ausgeglichen oder unausgeglichen Ihr Trainingsset geworden ist. Beispiel: Das Diagramm des Berichts kann zusammen mit der Disparität zwischen den Summen Größtes Intent und Kleinstes Intent auf ein Trainingsset mit Seitenverschiebungen hinweisen, bei dem Sie Daten hinzufügen müssen, um die Lücke zwischen dem größten und dem kleinsten Intent zu schließen.
Metrik Beschreibung und Verwendung Absichten Die Gesamtanzahl der Intents für alle Versionen des Skills. Mit dieser Metrik können Sie ermitteln, ob dieser Skill das empfohlene Maximum von 300 Intents überschritten hat. Äußerungen Die Gesamtanzahl der Äußerungen in allen Intents. Mit dieser Metrik können Sie die tatsächliche Größe des Trainingssets ermitteln. Größte Absicht Das Intent mit den meisten Äußerungen. Vergleichen Sie diese Summe mit der Metrik Durchschnittliche Äußerungen pro Intent. Kleinste Absicht Das Intent mit der geringsten Anzahl von Äußerungen. Möglicherweise müssen Sie Äußerungen hinzufügen, wenn diese Summe weit unter Durchschnittliche Äußerungen pro Intent liegt. Durchschnittliche Äußerungen pro Intent Die Anzahl der gemittelten Äußerungen für alle Intents. Verwenden Sie diese Metrik, um herauszufinden, ob Sie genügend Daten für Ihr Trainingsset bereitstellen. Durchschnittliche Länge Die Äußerungslänge im gesamten Trainingsset. Vergleichen Sie diese Metrik mit der Metrik Durchschnittliche Äußerungslänge für ein Intent, um herauszufinden, ob die Wortanzahl der zugehörigen Äußerungen sich negativ auf das Modell auswirkt, weil es zu hoch oder zu niedrig ist. Mindestlänge Die kürzeste Äußerung im Trainingsset. Mit dieser Metrik können Sie ermitteln, ob eine der Äußerungen im Trainingsset zu wenige Wörter (weniger als drei) enthält, was sich negativ auf die Modellperformance auswirken kann. Max. Länge Die längste Äußerung im Trainingsset. Mit dieser Metrik können Sie lange Äußerungen (30 Wörter oder mehr) suchen, die sich negativ auf die Modellperformance auswirken können. Antwortzweck Die Anzahl der Antwort-Intents im Trainingsset. Mit dieser Metrik können Sie die Anzahl der Antwort-Intents mit regulären (oder transaktionalen) Intents vergleichen. Hinweis
Die Metriken "Mindestlänge", "Maximale Länge" und "Durchschnittliche Länge" und zugehörige Warnungen gelten für native Sprachkenntnisse und nicht für Skills, die Übersetzungsservices verwenden.Der Bericht kennzeichnet Problembereiche mit Warnungen. Wenn Sie den Mauszeiger über eine Warnung bewegen, wird eine Diagnosemeldung geöffnet, die die problematische Äußerung oder Absicht in den Kontext unserer Intent- und Äußerungsrichtlinien stellt und Korrekturmaßnahmen vorschlägt.
Diese Nachrichten werden auch im Bereich "Intentsprobleme" angezeigt.Tipp:
Die Warnmeldungen, auf die von den Metriken zugegriffen wird, enthalten einen Link zur Seite "Intent". - Eine Aufschlüsselung des Schulungssets auf Basis eines bestimmten Ziels. Der Bericht enthält eine Tabelle, in der Intents nach Sprache (für mehrsprachige Skills), Anzahl der Äußerungen sowie durchschnittliche, minimale und maximale Wortlänge aufgeführt werden. Um die letzten drei Summen im Kontext des gesamten Schulungssets anzuzeigen, vergleichen Sie sie mit den Metriken Durchschnittliche Länge, Mindestlänge und Max. Länge.
Wie bei den allgemeinen Metriken kennzeichnet der Bericht Intents mit problematischen Intents mit Warnmeldungen. Eine Warnung
in den Problemen gibt an, dass das Intent in einem Aspekt der Äußerungslänge unzureichend ist. Wenn Sie in den Spalten "Durchschnittliche Äußerungslänge", "Max. Äußerungslänge in Wörtern" oder "Min. Äußerungslänge in Wörtern" auf die entsprechende Warnung 
klicken, wird eine Diagnosemeldung geöffnet. Sie können die von der Nachricht vorgeschlagene Korrekturmaßnahme direkt auf das Intent anwenden, indem Sie auf den Link in der Spalte "Intent" klicken. 
Beschreibung der Abbildung Intent-Probleme-table.png
Bericht "Qualitätsanomalien für Skills"
Wie im Übersichtsbericht werden in diesem Bericht Intents nach Äußerungen aufgeschlüsselt. Bei den Äußerungen in diesem Bericht handelt es sich jedoch um Anomalien, Äußerungen, die für ihre Absicht ungeeignet sein könnten, weil sie außerhalb des Geltungsbereichs liegen oder falsch beschriftet sind oder potenziell anwendbar, aber eindeutig sind. Anomalien können dazu führen, dass die Grenzen zwischen Intents verschwimmen, insbesondere wenn Sie Ihren Skill um neue Domains erweitert oder ein großes Intent in kleinere Intents partitioniert haben.
So verwenden Sie den Anomaliebericht
In diesem Bericht werden die Intents nicht nur nach Anomalien sortiert, sondern auch die Anomalien selbst danach sortiert, wie unterschiedlich sie von anderen Äußerungen im Trainingsset sind.
Beschreibung der Abbildung anomalies-intent-breakdown.png
Sie können die Anomalien in dieser Liste sowohl nach Schweregrad als auch nach Intent sortieren. Sie können die Anomalien nach Intent, nach Wörtern oder Phrasen in Äußerungen und nach mehrsprachigen Skills nach Sprache filtern.
Um herauszufinden, wo (oder ob) eine Äußerung zu Ihrem Trainingsset gehört, klicken Sie in der Liste auf Ähnliche anzeigen, um sie im Bericht "Ähnliche Äußerungen" anzuzeigen. 
Beschreibung der Illustrationsanomalien-list.png
Wie der Bericht "Ähnliche Äußerungen", der im Äußerungstester verwendet wird, ordnet dieser Bericht die anderen Äußerungen im Trainingsset relativ zur ausgewählten Äußerung ein. In diesem Fall ist die Äußerung jedoch keine Testphrase, sondern eine anomale Äußerung, die bereits im Trainingsset enthalten ist. 
Beschreibung der Abbildung Similar-utterance-report-anomalies.png
Basierend auf der Beziehung der Anomalie zu den anderen Äußerungen im Bericht stellen Sie möglicherweise fest, dass die Äußerung einfach falsch klassifiziert oder für den Skill überhaupt nicht relevant ist. Andere Anomalien können jedoch nur anomalisch zu den anderen Äußerungen sein, da es sich um implizite Anfragen handelt – sie stellen dieselben Fragen wie die anderen Trainingsdaten, aber auf eine andere Weise. Beispiel: "Ich kann mich nicht bei meinem Account anmelden" kann als Anomalie für ein Agent-Transfer-Intent ausgewertet werden, dessen Trainingsäußerungen sich um einfachere Anforderungen wie "Ich muss mit einem Live-Agent sprechen" gruppieren. Das Hinzufügen ähnlicher Äußerungen fügt dem Modell Tiefe hinzu.
- Führen Sie den Bericht aus.
- Wählen Sie eine Äußerung aus, und klicken Sie auf Ähnliche anzeigen.
- Bewerten Sie im Dialogfeld "Ähnliche anzeigen" die Äußerung zum Intent.
- Wenn die Äußerung zum Intent gehört, fügen Sie ähnliche Äußerungen hinzu.
- Wenn die Äußerung falsch klassifiziert ist, weisen Sie sie einem anderen Intent zu.
- Wenn die Äußerung nicht zum Trainingsset gehört, löschen Sie sie.
- Trainieren Sie den Skill nach.