Unterhaltungs-Insights für Skills

Mit den Unterhaltungsberichten für Skills, die Sprach- und Textunterhaltungen nach Zeitraum und Kanal verfolgen, können Sie Ausführungspfade identifizieren, die Genauigkeit Ihrer Absichtserklärungen bestimmen und auf vollständige Unterhaltungstranskripte zugreifen.

Um auf Metriken auf Sessionebene zuzugreifen, wählen Sie im Bericht "Überblick" im Metrikfilter die Option Deckung aus.
Die Option "Unterhaltung" im Metrikfilter.

Voice Insights werden für Skills verfolgt, die an Chatclients weitergeleitet werden, die für Spracherkennung konfiguriert wurden und auf Version 20.8 oder höher der Oracle Web-, iOS- oder Android-SDKs ausgeführt werden.

Berichttypen

  • Überblick - Mit diesem Dashboard können Sie schnell die Gesamtanzahl der Sprach- und Textunterhaltungen nach Kanal und Zeitraum ermitteln. Die Metriken des Berichts unterteilen diese Gesamtanzahl nach der Anzahl der abgeschlossenen, nicht abgeschlossenen und laufenden Unterhaltungen. Darüber hinaus wird in diesem Bericht erläutert, wie der Skill Unterhaltungen abgeschlossen bzw. nicht abgeschlossen hat. Dazu wird die Verwendung der Transaktions- und Antwort-Intents des Skills in Balkendiagrammen und Wortwolken bewertet.
  • Benutzerdefinierte Metriken: Damit können Sie die benutzerdefinierten Dimensionen messen, die auf den Skill angewendet wurden.
  • Intents: Stellt Intent-spezifische Daten und Informationen für die Ausführungsmetriken bereit (Status, Unterhaltungsdauer sowie beliebteste und unbeliebteste Pfade).
  • Pfade: Zeigt eine visuelle Darstellung des Unterhaltungsablaufs für ein Intent an.
  • Unterhaltungen: Zeigt das eigentliche Protokoll des Dialogfelds "Skillbenutzer" im Kontext des Dialogablaufs und des Chatfensters an.
  • Retrainer: Mit den Livedaten und den erhaltenen Insights können Sie Ihren Skill durch moderiertes Selbstlernen verbessern.
  • Exportieren - Damit können Sie eine CSV-Datei mit den Insights-Daten herunterladen, die von Oracle Digital Assistant erfasst wurden. Sie können einen benutzerdefinierten Insights-Bericht aus der CSV-Datei erstellen.

Übersichtsmetriken und -diagramme prüfen

Die Metriken, Grafiken, Diagramme und Wortwolken des Berichts "Überblick" zeigen die allgemeine Verwendung. Wenn der Skill sowohl Text- als auch Sprachunterhaltungen verarbeitet hat, enthält die Standardansicht dieses Dashboards Text- und Sprachdaten. (Das Rendering wird mit der Option Alle aktiviert.) Andernfalls enthält die Standardansicht lediglich Text oder Sprachdaten.

Sie können diese Ansicht anpassen, indem Sie zwischen den Modi Sprachfunktion und Text umschalten, oder Sie können die beiden vergleichen, indem Sie folgende Option aktivieren: Text- und Sprachunterhaltungen vergleichen.

Wenn Sie Text auswählen, zeigt der Bericht ein Set allgemeiner Metriken an. Wenn Sie Sprachfunktion auswählen, enthält der Bericht zusätzliche sprachspezifische Metriken. Diese Metriken gelten nur für Sprachunterhaltungen. Daher werden sie nicht angezeigt, wenn Sie Text- und Sprachunterhaltungen vergleichen auswählen.
Hinweis

Die Modusoptionen hängen davon ab, ob Sprach- oder Textnachrichten vorliegen. Wenn beispielsweise nur Textnachrichten vorhanden sind, wird nur die Option Text angezeigt.

Allgemeine Metriken

Der Bericht "Überblick" enthält die folgenden KPIs für Text- und Sprachunterhaltungen.
  • Gesamtanzahl von Unterhaltungen: Die Gesamtanzahl von Unterhaltungen, die aus abgeschlossenen, unvollständigen und inaktiven Unterhaltungen besteht. Unabhängig vom Status kann eine Unterhaltung aus einer oder mehreren Dialogumdrehungen bestehen. Jede Runde ist ein einzelner Austausch zwischen dem Benutzer und dem Skill.
    Hinweis

    Unterhaltungen sind nicht mit messbaren Anforderungen identisch. Weitere Informationen zur nutzungsabhängigen Abrechnung finden Sie unter Universal Credits für Oracle PaaS und IaaS - Servicebeschreibungen.
  • Abgeschlossene Unterhaltungen: Unterhaltungen, die beendet wurden, indem die Abfrage eines Benutzers erfolgreich beantwortet wurde. Unterhaltungen, die mit einem Endablaufstatus oder einem Status enden, bei dem der Endablauf (implizit) als Übergang ausgewählt ist, gelten als abgeschlossen. In von YAML verfassten Skills werden Unterhaltungen als abgeschlossen gezählt, wenn die Durchreise durch den Dialogablauf mit einem return-Übergang oder einem Status mit der Eigenschaft insightsEndConversation endet.
    Hinweis

    Diese Eigenschaft und der Übergang return sind in Visual Flow Designer nicht verfügbar.
  • Unvollständige Unterhaltungen: Unterhaltungen, die Benutzer nicht abgeschlossen haben, da sie den Skill abgebrochen haben, oder die aufgrund von Systemfehlern, Timeouts oder Infinite-Schleifen nicht abgeschlossen werden konnten.
  • In Bearbeitung befindliche Unterhaltungen: Aktive Unterhaltungen (die noch nicht abgeschlossen oder durch Timeout abgebrochen wurden). Diese Metrik verfolgt Unterhaltungen mit mehreren Gesprächsbeiträgen. Eine in Bearbeitung befindliche Unterhaltung wird nach Ablauf der Session zu einem Timeout.
  • Durchschnittliche Zeit für Unterhaltungen: Durchschnittliche Zeit für alle Unterhaltungen des Skills.
  • Gesamtanzahl Benutzer und Anzahl eindeutige Benutzer - Benutzerbasismetriken, die angeben, wie viele Benutzer ein Skill hat und wie viele dieser Benutzer Benutzer Benutzer zurückgeben.


Sprachmetriken

Jede Unterhaltung, die mit einer Sprachinteraktion beginnt, gilt als Sprachunterhaltung. Jede Unterhaltung, die im Sprachmodus gestartet, aber im Textmodus abgeschlossen wurde, gilt als umgeschaltete Unterhaltung. Alle anderen Unterhaltungen werden als Textunterhaltungen betrachtet. Neben den Standardmetriken enthält der Bericht "Überblick" die folgenden Metriken, die spezifisch für Sprach- und umgeschaltete Unterhaltungen sind.
Hinweis

Diese Metriken dienen nur zu Informationszwecken. Sie können keine Aktionen damit ausführen.
Deaktivieren Sie zum Anzeigen dieser Metriken Text- und Sprachvorgänge vergleichen, und wählen Sie entweder Alle oder Sprachfunktion als Modus aus.
  • Durchschnittliche Zeit für Unterhaltungen: Die durchschnittliche Zeitdauer der Sprachunterhaltungen.
  • Durchschnittlicher Echtzeitfaktor (RTF): Das Verhältnis zwischen Verarbeitungsdauer der Audioeingabe und CPU-Zeit. Beispiel: Wenn für die Verarbeitung einer Sekunde Audio genau eine Sekunde CPU-Zeit benötigt wird, beträgt der RTF 1 (1/1). Wenn die Verarbeitung einer Sekunde Audio 500 Millisekunden dauert, beträgt der RTF 0,5 bzw. ½. Idealerweise muss der RTF unter 1 liegen, um sicherzustellen, dass die Verarbeitung mit der Audioeingabe Schritt hält. Wenden Sie sich an Oracle Support, wenn der RTF über 1 liegt.
  • Durchschnittliche Voice-Latenz: Die Verzögerung in Millisekunden zwischen dem Erkennen des Endes der Äußerung und der Generierung des Endergebnisses (oder der Transkription). Wenden Sie sich an Oracle Support, wenn Sie Latenzzeiten beobachten.
  • Durchschnittliche Audiozeit: Die durchschnittliche Dauer für alle Sprachunterhaltungen (in Sekunden).
  • Geänderte Unterhaltungen: Der Prozentsatz der Unterhaltungen des Skills, die mit Sprachbefehlen begonnen haben, aber zum Abschluss der Interaktion in Text gewechselt werden mussten. Diese Metrik gibt an, dass mehrere Ausführungspfade beim Umschalten von Sprach- zu Textdaten beteiligt waren.

Aufschlüsselung unvollständiger Unterhaltungen

Wenn im ausgewählten Zeitraum unvollständige Unterhaltungen vorhanden sind, wird die Gesamtanzahl nach folgenden Fehlerkategorien aufgeschlüsselt:
  • Timeouts: Timeouts werden ausgelöst, wenn eine aktive Unterhaltung länger als eine Stunde inaktiv ist, sodass die Session abläuft.
  • Systemverwaltete Fehler: Systemverwaltete Fehler werden vom System und nicht vom Skill verarbeitet. Diese Fehler treten auf, wenn die Dialogablaufdefinition nicht mit Fehlerbehandlung ausgestattet ist.
  • Endlosschleife: Endlosschleifen können aufgrund von Fehlern in der Dialogablaufdefinition auftreten, wie z.B. falsch definierte Übergänge.
  • Abgebrochen: Gibt an, wie oft Benutzer einen Skill durch explizites Abbrechen der Unterhaltung beendet haben.


Wenn Sie auf eine Fehlerkategorie in der Tabelle oder auf einen der Bögen im Diagramm klicken, können Sie einen Drilldown zum Bericht Unterhaltungen durchführen, um diese Fehler im Kontext unvollständiger Unterhaltungen anzuzeigen. Wenn Sie von hier aus auf den Bericht "Unterhaltungen" zugreifen, werden die Filter "Ergebnis" und "Fehler" des Berichts "Unterhaltungen" auf Unvollständig und auf die ausgewählte Fehlerkategorie gesetzt. Beispiel: Wenn Sie auf Endlosschleife klicken, wird der Bericht "Unterhaltungen" nach Unvollständig und Endlosschleife gefiltert. Die Filter "Intents" und "Ergebnis" des Berichts sind auf Alle anzeigen und das Feld "Sortieren nach" auf Letzte gesetzt.

Benutzerkennzahlen

Mit den folgenden Metriken können Sie die Anzahl der Benutzer ermitteln, die ein Skill für einen ausgewählten Zeitpunkt hat. Sie können sie mit der laufenden Summe vergleichen, die in der Metrik Gesamtanzahl Unterhaltungen angezeigt wird, während Sie den Bericht nach Kanal und Zeitraum filtern. Bei Live-Agent-Integrationen können Sie die Anzahl der eindeutigen Benutzer, die an einen Agent übertragen wurden, anhand der Gesamtanzahl der Unterhaltungen abwägen, die Live-Agent-Übertragungen und mit Skills bearbeitete Unterhaltungen enthalten.
  • Anzahl Benutzer - Eine laufende Summe aller Benutzertypen, die mit dem Skill interagiert haben: Benutzer mit Kanal zugewiesenen IDs, die über Sessions (die eindeutigen Benutzer) persistieren, und Benutzer, deren automatisch zugewiesene IDs nur für eine Session gelten.
  • Anzahl eindeutige Benutzer: Die Anzahl der Benutzer, die auf den Skill zugegriffen haben, wie durch ihre eindeutigen Benutzer-IDs angegeben. Jeder Kanal hat eine andere Methode zum Zuweisen einer ID zu einem Benutzer: Benutzer, die über den Webkanal mit dem Skill chatten, werden beispielsweise durch den für das Feld userId definierten Wert identifiziert. Der Testkanal des Skilltesters weist Ihnen bei jedem Beenden einer Chatsession eine neue Benutzer-ID zu, indem Sie auf Zurücksetzen klicken.
    Nach der Zuweisung bleiben diese eindeutigen IDs über Chatsessions hinweg erhalten, sodass die Anzahl der eindeutigen Benutzer, die von dieser Metrik hochgezählt werden, nicht erhöht wird, wenn ein Benutzer den Skill erneut besucht. Die Anzahl erhöht sich nur, wenn dem Benutzerpool ein anderer Benutzer mit einer eindeutigen ID hinzugefügt wird.

    Tipp:

    Da die Benutzer-IDs nur innerhalb eines Kanals eindeutig sind (ein Benutzer mit identischen IDs auf zwei verschiedenen Kanälen wird als zwei Benutzer gezählt, nicht als einer), können Sie eine bessere Vorstellung von der Benutzerbasis erhalten, indem Sie den Bericht nach Kanal filtern.

Neue Benutzerverfolgung aktivieren

Um Benutzer zu verfolgen, die noch nie zuvor mit einem Skill oder digitalen Assistenten interagiert haben, aktivieren Sie unter Einstellungen > Konfiguration die Option Insights-Benutzermetriken aktivieren. Bevor Sie dieses Feature für einen Skill aktivieren, stellen Sie sicher, dass die an ihn weitergeleiteten Kanäle einen Typ von Benutzer-ID zuweisen. Andernfalls lassen Sie diese Funktion deaktiviert (ihr Standardmodus). Wenn Kanäle keine Benutzer-IDs angeben, weist Digital Assistant jeder Chatsession eine neue Benutzer-ID zu. Wenn diese Funktion aktiviert wird, wenn diese Kanaltypen verwendet werden, wird das Reporting verzerrt, da neue Benutzer für jede neue Chatsession hinzugefügt werden und die Benutzertabelle daher mit neuen Einträgen aufgebläht wird. Die neuen Benutzerdaten werden nicht automatisch aus dem Speicher gelöscht. Daher müssen Sie stattdessen die Oracle Digital Assistant-API verwenden. Um die neuen Benutzerdaten zu löschen, nehmen Sie "purgeUserData": true in die Payload der POST-Anforderung für Exportaufgabe starten auf.
Hinweis

Die Erfassung neuer Benutzerdaten beginnt erst an dem Datum, an dem dieses Feature mit Release 23.10 ausgeliefert wurde.

Insights zu Unterhaltungstrends prüfen

Das Diagramm "Unterhaltungstrends" zeigt Folgendes für Transaktions-Intents (einschließlich Agent-Übertragungs-Intents) und Antwort-Intents an:
  • Abgeschlossen: Die Unterhaltungen, die Benutzer erfolgreich abgeschlossen haben. Unterhaltungen, die mit einem Endablaufstatus oder einem Status enden, bei dem der Endablauf (implizit) als Übergang ausgewählt ist, gelten als abgeschlossen. In von YAML verfassten Skills werden Unterhaltungen als abgeschlossen gezählt, wenn die Durchreise durch den Dialogablauf mit einem return-Übergang oder einem Status mit der Eigenschaft insightsEndConversation endet.
    Hinweis

    Diese Eigenschaft und der Übergang return sind in Visual Flow Designer nicht verfügbar.
  • Unvollständig: Unterhaltungen, die Benutzer nicht abgeschlossen haben, da sie den Skill abgebrochen haben, oder die aufgrund von Systemfehlern, Timeouts oder Fehlern im Skilldesign nicht abgeschlossen werden konnten.
  • In Bearbeitung: Aktive Unterhaltungen (die noch nicht abgeschlossen und nicht wegen Timeout abgebrochen wurden). Diese Metrik verfolgt Unterhaltungen mit mehreren Gesprächsbeiträgen.

Intent-Verwendung anzeigen

Im Balkendiagramm "Intents" können Sie nicht nur die Transaktions- und Antwort-Intents erkennen, die Unterhaltungen abgeschlossen haben, sondern auch diejenigen, die zu unvollständigen Unterhaltungen geführt haben. Mit diesem Diagramm können Sie auch herausfinden, ob die allgemeine Verwendung dieser Intents für Ihren Anwendungsfall geeignet ist. Beispiel: Übertrifft die Anzahl der abgeschlossenen Unterhaltungen für ein Intent, das als Sekundärzweck dient, die Anzahl abgeschlossener Unterhaltungen für Ihr primäres Intent? Oder um es praktischer auszudrücken: Ist Ihr Skill zum Bestellen von Pizza zu einem Skill zur Einreichung von Beschwerden geworden, der die meisten Benutzer an einen Live-Agent weiterleitet?
Hinweis

Nicht alle Unterhaltungen werden als ein Intent aufgelöst. Wenn Kein Zweck im Balkendiagramm "Intent" und in der Word Cloud angezeigt wird, bedeutet dies, dass ein Intent nicht durch Benutzereingaben aufgelöst wurde, sondern durch eine Übergangsaktion, eine vom Skill initiierte Unterhaltung oder durch Routing von einem digitalen Assistenten.

Sie können das Balkendiagramm "Intents" und die Wortwolke mit den Optionen Alle Intents, Antwort-Intents und Transaktions-Intents des Balkendiagramms filtern.
Beschreibung von all-intents.png folgt
Beschreibung der Abbildung all-intents.png

Mit diesen Optionen können Sie die Verwendung schnell aufschlüsseln. For example, for mixed skills – ones that have both transactional and answer intents – you can view usage for these two types of intents using the Answer Intents and Transaction Intents options.
Beschreibung von transaktional-intents.png folgt
Description of the illustration transactional-intents.png

The key phrases rendered in the word cloud reflect the option, so for example, only the key phrases associated answer intents display when you select Answer Intents.
Beschreibung von antwort-intents.png folgt
Description of the illustration answer-intents.png

Intents prüfen und mit Wolken für Schlüsselphrasen nachtrainieren

Die Wortwolke "Beliebteste Intents" bietet eine Begleitansicht zum Balkendiagramm "Intents". Sie zeigt die Anzahl abgeschlossener und unvollständiger Unterhaltungen für ein Intent an. Dabei werden die am häufigsten aufgerufenen Intents nach Größe und Farbe gewichtet. Die Größe entspricht der Anzahl von Aufrufen für den angegebenen Zeitraum.

Die Farbe stellt die Erfolgsebene für die Intent-Auflösung dar:
  • Grün steht für einen hohen Durchschnitt für die Auflösung von Anforderungen, die den Schwellenwert für die Konfidenzgewinnmarge innerhalb des angegebenen Zeitraums erreichen oder überschreiten.
  • Gelb steht für eine Intent-Auflösung, die den Schwellenwert für die Konfidenzgewinnmarge im Schnitt nicht im angegebenen Zeitraum erreicht. Diese Farbe ist ein guter Hinweis, dass das Intent nachtrainiert werden muss.
  • Rot ist für unresolvedIntent reserviert. Diese Benutzeranforderungen stimmen mit keinem Intent überein, könnten aber möglicherweise in das Korpus integriert werden.
Die Wortwolke mit den häufigsten Intents ist das Gateway für detailliertere Ansichten zur Auflösung von Benutzernachrichten durch Intents. Unter Intents prüfen und mit Wolken für Schlüsselphrasen nachtrainieren wird beschrieben, wie Sie einen Drilldown aus der Wortwolke mit den häufigsten Intents durchführen können, um mehr über Verwendung, Benutzerinteraktionen und Nachtraining zu erfahren.

Darüber hinaus erhalten Sie eine detailliertere Ansicht der Intent-Verwendung anhand von Schlüsselwortgruppen (Darstellungen der tatsächlichen Benutzereingabe). Bei englischsprachigen Wortgruppen (das Verhalten weicht ab, wenn nicht englische Wortgruppen für ein Intent aufgelöst werden), erhalten Sie Zugriff auf den Retrainer.

Schlüsselphrasen prüfen

Wenn Sie auf ein Intent klicken, können Sie einen Drilldown zu einer Gruppe von Schlüsselphrasen durchführen. Diese Phrasen sind Abstraktionen der Originalbenutzernachricht, die das ursprüngliche Intent beibehalten. Beispiel: Die Schlüsselphrase meine Bestellung stornieren wird aus der ursprünglichen Nachricht Ich möchte meine Bestellung stornieren gerendert. Ähnliche Nachrichten können in einer einzigen Schlüsselphrase gruppiert werden. Beispiel: Die Phrasen Ich möchte meine Bestellung stornieren, können Sie meine Bestellung stornieren und meine Bestellung bitte stornieren können in der Schlüsselphrase meine Bestellung stornieren gruppiert werden. Wie bei den Intents stellt die Größe die Häufigkeit für den betreffenden Zeitraum und der Farbe das Konfidenzniveau dar.
Beschreibung von key-phrases-intent.png folgt
Beschreibung der Abbildung key-phrases-intent.png

You can see the actual user message (or the messages grouped within a key phrase) within the context of a conversation when you click a phrase and then choose View Conversations from the context menu.
Beschreibung von view-conversations-option.png folgt
Description of the illustration view-conversations-option.png

This option opens the Conversations Report.
Beschreibung von key-phrases-conversation-report.png folgt
Description of the illustration key-phrases-conversation-report.png

Anonymized values display in the phrase cloud when you enable PII Anonymization.
Beschreibung von pii-skill-phrase-cloud.png folgt
Description of the illustration pii-skill-phrase-cloud.png

Aus Wortwolke nachtrainieren

Sie können nicht nur die Nachricht, die durch die Phrase repräsentiert wird, im Kontext anzeigen, sondern auch die Nachricht (oder die in einer Schlüsselphrase gruppierten Nachrichten) zum Trainingskorpus hinzufügen, indem Sie auf Nachtrainieren klicken.

Mit dieser Option wird der Retrainer geöffnet, in dem Sie die eigentliche Phrase zum Trainingskorpus hinzufügen können.

Wortgruppen anderer Sprachen prüfen

Das Verhalten der Schlagwortwolke unterscheidet sich bei Skills mit nativer Sprachunterstützung insofern, als dass Sie bei nicht englischsprachigen Wortgruppen nicht auf den Retrainer zugreifen können. Wenn Wortgruppen in verschiedenen Sprachen für ein Intent aufgelöst wurden, werden Sprachen und keine Schlüsselwortgruppen in der Wolke angezeigt, wenn Sie auf ein Intent klicken. Beispiel: Wenn Französisch und Englisch angezeigt wird, nachdem Sie auf unresolvedIntent geklickt haben, sind sowohl englische als auch englische Wortgruppen vorhanden, die nicht für einen Intent aufgelöst werden konnten.
Beschreibung von ml-phrase-cloud.png folgt
Beschreibung der Abbildung ml-phrase-cloud.png

Wenn Englisch zu den Sprachen gehört, können Sie durch Klicken auf Englisch einen Drilldown zur Schlüsselwortwolke durchführen. In der Schlagwortwolke können Sie die Kontextmenüoptionen Unterhaltungen anzeigen und Nachtrainieren verwenden, um einen Drilldown zum Unterhaltungsbericht und zum Retrainer durchzuführen. Wenn Sie jedoch einen Drilldown von einer nicht englischen Sprache durchführen, führen Sie den Drilldown zum Bericht "Unterhaltungen" durch, gefiltert nach Intent und Sprache. Es gibt keinen direkten Zugriff auf den Retrainer. Wenn Sie also im Beispiel mir unresolvedIntent auf Englisch geklickt haben, führen Sie einen Drilldown zur Schlagwortwolke durch. Wenn Sie auf Französisch geklickt hat, führen Sie einen Drilldown zum Bericht "Unterhaltungen" durch, gefiltert nach unresolvedIntent und Französisch.
Beschreibung von ml-conversation-report.png folgt
Beschreibung der Abbildung ml-conversation-report.png

Wenn Sie eine Wortgruppe nach der Prüfung im Kontext der Unterhaltung integrieren oder neu zuweisen möchten, müssen Sie sie direkt aus dem Retrainer integrieren, indem Sie das Intent, die Sprache (und andere Kriterien) filtern.

Sprachverwendung prüfen

Bei einem mehrsprachigen Skill können Sie die Verwendung der unterstützten Sprachen über die Segmente des Sprachdiagramms vergleichen. Jedes Segment stellt eine Sprache dar, die derzeit verwendet wird.
Beschreibung von languages-chart-overview-skill.png folgt
Beschreibung der Illustration languages-chart-overview-skill.png
Wenn Sie die Unterhaltungen prüfen möchten, die durch eine Sprache im Diagramm dargestellt werden, können Sie auf ein Segment oder die Legende klicken, um einen Drilldown zum Bericht "Unterhaltungen" durchzuführen, der nach der ausgewählten Sprache gefiltert wird.
Beschreibung von Conversation-report-filtered-language.png folgt
Beschreibung der Abbildung "Unterhaltungen - Bericht gefiltert-language.png"

Benutzerfeedback und -bewertungen prüfen

Das Donut-Diagramm "Benutzerbewertung" und die Wortwolke "Benutzerfeedback" verfolgen das direkte Feedback und die von der Komponente gesammelten Bewertungen. Wenn das Dialogfeld in den Status "Benutzerfeedback" übergeht, erhält der Skill ein Bewertungssystem und optional die Möglichkeit, Feedback abzugeben. Standardmäßig können die Benutzer ihre Interaktion mit dem Skill bewerten, indem sie einen Bereich von eins bis fünf auswählen. Für ODA Version 21.10 und höher ist die Feedbackkomponente standardmäßig ein Sternebewertungssystem. Bei früheren Versionen wird die Feedbackkomponente als Liste angezeigt.

Die durchschnittliche Kundenzufriedenheitsbewertung, die proportional zur Anzahl der Unterhaltungen für jede Bewertung ist, wird in der Mitte des Donut-Diagramms angezeigt. Die einzelnen Summen pro Konversation für jede Zahl im Bereich werden als Bögen des Donut-Diagramms für die Benutzerbewertung dargestellt, die je nach Auftreten unterschiedlich lang sind. Wenn Sie auf einen dieser Bögen klicken, wird der Bericht "Unterhaltungen" nach Score gefiltert geöffnet.
Hinweis

Wenn Ihr Skill auf einer Plattform vor Release 21.12 ausgeführt wird, müssen Sie die Option Maskierung aktivieren deaktivieren, um die Benutzerbewertung im Unterhaltungstranskript anzuzeigen. Um die tatsächliche Benutzerbewertung in den Transkripten für Skills beizubehalten, die auf Plattformen 21.12 und höher ausgeführt werden (wobei Maskierung aktivieren veraltet ist), müssen Sie die Entity NUMBER aus der Liste der Entitys löschen, die als personenbezogene Daten behandelt werden, wenn Sie die PII-Anonymisierung aktivieren.


Standardmäßig wird der Mindestschwellenwert der Komponente "Benutzerfeedback" für die Bestimmung einer positiven oder negativen Reaktion auf zwei (Unzufrieden) gesetzt. Wenn Benutzerfeedback für die Komponente aktiviert ist, zeigt die Wortwolke "Benutzerfeedback" die Benutzerkommentare an, die negative Bewertungen begleiten, und sortiert sie entsprechend ihrer Häufigkeit. Sie können diese Kommentare im Kontext der Gesamtinteraktion anzeigen, indem Sie im Diagramm "Benutzerbewertung" auf den Bogen klicken, der eine Bewertung unter dem Schwellenwert darstellt (ein oder zwei pro Standardeinstellung der Komponente) und dann einen Drilldown zum Bericht "Unterhaltung" durchführen, der nach der ausgewählten Bewertung gefiltert wird.
Beschreibung von Conversation-report-user-feedback.png folgt
Beschreibung der Abbildung "Unterhaltung-Bericht-Benutzer-feedback.png"

So fügen Sie die Feedbackkomponente zum Dialogablauf hinzu

Um Daten für das Diagramm "Benutzerbewertung" und die Wortwolke "Benutzerfeedback" zu erfassen, müssen Sie dem Dialogablauf eine Abfolge von Status hinzufügen. Der erste dieser Status ist ein Benutzerfeedbackstatus. Um diesen Status hinzuzufügen, wählen Sie Benutzermeldungen > Benutzerfeedback aus, und wählen Sie Weiter als Übergangstyp aus. (In YAML-Flüssen müssen Sie einen expliziten Übergang in den Status System.Feedback mit dem Übergang next festlegen.) Ihr Dialogablauf kann zu einer Benutzer-Feedback-Sequenz von Status wechseln, wenn Sie die Reaktion eines Benutzers messen möchten. Dies kann beispielsweise der Fall sein, nachdem ein Benutzer eine Transaktion abgeschlossen oder abgebrochen hat.
Hinweis

Wenn der Status vor dem Benutzerfeedbackstatus eine Eigenschaft Drehung beibehalten aufweist, setzen Sie ihn auf True, um sicherzustellen, dass der Skill die Unterhaltung nicht an den Benutzer weiterleitet, bevor der Ablauf zum Benutzerfeedback übergeht. Um die Kontrolle des Skills in von YAML erstellten Abläufen beizubehalten, setzen Sie keepTurn: true in den Status vor dem Status System.Feedback.


Nach dem Status "Benutzerfeedback" müssen Sie die Status hinzufügen, die den zugehörigen above-, below- und cancel-Übergängen entsprechen. In den YAML-Dialogabläufen hat jeder dieser Status return: done-Übergänge.

Diese Zustände berücksichtigen den hohen und niedrigen Bereich der Bewertung, wie durch die Eigenschaft Schwellenwert festgelegt. Sie können diese Status als Benutzernachrichten hinzufügen, die den Empfang der Benutzerbewertung bestätigen.
Feedbacktyp Nachrichtenbeispiel
above Thank you for rating us ${system.userFeedbackRating.value}
below You entered: ${system.userFeedbackText.value} We appreciate your feedback.
cancel Skipped giving a rating or feedback? Maybe next time.
Sie können die Ausgabe der Komponente "Benutzerfeedback" anpassen, indem Sie die Feedback-bezogenen Resource Bundles bearbeiten, auf die über die Seite Resource Bundle-Konfiguration zugegriffen wird, oder indem Sie die systemComponent_Feedback_-Schlüssel in einer Resource Bundle-CSV-Datei bearbeiten.

Benutzerfeedback mit benutzerdefinierten Metriken messen

Sie können eine allgemeine Ansicht von positivem, negativem und übersprungenem Feedback erhalten, indem Sie eine einzelne Benutzerfeedback-bezogene Dimension für eine Gruppe von Benutzerdefinierten Metriken festlegen-Status definieren.

Jeder dieser Status "Benutzerdefinierte Metriken festlegen" entspricht einem der Status, der von den Übergangsaktionen above, below und cancel der Komponente "Benutzerfeedback" benannt wird. Beispiel: Wenn Sie dem Bericht "Benutzerdefinierte Metriken" eine Metrik namens "Feedbacktyp" hinzufügen möchten, gehen Sie wie folgt vor:
  1. Status "Benutzerdefinierte Metriken einfügen" vor jedem Status, der von den Übergangsaktionen above, below und cancel der Komponente "Benutzerfeedback" benannt wird.
  2. Geben Sie für jeden Status den Feedbacktyp als Dimensionsnamen ein.
  3. Fügen Sie für jeden Status je nach Übergangstyp separate Werte hinzu (z.B. Canceled, Positive, Negative). Nachdem Sie den Dialogablauf zur Aufzeichnung von Feedbackdaten instrumentiert haben, können Sie die verschiedenen Werte im Bericht "Benutzerdefinierte Metriken" abfragen.


In YAML-basierten Abläufen verfolgen Sie Feedbackmetriken, indem Sie den Status System.SetCustomMetrics hinzufügen.

Benutzerdefinierte Kennzahlen prüfen

Der Bericht "Benutzerdefinierte Metriken" bietet Ihnen eine zusätzliche Perspektive auf die Insight-Daten, indem Sie Unterhaltungsdaten für skillspezifische Dimensionen verfolgen. Die von diesem Bericht verfolgten Dimensionen werden in der Dialogablaufdefinition mit der Komponente Benutzerdefinierte Metriken festlegen (und der Komponente System.SetCustomMetrics in YAML-Flüssen) erstellt. Mit dieser Komponente können Sie Dimensionen erstellen, um Geschäfts- und Entwicklungsanforderungen zu untersuchen, die für Ihren Skill spezifisch sind. Beispiel: Sie können Dimensionen erstellen, die den Verbrauch eines Produkts oder einer Dienstleistung (den am häufigsten angeforderten Pizzateig oder die am häufigsten eingereichte Spesenabrechnung) melden, oder verfolgen, wann der Skill Benutzer ausfällt, indem Sie sie zum Beenden zwingen oder an Live-Agents übergeben.



Der Bericht "Benutzerdefinierte Metriken" zeigt die in den Unterhaltungsdaten definierten Dimensionen als Donut-Diagramm, Balkendiagramm und Linientrenddiagramm an. Jede Dimension hat ihre eigene Konversationssumme. Diese Tally enthält Unterhaltungen, die abgeschlossen, unvollständig oder in Bearbeitung sind. Die Dimensionswerte (oder -kategorien) werden im Donut-Diagramm als Segmente und als Punkte im Trend- und Liniendiagramm dargestellt. Mit diesen Werten können Sie die Berichtsansicht filtern (und auch die benutzerdefinierten Metrikdaten, die Sie in eine CSV-Datei herunterladen können). Im Donut-Diagramm stellt die Länge der Bögen die Vorkommen des Dimensionswerts als Prozentsatz der Gesamtzahl der Unterhaltungen dar. Die tatsächliche Anzahl der Dimensionswerte wird vom Liniendiagramm verfolgt. Sowohl die Bögen als auch die Trendlinien sind Zugriffspunkte für den Bericht "Unterhaltungen". Wenn Sie auf eine der Optionen klicken, wird der Bericht "Unterhaltungen" nach dem ausgewählten Dimensionswert gefiltert geöffnet.

Hinweis

Dimensionen und Kategorien werden im Bericht nur angezeigt, wenn die von ihnen gemessenen Unterhaltungen stattgefunden haben.

Skill für benutzerdefinierte Metriken instrumentieren

Um den Bericht "Benutzerdefinierte Metriken" zu generieren, müssen Sie eine oder mehrere Dimensionen mit der Komponente Benutzerdefinierte Metriken festlegen definieren (auf die Sie zugreifen können, indem Sie auf Variablen > Benutzerdefinierte Metriken festlegen oder Variablen > Benutzerdefinierte Insights-Metriken festlegen in YAML-Dialogen klicken).
Beschreibung von set-insights-component-dialog.png folgt
Beschreibung der Abbildung set-insights-component-dialog.png

Wenn der Bericht "Benutzerdefinierte Metriken" keine Daten enthält, wurden wahrscheinlich keine Statuswerte für "Benutzerdefinierte Metriken festlegen" definiert oder die Übergänge zu diesen Statuswerten wurden nicht korrekt festgelegt.

Sie können Status "Benutzerdefinierte Metriken festlegen" überall dort hinzufügen, wo Sie einen Entitywert oder eine Aktivität innerhalb eines Ausführungsablaufs verfolgen möchten.
Hinweis

Sie können bis zu sechs Dimensionen für jeden Skill definieren.
Je nach Struktur der Dialogabläufe - und Ihres Anwendungsfalls - können Sie mehrere Dimensionen innerhalb eines einzelnen Status "Benutzerdefinierte Metriken festlegen" oder mit mehreren Status "Benutzerdefinierte Metrik festlegen" in einem einzelnen Dialogablauf oder über mehrere Abläufe hinweg definieren.

Dimensionen für Variablenwerte erstellen

Sie können Entitywerte verfolgen, indem Sie einen next-Übergang in den Status "Benutzerdefinierte Metriken festlegen" nach dem Werteinstellungsstatus festlegen (z.B. einen Zustand "Composite Bag auflösen"). Die Dimensionen und Filter im Bericht "Benutzerdefinierte Metriken festlegen" werden aus den Dimensionen und Dimensionswerten wiedergegeben, die von der Komponente "Benutzerdefinierte Metriken festlegen" definiert wurden.

Wenn der Wertesetting-Status eine Mischentity referenziert, können Sie die Mischentityelemente mit einem Apache Freemarker-Ausdruck verfolgen, um den Dimensionswert zu definieren. Beispiel: Der Wert für eine Pizza Size-Dimension kann als ${pizza.value.pizzaSize.value} definiert werden. Die einzelnen von diesem Ausdruck zurückgegebenen Werte (klein, mittel, groß) werden als Datensegmente im Bericht "Benutzerdefinierte Metriken" wiedergegeben und können auch als Filter angewendet werden. Beispiel: Der Bericht, der sich aus der Instrumentierung eines Pizzaskills ergibt, unterteilt Pizzabestellungen nach Größe, Typ und Pizzateig. Diese hinzugefügten Details ergänzen die Metriken, die bereits für das Intent "Pizza bestellen" gemeldet wurden.
Beschreibung von custom-metrics-example.png folgt
Beschreibung der Abbildung "custom-metrics-example.png"

Je nach Zusammensetzung und Komplexität der Dialogablaufdefinition werden die zu verfolgenden Entitywerte möglicherweise nicht innerhalb desselben Dialogablaufs aufgelöst. In solchen Fällen können Sie möglicherweise nicht alle Dimensionen mit einem einzelnen Status "Benutzerdefinierte Metriken festlegen" definieren. Stattdessen müssen Sie den Status "Benutzerdefinierte Metriken festlegen" zu verschiedenen Teilen der Dialogablaufdefinition (oder zu verschiedenen Abläufen insgesamt) hinzufügen.
Hinweis

Entitywertbasierte Dimensionen werden erst im Bericht "Benutzerdefinierte Metriken" erfasst, nachdem ein Entitywert festgelegt wurde. Wenn kein Wert festgelegt wurde oder der Status der Werteeinstellung nicht in den Status "Benutzerdefinierte Metriken festlegen" übergeht, werden die fehlenden Daten in den Diagrammen des Berichts als <not set> angezeigt.

Dimensionen zur Verfolgung der Skillverwendung erstellen

Zusätzlich zu Dimensionen, die auf Variablenwerten basieren, können Sie Dimensionen erstellen, die nicht nur verfolgen, wie Benutzer mit dem Skill interagieren, sondern auch dessen Gesamteffektivität. Beispiel: Sie können eine Dimension hinzufügen, die angibt, wie oft und warum Benutzer an Live-Agents übertragen werden.
Beschreibung von custom-metrics-agent-transfer-example.png folgt
Beschreibung der Abbildung custom-metrics-agent-transfer-example.png

Dimensionen wie diese informieren Sie über die Benutzererfahrung. Sie können dieselbe Dimension in allen Abläufen zu verschiedenen Status "Benutzerdefinierte Metriken festlegen" hinzufügen. Jeder dieser Statuswerte für "Benutzerdefinierte Metriken festlegen" definiert eine andere Kategorie (oder einen anderen Dimensionswert). Beispiel: Es gibt Agent Transfer-Dimensionen in zwei verschiedenen Abläufen: eine im Order Pizza-Ablauf mit dem Wert Kein Agent erforderlich, wenn der Skill eine Bestellung erfolgreich abgeschlossen hat, und die andere im UnresolvedIntent-Ablauf mit dem Wert Ungültige Eingabe, der verfolgt, wenn der Skill Benutzer aufgrund nicht aufgelöster Eingaben an einen Live-Agent überträgt. Der Bericht "Benutzerdefinierte Metriken" zeichnet Daten für diese Metriken auf, wenn diese Status in einem Ausführungsablauf enthalten sind.

Benutzerdefinierte Metrikstatus für Agent-Transferdimension Fluss Wert Verwenden
setInsightsCustomMetricsNoAgent Pizza bestellen (ab dem next-Übergang des Status "Composite Bag auflösen", Kein Agent erforderlich Gibt die Anzahl der erfolgreichen Konversationen an, bei denen Anforderungen ohne Unterstützung erstellt wurden.
setInsightsCustomMaxErrors Pizza bestellen (ab dem cancel-Übergang des Zustands "Composite Bag auflösen") Max. Fehler Gibt die Anzahl der Unterhaltungen an, bei denen Benutzer zu Live-Agents weitergeleitet wurden, weil sie die m erreicht haben
setInsightsCustomMetricsBadInput UnresolvedIntent Ungültige Eingabe Gibt die Anzahl der Unterhaltungen an, bei denen ungelöste Eingaben dazu geführt haben, dass Benutzer an einen Live-Agent übertragen werden.
setInsightsCustomMetricsLiveAgent Agent aufrufen (vor der Agent-Initiierungssequenz) Agent angefordert Gibt die Anzahl der Unterhaltungen an, bei denen Benutzer einen Live-Agent angefordert haben.

Benutzerdefinierte Metrikdaten exportieren

Wenn Sie auf Exportieren klicken, werden die benutzerdefinierten Metrikdaten in einer CSV-Datei heruntergeladen, die Sie für Ihre eigene Offlineanalyse und -berichterstattung verwenden können. Sie können die in die CSV-Datei heruntergeladenen Daten nach den Dimensionswerten filtern. Diese heruntergeladene CSV-Datei enthält die folgenden Felder.

Spalte Beschreibung
CREATED_ON Das Datum des Datenexports.
USER_ID Die ID des Skillbenutzers.
SESSION_ID Eine ID für die aktuelle Session. Dabei handelt es sich um eine zufällige ID, die diese ID von USER_ID unterscheidet.
BOT_ID Die Skill-ID, die dem Skill bei seiner Erstellung zugewiesen wurde.
CUSTOM_METRICS Ein JSON-Array, das ein Objekt für jede benutzerdefinierte Metrikdimension enthält. name ist ein Dimensionsname und value ist der Dimensionswert, der aus der Unterhaltung erfasst wird. [{"name":"Custom Metric Name 1","value":"Custom Metric Value"},{"name":"Custom Metric Name 2","value":"Custom Metric Value"},...] Beispiel: [{"name":"Pizza Size","value":"Large"},{"name":"Pizza Type","value":"Hot and Spicy"},{"name":"Pizza Crust","value":"regular"},{"name":"Agent Transfer","value":"No Agent Needed"}].
QUERY Die Benutzeräußerung oder die Skillantwort, die einen benutzerdefinierten Metrikwert enthält.
CHOICES Die Menüoptionen in UI-Komponenten.
COMPONENT Die Dialogkomponente System.setCustomMetrics (Benutzerdefinierte Komponente in visuellen Abläufen festlegen), mit der die benutzerdefinierten Metriken ausgeführt werden.
CHANNEL Der Kanal, der die Session durchgeführt hat.

Insights zu Intents prüfen

Sie können die Gesamtanzahl der abgeschlossenen und unvollständigen Unterhaltungen für jedes Intent im Übersichtsbericht ermitteln. Mit dem Bericht "Intents" können Sie herausfinden, wie der Benutzertraffic über die Ausführungspfade der Intents floss und wo er durch fehlerhafte Status blockiert wurde.
Hinweis

Dieser Bericht gibt die Intents zurück, die für einen Skill über einen bestimmten Zeitraum definiert wurden. Daher kann sich sein Inhalt ändern, um die Intents widerzuspiegeln, die zu verschiedenen Zeitpunkten hinzugefügt, umbenannt oder aus dem Skill entfernt wurden.

Abgeschlossene Pfade

Für abgeschlossene Unterhaltungen gibt der Bericht an, wie viele Ausführungspfade Benutzer durchlaufen haben, um diese Unterhaltungen mit Statistiken über die aufgewendete Zeit und die Anzahl der besuchten Status abzuschließen.

Sie können diese Statistiken und als Indikatoren für die Benutzererfahrung verwenden. Beispiel: Sie können diesen Bericht verwenden, um festzustellen, ob die aufgewendete Zeit der Aufgabe angemessen ist oder ob die kürzesten Wege noch zu einer beeinträchtigten Benutzererfahrung führen, die Benutzer zum Abbrechen bewegen kann. Könnten Sie z.B. einen Benutzer schneller durch den Skill führen, indem Sie Werte mit Mischentitys statt mit Eingabeaufforderungen und Komponenten zum Einstellen von Werten einfügen?

Weitere Informationen zu abgeschlossenen Konversationen:

Unvollständige Pfade

Bei unvollständigen Unterhaltungen können Sie mit dem horizontalen Balkendiagramm "Nicht abgeschlossene Status" die Status entlang des Ausführungspfads des Intents identifizieren, in dem diese Unterhaltungen beendet wurden. Dieses Diagramm, das für die in der linken Navigationsleiste aufgeführten Transaktions-Intents gerendert wird, stellt die Verteilung unvollständiger Unterhaltungen nach Status dar. Dabei kann es sich um einen im Dialogablauf definierten Status oder einen internen Status handeln, der das Ende einer Unterhaltung markiert, wie System.DefaultErrorHandler. Mit ihm können Sie herausfinden, ob ein Dialogablaufstatus ein kontinuierlicher Fehlerpunkt ist, und die Gründe dafür (Fehler, Timeouts oder falsche Benutzereingabe). In diesem Bericht werden keine Pfade oder Geschwindigkeit für unvollständige Pfade angezeigt, weil sie für diese Benutzereingabe nicht gelten. Stattdessen stuft das Balkendiagramm jedes Intent anhand der Anzahl der Nachrichten ein, die entweder in kein Intent aufgelöst werden konnten oder das Potenzial hatten, aufgelöst zu werden (was bedeutet, dass das System ein Intent erraten konnte), dies aber aufgrund von niedrigen Konfidenzscores verhindert wurde.
Hinweis

Das Diagramm "Unvollständige Status" gibt keine Antwort-Intents (statische Intents) in YAML-basierten Abläufen wieder, weil ihre Ergebnisse allein vom Komponentenstatus System.Intent und nicht von einer Reihe von Status in einer Dialogablaufdefinition unterstützt werden.
In YAML-Flüssen betrachtet Insights Unterhaltungen als unvollständig, wenn der endgültige Status einen leeren (oder impliziten) Übergang aufweist ({}). Selbst wenn der Skill die Transaktion erfolgreich verarbeitet, klassifiziert Insights die Unterhaltung weiterhin als unvollständig und stellt den endgültigen Status als System.DefaultErrorHandler dar.
Weitere Informationen zu den unvollständigen Unterhaltungen für ein Intent:
  • Klicken Sie auf Pfad anzeigen, um den Bericht Pfade zu öffnen, der nach unvollständigen Unterhaltungen für das ausgewählte Intent gefiltert wird. Die Terminalstatus in diesem Pfad können im Dialogfeld definierte Status oder einen internen Status enthalten, der das Ende einer Unterhaltung markiert, wie System.EndSession, System.ExpiredSession, System.MaxStatesExceededHandler und System.DefaultErrorHandler.

  • Sie können auf Transkripte von Unterhaltungen zugreifen, die zum Fehler führen, indem Sie auf Unterhaltungen anzeigen klicken. Diese Option öffnet den für unvollständige Unterhaltungen für das ausgewählte Intent gefilterten Bericht Unterhaltungen. Sie können die Ergebnisse weiter eingrenzen, indem Sie einen Filter anwenden. Beispiel: Sie können den Bericht nach Fehlerbedingungen filtern.

unresolvedIntent

Zusätzlich zur Dauer und den Routen für aufgabenorientierte Intents gibt der Bericht "Intents" auch die Nachrichten zurück, die nicht aufgelöst werden konnten. Um diese Nachrichten anzuzeigen, klicken Sie in der linken Navigationsleiste auf unresolvedIntent. Wenn Sie im Balkendiagramm "Nächste Vorhersagen" auf ein Intent klicken, wird das Fenster "Nicht aufgelöste Nachricht" mit den nicht aufgelösten Nachrichten für dieses Intent aktualisiert, die nach einem Wahrscheinlichkeitsscore sortiert sind.

Sie können den Pfad und die Unterhaltungen für diese nicht aufgelösten Nachrichten nach Pfad anzeigen und Unterhaltungen anzeigen anzeigen. Sie können aber auch über den Bericht Retrainer auf die nicht aufgelösten Nachrichten zugreifen, in dem Sie sie als mögliche Erweiterungen zu den Trainingsdaten auswerten können. Wenn Sie auf Nachtrainieren klicken, wird der Retrainer-Bericht nach nicht aufgelösten Nachrichten gefiltert geöffnet.

Path Insights prüfen

Mit dem Bericht "Pfade" können Sie herausfinden, wie viele Unterhaltungen für einen bestimmten Zeitraum durch die Ausführungspfade der Intents geflossen sind. Dieser Bericht gibt einen Pfad an, der einer Transitzuordnung ähnelt, in der die Stopps Intents darstellen können, die in der Dialogablaufdefinition definierten Status und die internen Status, die den Anfang und das Ende jeder Unterhaltung markieren, die nicht als in Bearbeitung klassifiziert ist.
Beschreibung von path-report.png folgt
Beschreibung des Abbildungspfads-report.png

Sie können durch diesen Pfad blättern, um festzustellen, wo die aus der Benutzereingabe eingefügten Werte die Unterhaltung vorangetrieben haben und wo sie aufgrund fehlender Benutzereingabe, Systemfehlern oder anderen Problemen in Stocken geraten sind. Während der letzte Stopp in einem abgeschlossenen Pfad grün ist, ist er bei unvollständigen Pfaden, in denen diese Probleme aufgetreten sind, rot. Über diesen Bericht können Sie herausfinden, an welcher Seite die Anzahl der Unterhaltungen sich konstant geblieben ist, und feststellen, wo die Unterhaltungen verzweigt wurden, weil Werte gesetzt (oder nicht gesetzt) wurden oder wo Untergrund wegen eines anderen Problems wie einer funktionierenden benutzerdefinierten Komponente oder eines Timeouts gescheitert sind.

Pfadbericht anzeigen

Der Bericht "Pfade" gibt einen Intent-Ausführungspfad entsprechend Ihren Abfrageparametern wieder. Sie können diesen Bericht sowohl nach dem vollständigen als auch nach dem unvollständigen Ausführungspfad für ein oder alle Intents abfragen, die Länge des Pfades festlegen, indem Sie einen endgültigen Status wählen und Teile der Ausführungspfade isolieren, indem Sie Status ausschließen, die von sekundärer Bedeutung sind. Beispiel: Sie können Zustände, die Variablen festlegen oder den Skill für benutzerdefinierte Metriken instrumentieren, als "Füllstatus" betrachten, die den Fokus Ihrer Untersuchung beeinträchtigen.

Alle Ausführungsabläufe werden nach Eingabe der Abfrage standardmäßig wiedergegeben. Der grüne Anfangpfeil Dieses Bild zeigt das Pfadsymbol für den Anfang. steht für System.BeginSession, den Systemstatus, der jede Unterhaltung startet. Das Symbol System.Intent Das Symbol System.Intent. kann je nach Filter verschiedene Intents darstellen. Es kann sich auf ein bestimmtes Intent beziehen, das Sie als Filter ausgewählt haben, oder es kann jedes für Ihren Skill definierte Intent darstellen, wenn Sie den Bericht nach Alle filtern (dies ist die Standardeinstellung).

Bei unvollständigen Unterhaltungen kann der Pfad mit einem internen Status wie System.ExpiredSession, System.MaxStatesExceededHandler oder System.DefaultErrorHandler abgeschlossen werden, der den Fehler darstellt, der die Unterhaltung beendet hat.
Hinweis

Wenn der endgültige Status in einem von YAML verfassten Ablauf eine leere (oder implizite) Transaktion ({}) verwendet, klassifiziert Insights diesen Status als System.DefaultErrorHandler-Status und betrachtet die Unterhaltung als unvollständig, selbst wenn der Skill die Transaktion erfolgreich verarbeitet hat.
Wenn Sie auf den endgültigen Status klicken, wird der Detailbereich geöffnet, in dem Statistiken, Fehler, Warnungen und die endgültigen Benutzernachrichten angezeigt werden.

Der Bericht zeigt eine Null-Antwort für alle Kundennachrichten an, die leer (oder nicht anderweitig in Klartext) sind oder unerwartete Eingaben enthalten. Bei Nicht-Textantworten, die Postback-Aktionen sind, wird die Payload der letzten Aktion angezeigt. Beispiel:
{"orderAction":"confirm""system.state":"orderSummary"}
Wenn Sie auf Unterhaltungen anzeigen klicken, wird der vom Pfad abgefragte Bericht Unterhaltungen geöffnet, damit Sie die Nachrichten prüfen können, mit denen die Unterhaltung im Kontext eines Transkripts beendet wurde.

Szenario: Pfadbericht abfragen

Im Überblicksbericht für einen finanziellen Skill stellen Sie fest, dass es zu einem plötzlichen Anstieg in unvollständigen Unterhaltungen kommt. Durch Addieren der Werte, die durch die orangefarbenen "unvollständigen" Segmente der gestapelten Balkendiagramme dargestellt werden, schließen Sie, dass Unterhaltungen in den Ausführungspfaden für die Intents "Geld und Salden senden" des Skills nicht erfolgreich sind.

Um die Intent-Fehler weiter zu untersuchen, öffnen Sie den Pfadbericht, und geben Sie Ihre erste Abfrage ein: Filtern Sie nach allen Intents, die ein unvollständiges Ergebnis haben. Der Pfad wird mit zwei Verzweigungen wiedergegeben: eine, die mit startPayments beginnt und mit SystemDefaultErrorHandler endet, und eine zweite, die mit startBalances beginnt und auch mit System.DefaultErrorHandler endet. Wenn Sie in einem der Pfade auf den endgültigen Knoten klicken, wird der Detailbereich geöffnet, in dem die Anzahl der Fehler notiert wird und Snippets der vom Skill empfangenen Benutzernachrichten angezeigt werden, bevor diese Fehler aufgetreten sind. Um diese Snippets im Kontext anzuzeigen, klicken Sie im Fensterbereich "Details" auf Unterhaltungen anzeigen, um das Protokoll anzuzeigen. In allen Unterhaltungen musste der Skill mit dem Prompt für unerwartete Fehler antworten (Hoppla! Ich habe ein Problem erkannt…), da Systemfehler die Verarbeitung der Benutzeranforderung verhindert haben.

Um mehr über die Status zu erfahren, die zu diesen Fehlern führen (und ihre mögliche Rolle bei der Ursache dieser Fehler), sehen Sie sich dann die Dialogablaufdefinition an, um die Status zu identifizieren, mit denen die Ausführungspfade für die einzelnen Intents beginnen. Diese Status sind startBalances, startTxns, startPayments, startTrackSpending und setDate.

Wenn Sie die Pfade mit der Dialogablaufdefinition vergleichen, stellen Sie fest, dass sowohl in startPayments als auch in startBalances der letzte im Pfad wiedergegebene Status einem Status vorangestellt wird, der eine benutzerdefinierte Komponente verwendet. Nachdem Sie die Seite "KomponentenDieses Bild zeigt das Symbol "Komponenten" in der linken Navigationsleiste." geprüft haben, stellen Sie fest, dass der Service deaktiviert wurde. Dadurch wird verhindert, dass der Skill die Accountinformationen abrufen kann, die zum Abschließen von Unterhaltungen erforderlich sind.

Insights zu Skillunterhaltungen prüfen

Mit dem Bericht "Unterhaltungen" können Sie die tatsächlichen Transkripte der Unterhaltungen untersuchen, um zu prüfen, wie die Benutzereingabe die intent-bezogenen Pfade abgeschlossen hat, bzw. warum dies nicht der Fall war. Sie können die Unterhaltungen nach Kanal, Modus (Sprache, Text, Alle), Typ (Intent-Ablauf oder LLM-Ablauf) und Zeitraum filtern.

Sie können Unterhaltungstransskripte prüfen, indem Sie diesen Bericht nach Intents filtern. Sie können Dimensionen wie Unterhaltungslänge und -ergebnis hinzufügen, die als abgeschlossen, unvollständig oder in Bearbeitung angegeben sind. Wenn Sie herausfinden möchten, welcher Fehlertyp zu unvollständigen Unterhaltungen beigetragen hat, können Sie "Ergebnis" nach "Unvollständig" filtern und dann eine der Fehlerkategorien (Timeouts, Endlosschleifen und Systemverwaltete Fehler) für den Fehlerfilter auswählen. Für Unterhaltungen mit Nachrichten, die im Sprachmodus begannen, aber im Textmodus endeten, können Sie auch nach Umgeschalteten Unterhaltungen filtern.
Hinweis

Bei einem einzelnen Intent listet der Unterhaltungsbericht die verschiedenen abgeschlossenen Unterhaltungen auf. In von YAML verfassten Dialogabläufen kann abgeschlossen abhängig von der Benutzernachricht und dem return-Übergang, der die Unterhaltung beendet und den Unterhaltungskontext zerstört, unterschiedliche Bedeutungen haben. Beispiel: Bei einem OrderPizza-Intent können im Bericht "Unterhaltungen" zwei erfolgreich abgeschlossene Unterhaltungen angezeigt werden. Nur eine der beiden Unterhaltungen endet mit einer abgeschlossenen Bestellung. Die andere Unterhaltung endet ebenfalls erfolgreich, aber anstatt eine Bestellung auszuführen, verarbeitet sie falsche Benutzereingaben.

Unterhaltungstransaktionen anzeigen

Durch Klicken auf Unterhaltung anzeigen wird die Unterhaltung im Kontext eines Chatfensters geöffnet. Wenn Sie auf das Balkendiagrammsymbol klicken, werden die Sprachmetriken für diese Interaktion angezeigt.
Beschreibung von view-conversation-window.png folgt
Beschreibung der Abbildung view-conversation-window.png

Sprachmetriken anzeigen

Wenn Sie auf Voice-Metriken anzeigen klicken, wird eine Teilmenge der Voice-Metriken angezeigt, die über die gesamte Unterhaltung gemittelt sind. Um diese Metriken nach den einzelnen Sprachinteraktionen aufzuschlüsseln, klicken Sie auf das Balkendiagrammsymbol in der Transkriptansicht, auf das Sie durch Klicken auf Unterhaltungen anzeigen zugreifen.

PII-Anonymisierung

Benutzernachrichten können personenbezogene Daten (PII), Informationen wie Vor- und Nachnamen, Telefonnummern und E-Mail-Adressen enthalten. Um die Privatsphäre der Benutzer zu schützen, aber den Kontext der Nachricht zu erhalten, können Sie die PII-Werte mit einem entsprechenden Wert anonymisieren, bevor sie in der Datenbank gespeichert werden. Diese Anonymisierungen werden in einer Sitzung konsistent verwendet. Zum Beispiel würden alle Vorkommen von "John Smith" in einer Unterhaltung durch die Anonymität "davis" ersetzt. In diesem Fall wird davis, nicht John Smith, in der Datenbank gespeichert und in den Exportlogs und Insights-Berichten wie dem Bericht "Konvevrationen", dem Retrainer und dem Schlüsselwort phrase cloud angezeigt.
Hinweis

Die Werte für CURRENCY und DATE_TIME sind nicht anonymisiert, obwohl sie Zahlen enthalten. Außerdem wird der "one" in der Standardeingabeaufforderung für eine Mischentity ("Bitte wählen Sie einen Wert für...") als numerischer Wert anonymisiert. Um dies zu vermeiden, fügen Sie eine benutzerdefinierte Eingabeaufforderung hinzu ("Wählen Sie beispielsweise a für...).
Sie können die von den folgenden Systementitäten erkannten Werte anonymisieren:
  • PERSON
  • NUMBER
  • EMAIL
  • PHONE_NUMBER
  • URL
Hinweis

Maskierung aktivieren ist in Release 21.12 veraltet. Verwenden Sie stattdessen die PII-Anonymisierung, um numerische Werte in den Insights-Berichten und Exportlogs zu maskieren. Sie können die Anonymisierung nicht auf Unterhaltungen anwenden, die vor dem Release 21.12 protokolliert wurden.

PII-Anonymisierung aktivieren

  1. Klicken Sie auf Einstellungen > Allgemein.
  2. Aktivieren Sie die Option PII-Anonymisierung aktivieren.
  3. Klicken Sie auf Entity hinzufügen, um die Entitywerte auszuwählen, die Sie in den Insights-Berichten und den Logs anonymisieren möchten.
    Hinweis

    Anonymisierte Werte werden erst in der Datenbank gespeichert, nachdem Sie die Anonymisierung für personenbezogene Datenwerte für die ausgewählten Entitys aktiviert haben. Sie werden nicht auf frühere Unterhaltungen angewendet. Je nach Datumsbereich, der für die Insights-Berichte oder Exportdateien ausgewählt wurde, können die PII-Werte sowohl in ihrem tatsächlichen als auch in anonymisierten Formularen angezeigt werden. Sie können die Anonymisierung auf alle nicht anonymisierten PII-Werte anwenden (einschließlich derer in Unterhaltungen, die vor der Aktivierung der Anonymisierung in den Einstellungen des Skills oder digitalen Assistenten stattgefunden haben), wenn Sie eine Exportaufgabe erstellen. Diese Anonymisierungen gelten nur für die exportierte Datei und werden nicht in der Datenbank gespeichert.
    Wenn Sie die Anonymisierung für einen PII-Wert nicht mehr verwenden möchten oder keine Anonymisierung verwenden möchten, wählen Sie die entsprechende Entity aus, und klicken Sie auf Entity löschen. Nachdem Sie eine Entity gelöscht haben, wird der tatsächliche PII-Wert in den Insights-Berichten für nachfolgende Unterhaltungen angezeigt. Seine anonymisierte Form bleibt jedoch für vorherige Gespräche.
    Hinweis

    Die Anonymisierung ist dauerhaft (unabhängig von der Anonymisierung der Exportaufgabe). Sie können keine personenbezogenen Daten wiederherstellen, nachdem Sie die Anonymisierung aktiviert haben.


PII-Anonymisierung in der Exportdatei

Die Anonymisierung in einer exportierten Insights-Datei hängt davon ab, ob (und wann) Sie die PII-Anonymisierung für den Skill oder digitalen Assistenten in Einstellungen aktiviert haben.

Wenn Sie die PII-Anonymisierungseinstellungen für den Skill oder digitalen Assistenten aktivieren:
  • Die für die ausgewählten Entitäten erkannten PII-Werte werden durch Anonyme ersetzt. Diese Anonymisierungen werden in der Datenbank beibehalten und ersetzen die PII-Werte in den Logs und Insights-Berichten. Diese Anonymisierung wird auf die Unterhaltungen angewendet, die nach - nicht vor - Ihrer Aktivierung der Anonymisierung in den Einstellungen stattfinden.
  • Die Option PII-Anonymisierung für die Datei aktivieren für die Exportaufgabe ist standardmäßig aktiviert, um sicherzustellen, dass die PII-Werte, die für die in den Einstellungen ausgewählten Entitys erkannt werden, auf Unterhaltungen angewendet werden, die vor der PII-Anonymisierung stattgefunden haben. Die beim Export auf Unterhaltungen angewendeten Anonymisierungen, die vor der PII-Anonymisierung liegen, sind nur in der Exportdatei vorhanden. Die ursprünglichen PII-Werte verbleiben in der Datenbank, den Insights-Logs und in den Insights-Berichten.
  • Wenn Sie die Option PII-Anonymisierung für die Datei aktivieren deaktivieren, werden nur die PII-Werte, die für die in den Einstellungen ausgewählten Entitys erkannt wurden, anonymisiert. Die Logdateien enthalten die Anonymisierungen für Unterhaltungen, die aufgetreten sind, nachdem die Anonymisierungseinstellungen für den Skill oder digitalen Assistenten aktiviert wurden. Vorherige Unterhaltungen werden als ursprüngliche, unveränderte Äußerungen mit intakten PII-Werten angezeigt. Folglich kann die Exportdatei sowohl anonymisierte als auch nicht anonymisierte Unterhaltungen enthalten, wenn ein Teil des Datumsbereichs der Exportaufgabe vor der Anonymisierung liegt.
    Hinweis

    Wenn Ihre Exportaufgabe anonymisierte Unterhaltungen enthält, die vor Release 22.04 stattgefunden haben, werden die Anonymisierungen, die auf die Unterhaltungen vor 22.04 angewendet wurden, in den Exportdateien geändert oder erneut anonymisiert, wenn Sie Anonymisierung von personenbezogenen Daten für die Datei aktivieren für die Exportaufgabe auswählen. Die Anonyms in der exportierten Datei stimmen weder mit den Anonyms in Exportdateien vor dem 22.04-Datum noch mit den Anonyms in den Insights-Berichten überein.
Wenn Sie die PII-Anonymisierungseinstellungen für einen Skill oder digitalen Assistenten deaktivieren oder nicht konfigurieren:
  • Die Option PII-Anonymisierung für die Datei aktivieren wird standardmäßig für die Exportaufgabe deaktiviert, sodass die exportierte Datei alle ursprünglichen unveränderten Äußerungen, einschließlich der PII-Werte, enthält.
  • Wenn Sie Anonymisierung von personenbezogenen Daten für die Datei aktivieren auswählen, werden die personenbezogenen Daten in der exportierten Datei nur für die Standardentitäten PERSON, EMAIL, URL und NUMBER anonymisiert. Die PII-Werte bleiben in der Datenbank, den Logs und den Insights-Berichten erhalten.

Retrainer anwenden

Kunden können unterschiedliche Wortgruppen verwenden, um dieselbe Anforderung zu stellen. Wenn diese Benutzereingabe nicht als ein Intent aufgelöst werden kann (oder als das falsche Intent aufgelöst wurde), können Sie es mit dem Retrainer an das richtige Intent weiterleiten. Um Ihnen zu helfen, schlägt der Retrainer ein Intent für die Benutzereingabe vor. Da Sie tatsächliche Benutzereingaben hinzufügen, können Sie die Performance des Skills mit jeder neuen Version verbessern.
Sie können die Unterhaltungshistorie mit einer oder mehreren der folgenden Optionen filtern:
  • Zeitraum
  • Sprache: Für Mehrsprachigkeit, die entweder über die native Sprachunterstützung oder über Übersetzungsservices aktiviert wird. Standardmäßig wird der Bericht nach der primären Sprache gefiltert.
  • Intents: Gleichen Sie die Namen der beiden obersten Intents ab, und verwenden Sie Vergleichsoperatoren für deren auflösungsbezogenen Eigenschaften: Konfidenz und Gewinnmarge.
  • Kanäle: Umfasst den Agent-Kanal, der für Oracle Service Cloud-Integrationen erstellt wurde.
  • Text- oder Sprachmodi: Umfasst umgeschaltete Unterhaltungen.
Der Bericht gibt die beiden obersten Intents für jede zurückgegebene Äußerung zusammen mit der Gewinnmarge zurück, die diese voneinander trennt, sowie über ein horizontales Balkendiagramm deren kontrastierende Konfidenzscores. Durch Mouseover auf den Balken werden die tatsächlichen Scores angezeigt. Die horizontale Linie, die sich mit dem Diagramm überschneidet, markiert den Punkt, an dem der Punktestand den Konfidenzschwellenwert des Skills überschritten oder unterschritten hat.

Intents mit Retrainer aktualisieren

Beim Hinzufügen von Benutzernachrichten zu Ihrem Trainingskorpus sind einige Aspekte zu beachten:
  • Sie können Benutzereingaben nur zu einem Trainingskorpus hinzufügen, das zu einer Entwurfsversion eines Skills und nicht zu einer veröffentlichten Version gehört.
  • Sie können keine Benutzereingabe hinzufügen, die bereits als Äußerung im Trainingskorpus vorhanden ist oder die Sie bereits mit dem Retrainer hinzugefügt haben.
So aktualisieren Sie ein Transaktions-Intent oder ein Antwort-Intent mit dem Retrainer:
  1. Da Sie einen veröffentlichten Skill nicht aktualisieren können, müssen Sie eine Entwurfsversion erstellen, bevor Sie dem Korpus neue Daten hinzufügen können.

    Tipp:

    Klicken Sie auf Alle Versionen vergleichen Dieses Bild zeigt das Symbol "Alle Versionen vergleichen"., oder deaktivieren Sie den Umschalter Nur letzte Version anzeigen, um auf die Entwurfs- und veröffentlichten Versionen des Skills zuzugreifen.
    Wenn Sie eine veröffentlichte Version des Skills prüfen, wählen Sie die Entwurfsversion des Skills aus.
    Dieses Bild zeigt das Dropdown-Menü "Version auswählen".

  2. Wenden Sie in der Entwurfsversion des Skills gegebenenfalls einen Filter an, und klicken Sie dann auf Suchen.
  3. Wählen Sie die Benutzernachricht und dann im Menü Intent auswählen das Ziel-Intent aus. Wenn der Skill mehrere native Sprachen unterstützt, können Sie ihn zum sprachspezifischen Trainingsset hinzufügen, indem Sie eine Sprache im Menü Sprache auswählen auswählen.

    Tipp:

    Sie können Äußerungen zu einem Intent auf individueller Basis hinzufügen, oder Sie können mehrere Intents auswählen und dann in den Menüs Hinzufügen zu oben links in der Tabelle das Ziel-Intent und gegebenenfalls eine Sprache auswählen. Wenn Sie alle zurückgegebenen Anforderungen zu einem Intent hinzufügen möchten, wählen Sie in der oberen rechten Ecke der Tabelle Äußerungen aus, und wählen Sie dann im Menü Hinzufügen zu das Intent und eine Sprache aus.
  4. Klicken Sie auf Beispiel hinzufügen.
  5. Trainieren Sie den Skill nach.
  6. Veröffentlichen Sie den Skill erneut.
  7. Aktualisieren Sie den digitalen Assistenten mit dem neuen Skill.
  8. Überwachen Sie den Bericht "Überblick" auf Änderungen der Metriken im Zeitverlauf, und vergleichen Sie auch verschiedene Versionen des Skills, um herauszufinden, ob neue Versionen tatsächlich den Gesamterfolg des Skills erhöht haben. Wenn Sie den Nachtrainierungsprozess wiederholen, wird die Reaktionsfähigkeit des Skills für jede neue Version verbessert. Beispiel: Bei Skills, die mit Oracle Service Cloud Chat integriert sind, sollte das Nachtrainieren zu einem Abwärtstrend bei Eskalationen führen. Dies ist durch einen Abwärtstrend bei der Verwendung von Agent-Übergabe-Intents gekennzeichnet.

Moderiertes Selbstlernen

Wenn Sie den Filter "Top-Konfidenz" unter dem für den Skill festgelegten Konfidenzschwellenwert oder mit dem Standardfilter Intent stimmt mit unresolvedIntent überein festlegen, können Sie Ihr Trainingskorpus mit dem Konfidenzranking aktualisieren, die vom Intent-Verarbeitungs-Framework vorgenommen wurde. Beispiel: Wenn die unresolvedIntent-Suche "jemand hat meine Kreditkarte verwendet" zurückgibt, können Sie sie einem Intent mit dem Namen "Beanstandung" zuweisen. Dabei handelt es sich um moderiertes Selbstlernen, das die Intent-Auflösung verbessert und gleichzeitig die Integrität des Skills beibehält.

Beispiel: Das Standardsuchkriterium für den Bericht zeigt die Zufallsbenutzereingabe, die nicht in das Konfidenzniveau aufgelöst werden kann, weil sie unangemessen oder themenfremd ist bzw. Rechtschreibfehler enthält. Anhand des Balkendiagramms können Sie die Benutzereingabe zuweisen: Sie können das Intent des Skills zur Verarbeitung nicht aufgelöster Intents stärken, indem Sie die Eingabe zuweisen, die aus Kauderwelsch besteht, oder Sie können falsch geschriebene Einträge zum entsprechenden aufgabenorientierten Intent hinzufügen (z.B. "Geld senden" zu einem Intent "Geld senden"). Wenn Ihr Skill beispielsweise ein Begrüßungs-Intent hat, können Sie respektlose, themenfremde Nachrichten zuweisen, auf die Ihr Skill eine Erwiderung wie "Ich weiß nicht, wie das geht, aber ich kann Ihnen helfen, Blumen zu bestellen" zurückgeben kann.

Unterstützung für Übersetzungsservices

Wenn Ihr Skill einen Übersetzungsservice verwendet, zeigt der Retrainer die Benutzernachrichten in der Zielsprache an. Der Retrainer fügt jedoch keine übersetzten Nachrichten zum Trainingskorpus hinzu. Er fügt diese stattdessen auf Englisch hinzu, der akzeptierten Sprache des Trainingsmodells. Wenn Sie auf Dieses Bild zeigt das Symbol "Übersetzung anzeigen". klicken, wird die englische Version angezeigt, die dem Korpus möglicherweise hinzugefügt werden kann. Beispiel: Wenn Sie auf dieses Symbol für contester (Französisch) klicken, wird dispute (Englisch) angezeigt.

Data Manufacturing-Jobs erstellen

Anstatt Intents selbst Äußerungen zuzuweisen, können Sie die Quelle dieser Aufgabe durch Erstellen von Jobs Intent-Annotation und Intent-Validierung festlegen. Sie müssen die Unterhaltungslogs nicht in einer CSV-Datei kompilieren, um diese Jobs zu erstellen. Stattdessen klicken Sie auf Erstellen und dann auf Data Manufacturing-Auftrag.
Bild der Option "Erstellen" im Retrainer-Bericht.
Sie wählen dann den Jobtyp für die Benutzereingabe aus, die im Retrainer-Bericht gefiltert wird. Beispiel: Sie können einen Intent-Annotationsjob aus einem Bericht erstellen, der nach dem obersten Intent gefiltert ist, das mit unresolvedIntent übereinstimmt, oder Sie können einen Intent-Validierungsjob aus einem Bericht erstellen, der nach Äußerungen gefiltert ist, die mit einem Intent übereinstimmen.
Beschreibung von retrainer-data-manufacturing-job-dialog.png folgt
Beschreibung der Abbildung retrainer-data-manufacturing-job-dialog.png

Tipp:

Mit den Optionen Äußerungen auswählen können Sie alle Ergebnisse auswählen, die von dem Filter zurückgegeben werden, der auf den Retrainer für den Data Manufacturing-Job angewendet wird, oder einen Job aus einer Teilmenge dieser Ergebnisse erstellen, die ein zufälliges Sampling von Äußerungen enthalten kann. Wenn Sie Äußerungen aus vorherigen Jobs ausschließen auswählen, sind Äußerungen, die für einen vorherigen Data Manufacturing-Job ausgewählt wurden, nicht mehr für nachfolgende Jobs verfügbar: Die Äußerungen, die in einem Intent-Annotationsjob enthalten sind, sind beispielsweise für einen späteren Intent-Annotationsjob nicht verfügbar. Verwenden Sie diese Option, wenn Sie mehrere Jobs erstellen, um eine große Gruppe von Ergebnissen zu prüfen.
Nachdem Sie den Job erstellt haben, wird er auf der Seite "Data Manufacturing-Jobs" angezeigt. Dort können Sie ihn an Crowdworker verteilen, indem Sie den Link teilen.

Test Suite erstellen

Ähnlich wie bei Data Manufacturing-Jobs aus den Ergebnissen, die im Retrainer-Bericht abgefragt werden, können Sie auch Testfälle aus den Äußerungen erstellen, die von Ihrer Abfrage zurückgegeben werden. Sie können eine Suite dieser Testfälle zum Äußerungstester hinzufügen, indem Sie auf Erstellen und dann auf Testsuite klicken.
Dieses Bild zeigt die Option "Test Suite".
Sie können die Äußerungen für die Testsuite mit den Optionen Äußerungen auswählen im Dialogfeld "Testsuite erstellen" filtern. Sie können alle Äußerungen einschließen, die vom Filter zurückgegeben werden, der auf den Retrainer in der Testsuite angewendet wird, oder eine Teilmenge dieser Ergebnisse, die eine zufällige Stichprobe der Äußerungen umfassen kann. Wählen Sie Sprachtag einschließen aus, um sicherzustellen, dass die mit einem Testfall verknüpfte Sprache während des gesamten Tests unverändert bleibt.
Beschreibung von create-test-suite-dialog-insights.png folgt
Beschreibung der Abbildung create-test-suite-dialog-insights.png

Sie können auf die abgeschlossene Testsuite zugreifen, indem Sie im Äußerungstester auf Gehe zu Testfällen klicken.

Sprachverwendung prüfen

Bei einem mehrsprachigen Skill können Sie die Verwendung der unterstützten Sprachen über die Segmente des Sprachdiagramms vergleichen. Jedes Segment stellt eine Sprache dar, die derzeit verwendet wird.
Beschreibung von languages-chart-overview-skill.png folgt
Beschreibung der Illustration languages-chart-overview-skill.png
Wenn Sie die Unterhaltungen prüfen möchten, die durch eine Sprache im Diagramm dargestellt werden, können Sie auf ein Segment oder die Legende klicken, um einen Drilldown zum Bericht "Unterhaltungen" durchzuführen, der nach der ausgewählten Sprache gefiltert wird.
Beschreibung von Conversation-report-filtered-language.png folgt
Beschreibung der Abbildung "Unterhaltungen - Bericht gefiltert-language.png"

Insight-Daten exportieren

Die verschiedenen Insight-Berichte bieten unterschiedliche Perspektiven. Wenn Sie diese Daten jedoch auf andere Weise anzeigen müssen, können Sie Ihren eigenen Bericht aus einer CSV-Datei mit exportierten Insight-Daten erstellen.

Die CSV-Dateien enthalten Felder für Benutzer- und Skillnachrichten, Komponententypen und Statusangaben, die unter Exportlogfelder beschrieben werden. Sie können ein Verarbeitungsskript schreiben, um diesen Inhalt zu filtern, oder einfach eine Tabellenkalkulationsanwendung verwenden. Unter Exportlogs prüfen werden einige gängige Methoden zum Filtern der Dateien beschrieben.
Hinweis

Die Daten können auf eine Reihe von CSV-Dateien verteilt werden, wenn die Exportaufgabe mehr als 1.048.000 Zeilen zurückgibt. In diesen Fällen enthält die ZIP-Datei eine Reihe von ZIP-Dateien, von denen jede eine CSV-Datei enthält.
Auf der Seite "Exporte" werden die Aufgaben nach folgenden Kriterien aufgelistet:
  • Name: Der Name der Exportaufgabe.
  • Letzte Ausführung: Das Datum, an dem die Aufgabe zuletzt ausgeführt wurde.
  • Erstellt von: Der Name des Benutzers, der die Aufgabe erstellt hat.
  • Exportstatus: "Weitergeleitet", "In Bearbeitung", "Nicht erfolgreich", "Keine Daten" (wenn keine zu exportierenden Daten innerhalb des für die Aufgabe definierten Datumsbereichs vorhanden sind) oder Abgeschlossen, ein Hyperlink, mit dem Sie die exportierten Daten als CSV-Datei herunterladen können. Wenn Sie mit dem Mauszeiger auf "Nicht erfolgreich" zeigen, wird eine Erläuterungsnachricht angezeigt.
Hinweis

Eine Exportaufgabe gilt für die aktuelle Version des Skills.

Exportaufgabe erstellen

  1. Öffnen Sie die Seite "Exporte", und klicken Sie auf + Exportieren.
  2. Geben Sie einen Namen für den Bericht ein, und geben Sie dann einen Datumsbereich ein.
  3. Klicken Sie auf PII-Anonymisierung für die exportierte Datei aktivieren, um PII-Werte durch Anonyme in der exportierten Datei zu ersetzen. Diese Anonymisierungen sind nur in der exportierten Datei vorhanden, wenn PII in den Skilleinstellungen nicht aktiviert ist. In diesem Fall werden die PII-Werte, nicht ihre Anonymäquivalente, weiterhin in der Datenbank gespeichert und in den exportierten Insights-Logs und in den Insights-Berichten angezeigt, einschließlich des Berichts "Unterhaltungen", des Retrainers und der Schlüsselphrasen in der Wortwolke. Wenn personenbezogene Daten in den Skilleinstellungen aktiviert wurden, enthalten Logs und Insights-Berichte Anonyme.
    Hinweis

    Die PII-Anonymisierung, die für die Einstellungen des Skills oder digitalen Assistenten aktiviert ist, beeinflusst, wie PII-Werte in der Exportdatei anonymisiert werden und auch zur Konsistenz der Anonymisierung in der Exportdatei beitragen.
  4. Klicken Sie auf Exportieren.
  5. Wenn die Aufgabe erfolgreich ausgeführt wird, klicken Sie auf Abgeschlossen, um eine ZIP-Datei der CSV-Datei herunterzuladen (oder CSV-Dateien für große Exporte). Der Name der Export-CSV auf Skillebene beginnt mit B_. Dateinamen für Exporte auf Ebene des digitalen Assistenten beginnen mit D_.
Beschreibung von insights-export-dialog.png folgt.
Beschreibung der Abbildung insights-export-dialog.png

Exportlogs prüfen

Hier werden einige der Felder vorgestellt, die Sie wahrscheinlich am meisten verwenden. Unter Exportlogfelder werden alle Felder beschrieben. Unter Exportierte Insight-Daten filtern werden einige Ansätze zum Sortieren der Daten beschrieben.
  • BOT_NAME enthält den Namen des Skills oder den Namen des digitalen Assistenten. In dieser Spalte können Sie sehen, wie das Dialogfeld vom digitalen System zu den Skills (und zwischen den Skills) weitergeleitet wird.
  • CHANNEL_SESSION_ID speichert die Kanalsession-ID. Sie können diese ID zusammen mit der dritten Spalte CHANNEL_ID verwenden, um eine eindeutige ID für die Session zu erstellen. Da Sessions ablaufen oder beendet werden können, können Sie mit dieser ID herausfinden, ob sich die Session geändert hat.
  • TIMESTAMP gibt die Chronologie oder Reihenfolge an, in der die Ereignisse stattgefunden haben. Normalerweise sortieren Sie Daten nach dieser Spalte.
  • USER_UTTERANCE und BOT_RESPONSE enthalten die tatsächliche Unterhaltung zwischen dem Skill und dem Benutzer. Diese beiden Felder machen die Verschachtelung der Benutzer- und Skillnachrichten ersichtlich, wenn Sie nach TIMESTAMP sortieren.

    In der Spalte USER_UTTERANCE können doppelte Äußerungen vorhanden sein. Dazu kann es kommen, wenn Benutzertests auf derselben Instanz ausgeführt werden. Wahrscheinlich liegt es aber daran, dass die Äußerung in verschiedenen Teilen der Unterhaltung verwendet wird.

  • Mit COMPONENT_NAME, CURR_STATE und NEXT_STATE können Sie den Dialogablauf debuggen.

Exportierte Insight-Daten filtern

Normalerweise sortieren Sie die Logs nach der Spalte TIMESTAMP, um die Reihenfolge der Ereignisse anzuzeigen. Für andere Perspektiven, wie z.B. die Unterhaltung zwischen Skill und Benutzer, können Sie die Spalten nach den systemgenerierten internen Statuswerten filtern. Zu den gängigen Filtertechniken gehören:
  • Sortierung der Unterhaltung mit dem Skill und dem digitalen Assistenten: Wenn ein Export Daten aus einem digitalen Assistenten und dessen registrierten Skills enthält, erscheint der Inhalt des Feldes BOT_NAME möglicherweise verwirrend, da die Unterhaltung scheinbar willkürlich zwischen den verschiedenen Skills und zwischen den Skills und dem digitalen Assistenten hin und her springt. Um das Dialogfeld in der richtigen Reihenfolge (und dem richtigen Kontext) anzuzeigen, sortieren Sie die Spalte TIMESTAMP in aufsteigender Reihenfolge.
  • Suchen der Unterhaltungsgrenzen: Verwenden Sie das Feld System.BeginSession und einen der Endstatuswerte, um den Anfang und das Ende einer Unterhaltung zu finden. Unterhaltungen beginnen mit einem System.BeginSession-Status. Sie können mit einem der folgenden Endstatuswerte enden:
    • System.EndSession
    • System.ExpiredSession
    • System.MaxStatesExceededHandler
    • System.DefaultErrorHandler
  • Prüfung der tatsächlichen Unterhaltung zwischen Benutzer und Skill: Um den Inhalt der Spalten USER_UTTERANCE und BOT_RESPONSE zu isolieren, filtern Sie die Spalte CURR_STATE nach den systemgenerierten Statuswerten System.MsgReceived und System.MsgSent.
    Hinweis

    Bei einer Nicht-Text-Nachrichtenantwort, wie z.B. von Status "Entitys auflösen", besteht die Skillausgabe aus Teilantworten, die durch ein Zeilenvorschubzeichen verknüpft sind.
    Manchmal werden Teile des Dialogs zwischen Benutzer und Skill in den Spalten USER_UTTERANCE und BOT_RESPONSE wiederholt. Der Benutzertext wird wiederholt, wenn ein automatischer Übergang vorhanden ist, der keine Benutzereingabe erfordert. Die Skillantworten werden wiederholt, wenn der nächste Status einer der Endstatuswerte ist, wie System.EndSession oder System.DefaultErrorHandler.
  • Nur Prüfung der Ausführung des Dialogablaufs mit dem Dialog zwischen Benutzer und Skill: Um interne Transaktionen oder nur die Nicht-Textnachrichten anzuzeigen, müssen Sie die Statuswerte System.MsgReceived und System.MsgReceived aus der Spalte CURR_STATE herausfiltern (der umgekehrte Ansatz, um nur den Dialog anzuzeigen).
  • Identifizieren einer Session: Vergleichen Sie die Werte in CHANNEL_SESSION_ID und SESSION_ID (die sich nebeneinander befinden).

Exportlogfelder

Die exportierte CSV-Datei für einen Skill enthält die folgenden Felder.
Spalte Beschreibung Beispielwert
BOT_NAME Der Name des Skills. PizzaBot
CHANNEL_SESSION_ID Die ID eines Benutzers für die Session. Dieser Wert gibt eine neue Session an. Eine Änderung dieses Wertes gibt an, dass die Session abgelaufen ist oder für den Kanal zurückgesetzt wurde. 2e62fb24-8585-40c7-91a9-8adf0509acd6
SESSIONID Eine ID für die aktuelle Session. Dabei handelt es sich um eine zufällige ID, die diese ID von CHANNEL_SESSION_ID oder USER_ID unterscheidet. Eine Session gibt an, dass mindestens ein Intent-Ausführungspfad durch einen expliziten return-Übergang in der Statusdefinition oder durch eine implizite Rückgabe, die von der Dialog-Engine injiziert wurde, beendet wurde. 00cbecbb-0c2e-4749-bfa9-c1b222182e12
TIMESTAMP Der Zeitstempel für die Erstellungszeit. Wird für die chronologische Reihenfolge oder Anordnung von Ereignissen verwendet. 14-SEP-20 01.05.10.409000 PM
USER_ID Die Benutzer-ID 2880806
DOMAIN_USERID Referenziert USER_ID. 2880806
PARENT_BOT_ID Die ID des Skills oder digitalen Assistenten. Wenn eine Unterhaltung von einem digitalen Assistenten ausgelöst wird, referenziert dieser Wert die ID des digitalen Assistenten. 9148117F-D9B8-4E99-9CA9-3C8BA56CE7D5
ENTITY_MATCHES Identifiziert die Mischentityelementwerte, die in der ersten Äußerung abgeglichen werden, die in ein Intent aufgelöst wird. Wenn die erste Nachricht eines Benutzers "Eine große Pizza bestellen" lautet, enthält diese Spalte die Übereinstimmung für das Element PizzaSize in der Mischentity "Pizza:
{"Pizza":[{"entityName":"Pizza","PizzaSize":["Large"]}]}
Alle anderen Elementwerte in nachfolgenden Benutzernachrichten werden nicht verfolgt. Wenn also die nächste Nachricht eines Benutzers einen PizzaType-Wert enthält, wird sie nicht in die Exportdatei aufgenommen. Wenn ein Benutzer zuerst "Pizza bestellen" eingibt und dann, nachdem das Intent aufgelöst wurde, eine Nachfassnachricht mit einem Entitywert für das Element PizzaSize hinzufügt ("make it a large"), wird ein Nullwert in der Spalte ENTITY_MATCHES aufgezeichnet, da die anfängliche Nachricht, die in das Intent aufgelöst wurde, keine Elementwerte enthält.

Wenn Sie die PII-Anonymisierung aktivieren, wird ein leeres Objekt ({}) zurückgegeben.

{"Pizza":[{"entityName":"Pizza","PizzaType":["CHEESE BASIC"],"PizzaSize":["Large"]}]}
PHRASE Die ODA-Interpretierung der Benutzereingabe. large thin pizza
INTENT_LIST Ein Ranking der Kandidaten-Intents, ausgedrückt als JSON-Objekt. [{"INTENT_NAME":"OrderPizza","INTENT_SCORE":0.4063},{"INTENT_NAME":"OrderPasta","INTENT_SCORE":0.1986}]

Bei Exporten von digitalen Assistenten enthält dieses Ranking Skills, die über den digitalen Assistenten aufgerufen wurden. Beispiel: [{"INTENT_NAME":"Pizza_For_DA_Starter-1.2","INTENT_SCORE":0.931},{"INTENT_NAME":"Retail_for_DA_Starter-1.1","INTENT_SCORE":0.0996},{"INTENT_NAME":"Finance_for_DA_Starter-1.1-DA","INTENT_SCORE":0.0925}]

BOT_RESPONSE Die Antworten, die der Skill als Antwort auf Benutzeräußerungen abgegeben hat. How old are you?
USER_UTTERANCE Die Benutzereingabe. 18
INTENT Das vom Skill ausgewählte Intent zur Verarbeitung der Unterhaltung. Dadurch wird das oberste Intent aus der Liste der Intents aufgelistet, die als Möglichkeit für die Unterhaltung betrachtet wurden. OrderPizza
LOCALE Das Gebietsschema des Benutzers. en-US
COMPONENT_NAME Die Komponente (Systemkomponente oder benutzerdefiniert), die im aktuellen Status ausgeführt wird. Sie können dieses Feld zusammen mit CURR_STATE und NEXT STATE verwenden, um das Dialogfeld zu debuggen. flow.There sind andere Werte in der Spalte COMPONENT_NAME, die keine Komponenten sind:
  • ODA.Routing: Gibt an, dass ein Ereignis aufgezeichnet wird.
  • __NO_COMPONENT__: Für den Status wurde keine Komponente definiert. Die Spalte enthält möglicherweise keinen Wert, wenn keine Komponente für den Status definiert wurde.
AgeChecker
CURR_STATE Der aktuelle Status der Unterhaltung, mit dem Sie die Quelle der Nachricht bestimmen. Dieses Feld enthält die Namen der in der Dialogablaufdefinition definierten Statuswerte sowie die vom System generierten Statuswerte. Sie können die CSV-Datei nach diesen Statuswerten filtern, einschließlich System.MsgRecieved für Benutzernachrichten und System.MsgSent für Nachrichten, die von den Skill oder Agents für Kundenserviceintegrationen gesendet werden. checkage

NEXT_STATE Der nächste Status im Ausführungspfad. Die Statusübergänge in der Dialogablaufdefinition geben den nächsten Status im Ausführungspfad an. crust
Language Die während der Session verwendete Sprache. fr
SKILL_VERSION Die Version des Skills. 1.2
INTENT_TYPE Gibt an, ob das Intent ein Transaktions-Intent (TRANS) oder ein Antwort-Intent (STATIC) ist. STATIC
CHANNEL_ID Gibt den Kanal an, auf dem die Unterhaltung geführt wurde. Dieses Feld stellt zusammen mit CHANNEL_SESSION_ID eine Session dar. AF5D45A0EF4C02D4E053060013AC71BD
ERROR_MESSAGE Die zurückgegebene Fehlermeldung. Session expired due to inactivity.
INTENT_QUERY_TEXT Die Eingabe, die zur Klassifizierung an den Intent-Server gesendet wird. Der Inhalt von INTENT_QUERY_TEXT und USER_UTTERANCE ist identisch, wenn die Benutzereingabe eine der nativen Sprachen verwendet. Er unterscheidet sich jedoch, wenn die Benutzereingabe eine Sprache nutzt, die nicht nativ unterstützt und daher von einem Übersetzungsservice verarbeitet wird. In diesem Fall ist INPUT_QUERY_TEXT auf Englisch.  
TRANSLATE_ENABLED Gibt an, ob ein Übersetzungsservice verwendet wird. NO
SKILL_SESSION_ID Die Session-ID. 6e2ea3dc-10e2-401a-a621-85e123213d48
ASR_REQUEST_ID Ein eindeutiges Schlüsselfeld, das jede Spracheingabe identifiziert, d.h. die Sprachanforderungs-ID. Wenn dieser Wert vorhanden ist, ist die Eingabe eine Spracheingabe. cb18bc1edd1cda16ac567f26ff0ce8f0
ASR_EE_DURATION Die Dauer einer einzelnen Sprachäußerung in einem Unterhaltungsfenster. 3376
ASR_LATENCY Die Sprachlatenz in Millisekunden. Während die Spracherkennung eine große Berechnungsmenge erfordert, sind die Arbeitsspeicherbandbreite und die Batteriekapazität begrenzt. Dadurch entsteht Latenz vom Eingang einer Spracheingabe bis zu ihrer Transkription. Darüber hinaus erhöhen serverbasierte Implementierungen aufgrund des Roundtrips ebenfalls die Latenz. 50
ASR_RTF Eine Standardperformancemetrik im Spracherkennungssystem. Wenn die Verarbeitung einer Eingabe mit Dauer {I} die Zeit {P} in Anspruch nimmt, wird der Echtzeitfaktor wie folgt definiert: RTF = \frac{P}{I} (das Verhältnis zwischen der Verarbeitungsdauer für die Audioeingabe und der CPU-Zeit). Beispiel: Wenn für die Verarbeitung einer Sekunde Audio genau eine Sekunde CPU-Zeit benötigt wird, beträgt der RTF 1 (1/1). Wenn die Verarbeitung einer Sekunde Audio 500 Millisekunden dauert, beträgt der RTF 0,5 bzw. ½. 0.330567
CONVERSATION_ID Die Unterhaltungs-ID. 906ed6bd-de6d-4f59-a2af-3b633d6c7c06
CUSTOM_METRICS Ein JSON-Array, das ein Objekt für jede benutzerdefinierte Metrikdimension enthält. name ist ein Dimensionsname und value ist der zurückgegebene Wert. Diese Spalte ist für Versionen 22.02 und höher verfügbar.
[{"name":"Order Sizes","value":"a box of 3 bottles"},{"name":"Wine Types","value":"red wine"},{"name":"Most Popular","value":"Pinot noir"}]

Interne Statuswerte

Bundeslandname Beschreibung
System.MsgReceived Ein Nachrichtenempfangsereignis, das für Insights ausgelöst wird, wenn ein Skill eine Textnachricht von einer externen Quelle erhält, z.B. einem Benutzer oder einem anderen Skill.
System.MsgSent Ein Nachrichtensendeereignis, das an Insights ausgelöst wird, wenn ein Skill auf eine externe Quelle reagiert, z.B. einen Benutzer oder einen anderen Skill.

Für jedes System.MsgReceived-Ereignis können null, ein oder mehrere entsprechende System.MsgSent-Ereignisse vorhanden sein.

System.BeginSession Ein System.BeginSession-Ereignis wird als Marker zum Starten der Session gesendet, wenn:
  • noch kein Dialogstatus ausgeführt wurde.
  • der erste Dialogstatus in Kürze ausgelöst wird.
System.EndSession Ein System.EndSession-Ereignis wird als Marker für die Sessionbeendigung erfasst, wenn der aktuelle Status keine nicht behandelten Fehler generiert hat und einen return-Übergang aufweist, der angibt, dass kein anderer Dialogstatus zur Ausführung vorhanden ist. Das System.EndSession-Ereignis kann auch aufgezeichnet werden, wenn der aktuelle Status Folgendes aufweist:
  • Einen error-Übergang zum Handling eines Fehlers.
  • Den Unterhaltungsmarker insightsEndConversation: true.
System.ExpiredSession (Error type: "systemHandled") Ein Sessiontimeout. Der Standardtimeout beträgt eine Stunde.

Wenn eine Unterhaltung länger als eine Stunde unterbrochen wird, wird der Ablauf der Session ausgelöst. Der Sessionablauf wird als zwei separate Ereignisse in Insights erfasst. Das erste Ereignis ist der Inaktivitätsstatus, der Status im Dialogablauf, bei dem die Benutzerkommunikation aufgehört hat. Das zweite ist das interne Ereignis System.ExpiredSession.

System.DefaultErrorHandler Der Standard Error Handler wird ausgeführt, wenn im Dialogablauf keine Fehlerbehandlung definiert ist, weder global (wie der Knoten defaultTransitions in YAML-basierten Abläufen) noch auf Statusebene mit error-Übergängen. Wenn der Dialogablauf error-Übergänge enthält, wird ein System.EndSession-Ereignis ausgelöst.
System.ExpiredSessionHandler Das Ereignis System.ExpiredSessionHandler wird ausgelöst, wenn eine Nachricht von einem externen System oder Benutzer an den Skill gesendet wird, nachdem die Session abgelaufen ist. Beispiel: Dieses Ereignis wird ausgelöst, wenn ein Benutzer das Chatten mit dem Skill mitten in der Unterhaltung beendet, aber dann eine Nachricht sendet, nachdem das Chatfenster länger als eine Stunde geöffnet war.
System.MaxStatesExceededHandler Dieses Ereignis wird ausgelöst, wenn mehr als 100 Dialogstatuswerte als Teil einer einzelnen Benutzernachricht ausgelöst werden.

Tutorial: Oracle Digital Assistant-Insights verwenden

Wenden Sie Insights-Reporting (einschließlich Retrainer) mit diesem Tutorial an: Oracle Digital Assistant-Insights verwenden.