Unterhaltungs-Insights für Skills

Mit den Unterhaltungsberichten für Skills, die Sprach- und Textunterhaltungen nach Zeitraum und Kanal verfolgen, können Sie Ausführungspfade identifizieren, die Genauigkeit Ihrer Intent-Auflösungen bestimmen und auf vollständige Unterhaltungstranskripte zugreifen.

Um auf die Metriken auf Sessionebene zuzugreifen, wählen Sie im Übersichtsbericht im Metrikfilter die Option Deckung aus.
Die Option "Unterhaltung" im Metrikfilter.

Voice Insights werden für Fähigkeiten verfolgt, die an Chatclients weitergeleitet werden, die für Spracherkennung konfiguriert wurden und auf Version 20.8 oder höher der Oracle Web-, iOS- oder Android-SDKs ausgeführt werden.

Berichttypen

  • Überblick - Mit diesem Dashboard finden Sie schnell die Gesamtanzahl der Sprach- und Textunterhaltungen nach Kanal und Zeitraum. Die Metriken des Berichts unterteilen diese Gesamtanzahl nach der Anzahl der abgeschlossenen, nicht abgeschlossenen und laufenden Unterhaltungen. Darüber hinaus wird in diesem Bericht erläutert, wie der Skill Unterhaltungen abgeschlossen bzw. nicht abgeschlossen hat. Dazu wird die Verwendung der Transaktions- und Antwort-Intents des Skills in Balkendiagrammen und Wortwolken bewertet.
  • Benutzerdefinierte Metriken - Damit können Sie die benutzerdefinierten Dimensionen messen, die auf den Skill angewendet wurden.
  • Intents: Stellt Intent-spezifische Daten und Informationen für die Ausführungsmetriken bereit (Status, Unterhaltungsdauer sowie beliebteste und unbeliebteste Pfade).
  • Pfade - Zeigt eine visuelle Darstellung des Unterhaltungsablaufs für ein Intent an.
  • Unterhaltungen - Zeigt das eigentliche Protokoll des Dialogfelds "Skill/Benutzer" im Kontext des Dialogablaufs und des Chatfensters an.
  • Retrainer - Mit den Livedaten und den erhaltenen Insights können Sie Ihren Skill durch moderiertes Selbstlernen verbessern.
  • Exportieren - Damit können Sie eine CSV-Datei mit den Insights-Daten herunterladen, die von Oracle Digital Assistant erfasst wurden. Sie können einen benutzerdefinierten Insights-Bericht aus der CSV-Datei erstellen.

Übersichtsmetriken und -diagramme prüfen

Die Metriken, Grafiken, Diagramme und Wortwolken des Berichts "Überblick" zeigen die allgemeine Verwendung. Wenn der Skill sowohl Text- als auch Sprachunterhaltungen verarbeitet hat, enthält die Standardansicht dieses Dashboards Text- und Sprachdaten. (Das Rendering wird mit der Option Alle aktiviert.) Andernfalls enthält die Standardansicht lediglich Text oder Sprachdaten.

Sie können diese Ansicht anpassen, indem Sie zwischen den Modi Sprachfunktion und Text umschalten, oder Sie können die beiden vergleichen, indem Sie folgende Option aktivieren: Text- und Sprachunterhaltungen vergleichen.

Wenn Sie Text auswählen, zeigt der Bericht ein Set allgemeiner Metriken an. Wenn Sie Sprachfunktion auswählen, enthält der Bericht zusätzliche sprachspezifische Metriken. Diese Metriken gelten nur für Sprachunterhaltungen. Daher werden sie nicht angezeigt, wenn Sie Text- und Sprachunterhaltungen vergleichen auswählen.
Hinweis

Die Modusoptionen hängen davon ab, ob Sprach- oder Textnachrichten vorliegen. Wenn beispielsweise nur Textnachrichten vorhanden sind, wird nur die Option Text angezeigt.

Allgemeine Metriken

Der Bericht "Überblick" enthält die folgenden KPIs für Text- und Sprachunterhaltungen.
  • Gesamtanzahl von Unterhaltungen: Die Gesamtanzahl von Unterhaltungen, die aus abgeschlossenen, unvollständigen und in Bearbeitung befindlichen Unterhaltungen besteht. Unabhängig vom Status kann eine Unterhaltung aus einer oder mehreren Dialogwechsel bestehen. Jede Runde ist ein einziger Austausch zwischen dem Benutzer und dem Skill.
    Hinweis

    Unterhaltungen sind nicht mit messbaren Anforderungen identisch. Weitere Informationen zur nutzungsabhängigen Abrechnung finden Sie unter Universal Credits für Oracle PaaS und IaaS - Servicebeschreibungen.
  • Abgeschlossene Unterhaltungen: Unterhaltungen, die beendet wurden, indem die Abfrage eines Benutzers erfolgreich beantwortet wurde. Unterhaltungen, die mit einem Status "Ablauf beenden" oder einem Status enden, in dem "Ablauf beenden" (implizit) als Übergang ausgewählt ist, werden als abgeschlossen betrachtet. In von YAML verfassten Skills werden Unterhaltungen als abgeschlossen gezählt, wenn der Durchlauf durch den Dialogablauf mit einem return-Übergang oder einem Status mit der Eigenschaft insightsEndConversation endet.
    Hinweis

    Diese Eigenschaft und der Übergang return sind in Visual Flow Designer nicht verfügbar.
  • Unvollständige Unterhaltungen: Unterhaltungen, die Benutzer nicht abgeschlossen haben, da sie den Skill abgebrochen haben, oder die aufgrund von Systemfehlern, Timeouts oder Infinite-Schleifen nicht abgeschlossen werden konnten.
  • In Bearbeitung befindliche Unterhaltungen: Aktive Unterhaltungen (die noch nicht abgeschlossen oder durch Timeout abgebrochen wurden). Diese Metrik verfolgt Unterhaltungen mit mehreren Gesprächsbeiträgen. Eine in Bearbeitung befindliche Unterhaltung wird nach Ablauf der Session zu einem Timeout.
  • Durchschnittliche Zeit für Unterhaltungen: Durchschnittliche Dauer für alle Unterhaltungen des Skills.
  • Gesamtanzahl Benutzer und Anzahl eindeutige Benutzer: Benutzerbasismetriken, die angeben, wie viele Benutzer ein Skill hat und wie viele dieser Benutzer Benutzer Benutzer zurückgeben.


Sprachmetriken

Jede Unterhaltung, die mit einer Sprachinteraktion beginnt, gilt als Sprachunterhaltung. Jede Unterhaltung, die im Sprachmodus gestartet, aber im Textmodus abgeschlossen wurde, gilt als umgeschaltete Unterhaltung. Alle anderen Unterhaltungen werden als Textunterhaltungen betrachtet. Neben den Standardmetriken enthält der Bericht "Überblick" die folgenden Metriken, die spezifisch für Sprach- und umgeschaltete Unterhaltungen sind.
Hinweis

Diese Metriken dienen nur zu Informationszwecken. Sie können keine Aktionen damit ausführen.
Deaktivieren Sie zum Anzeigen dieser Metriken Text- und Sprachvorgänge vergleichen, und wählen Sie entweder Alle oder Sprachfunktion als Modus aus.
  • Durchschnittliche Zeit, die für Unterhaltungen aufgewendet wurde: Die durchschnittliche Zeit für die Unterhaltungen.
  • Durchschnittlicher Echtzeitfaktor (RTF): Das Verhältnis zwischen Verarbeitungsdauer der Audioeingabe und CPU-Zeit. Beispiel: Wenn für die Verarbeitung einer Sekunde Audio genau eine Sekunde CPU-Zeit benötigt wird, beträgt der RTF 1 (1/1). Wenn die Verarbeitung einer Sekunde Audio 500 Millisekunden dauert, beträgt der RTF 0,5 bzw. ½. Idealerweise muss der RTF unter 1 liegen, um sicherzustellen, dass die Verarbeitung mit der Audioeingabe Schritt hält. Wenden Sie sich an Oracle Support, wenn der RTF über 1 liegt.
  • Durchschnittliche Voice-Latenz: Die Verzögerung in Millisekunden zwischen dem Erkennen des Endes der Äußerung und der Generierung des endgültigen Ergebnisses (oder der Transkription). Wenden Sie sich an Oracle Support, wenn Sie Latenzzeiten beobachten.
  • Durchschnittliche Audiozeit: Die durchschnittliche Dauer für alle Unterhaltungen (in Sekunden).
  • Switched Conversations: Der Prozentsatz der Unterhaltungen des Skills, die mit Voice-Befehlen begonnen haben, aber zum Abschluss der Interaktion zu Text gewechselt werden mussten. Diese Metrik gibt an, dass mehrere Ausführungspfade beim Umschalten von Sprach- zu Textdaten beteiligt waren.

Aufschlüsselung unvollständiger Unterhaltungen

Wenn im ausgewählten Zeitraum unvollständige Unterhaltungen vorhanden sind, wird die Gesamtanzahl nach folgenden Fehlerkategorien aufgeschlüsselt:
  • Timeouts: Timeouts werden ausgelöst, wenn eine aktive Unterhaltung länger als eine Stunde inaktiv ist, sodass die Session abläuft.
  • Systemverwaltete Fehler: Systemverwaltete Fehler werden vom System und nicht vom Skill verarbeitet. Diese Fehler treten auf, wenn die Dialogablaufdefinition nicht mit Fehlerbehandlung ausgestattet ist.
  • Endlosschleife: Endlosschleifen können aufgrund von Fehlern in der Dialogablaufdefinition auftreten, wie z.B. falsch definierte Übergänge.
  • Abgebrochen: Gibt an, wie oft Benutzer einen Skill durch explizites Abbrechen der Unterhaltung beendet haben.


Wenn Sie auf eine Fehlerkategorie in der Tabelle oder auf einen der Bögen im Diagramm klicken, können Sie einen Drilldown zum Bericht Unterhaltungen durchführen, um diese Fehler im Kontext unvollständiger Unterhaltungen anzuzeigen. Wenn Sie von hier aus auf den Bericht "Unterhaltungen" zugreifen, werden die Filter "Ergebnis" und "Fehler" des Berichts "Unterhaltungen" auf Unvollständig und auf die ausgewählte Fehlerkategorie gesetzt. Beispiel: Wenn Sie auf Endlosschleife klicken, wird der Bericht "Unterhaltungen" nach Unvollständig und Endlosschleife gefiltert. Die Filter "Intents" und "Ergebnis" des Berichts sind auf Alle anzeigen und das Feld "Sortieren nach" auf Letzte gesetzt.

Benutzer-Metriken

Mit den folgenden Metriken können Sie die Anzahl der Benutzer ermitteln, die ein Skill für einen ausgewählten Zeitpunkt hat. Sie können sie mit der laufenden Summe vergleichen, die in der Metrik Gesamtanzahl Unterhaltungen angezeigt wird, während Sie den Bericht nach Kanal und Zeitraum filtern. Bei Live-Agent-Integrationen können Sie die Anzahl der eindeutigen Benutzer, die an einen Agent übertragen wurden, mit einer Gesamtanzahl von Unterhaltungen vergleichen, die Live-Agent-Übertragungen und von Skills behandelte Unterhaltungen umfasst.
  • Anzahl Benutzer: Eine laufende Summe aller Benutzertypen, die mit dem Skill interagiert haben: Benutzer mit von Kanälen zugewiesenen IDs, die über Sessions (die eindeutigen Benutzer) hinweg persistieren, und Benutzer, deren automatisch zugewiesene IDs nur für eine Session dauern.
  • Anzahl eindeutige Benutzer: Die Anzahl der Benutzer, die auf den Skill zugegriffen haben, wie durch ihre eindeutigen Benutzer-IDs angegeben. Jeder Kanal weist einem Benutzer eine andere Methode zu: Benutzer, die mit dem Skill über den Webkanal chatten, werden beispielsweise durch den für das Feld userId definierten Wert identifiziert. Der Testkanal des Skilltester weist Ihnen jedes Mal, wenn Sie eine Chatsession beenden, eine neue Benutzer-ID zu, indem Sie auf Zurücksetzen klicken.
    Nach der Zuweisung werden diese eindeutigen IDs über Chatsessions hinweg beibehalten, sodass die von dieser Metrik angepasste eindeutige Benutzeranzahl nicht erhöht wird, wenn ein Benutzer den Skill erneut besucht. Die Anzahl wird nur erhöht, wenn ein anderer Benutzer mit einer eindeutigen ID zum Benutzerpool hinzugefügt wird.

    Tipp:

    Da die Benutzer-IDs nur innerhalb eines Kanals eindeutig sind (ein Benutzer mit identischen IDs auf zwei verschiedenen Kanälen wird als zwei Benutzer gezählt, nicht als einer), können Sie sich einen besseren Überblick über die Benutzerbasis verschaffen, indem Sie den Bericht nach Kanal filtern.

Neue Benutzerverfolgung aktivieren

Um Benutzer zu verfolgen, die noch nie zuvor mit einem Skill oder digitalen Assistenten interagiert haben, aktivieren Sie unter Einstellungen > Konfiguration die Option Insights-Benutzermetriken aktivieren. Bevor Sie dieses Feature für einen Skill aktivieren, stellen Sie sicher, dass die an ihn weitergeleiteten Kanäle einen Typ von Benutzer-ID zuweisen. Andernfalls lassen Sie diese Funktion deaktiviert (ihr Standardmodus). Wenn Kanäle keine Benutzer-IDs angeben, weist Digital Assistant jeder Chatsession eine neue Benutzer-ID zu. Wenn diese Funktion aktiviert wird, wenn diese Kanaltypen verwendet werden, wird das Reporting verzerrt, da neue Benutzer für jede neue Chatsession hinzugefügt werden und die Benutzertabelle daher mit neuen Einträgen aufgebläht wird. Die neuen Benutzerdaten werden nicht automatisch aus dem Speicher gelöscht. Daher müssen Sie stattdessen die Oracle Digital Assistant-API verwenden. Um die neuen Benutzerdaten zu löschen, nehmen Sie "purgeUserData": true in die Payload der POST-Anforderung für Exportaufgabe starten auf.
Hinweis

Die Erfassung neuer Benutzerdaten beginnt erst an dem Datum, an dem dieses Feature mit Release 23.10 ausgeliefert wurde.

Insights zu Unterhaltungstrends prüfen

Das Diagramm "Unterhaltungstrends" zeigt Folgendes für Transaktions-Intents (einschließlich Agent-Übertragungs-Intents) und Antwort-Intents an:
  • Abgeschlossen: Die Unterhaltungen, die Benutzer erfolgreich abgeschlossen haben. Unterhaltungen, die mit einem Status "Ablauf beenden" oder einem Status enden, in dem "Ablauf beenden" (implizit) als Übergang ausgewählt ist, werden als abgeschlossen betrachtet. In von YAML verfassten Skills werden Unterhaltungen als abgeschlossen gezählt, wenn der Durchlauf durch den Dialogablauf mit einem return-Übergang oder einem Status mit der Eigenschaft insightsEndConversation endet.
    Hinweis

    Diese Eigenschaft und der Übergang return sind in Visual Flow Designer nicht verfügbar.
  • Unvollständig: Unterhaltungen, die Benutzer nicht abgeschlossen haben, da sie den Skill abgebrochen haben, oder die aufgrund von Systemfehlern, Timeouts oder Fehlern im Skilldesign nicht abgeschlossen werden konnten.
  • Wird ausgeführt: Aktive Unterhaltungen (die noch nicht abgeschlossen oder durch Timeout abgebrochen wurden). Diese Metrik verfolgt Unterhaltungen mit mehreren Gesprächsbeiträgen.

Intent-Verwendung anzeigen

Im Balkendiagramm "Intents" können Sie nicht nur die Transaktions- und Antwort-Intents erkennen, die Unterhaltungen abgeschlossen haben, sondern auch diejenigen, die zu unvollständigen Unterhaltungen geführt haben. Mit diesem Diagramm können Sie auch herausfinden, ob die allgemeine Verwendung dieser Intents für Ihren Anwendungsfall geeignet ist. Beispiel: Übertrifft die Anzahl der abgeschlossenen Unterhaltungen für ein Intent, das als Sekundärzweck dient, die Anzahl abgeschlossener Unterhaltungen für Ihr primäres Intent? Oder um es praktischer auszudrücken: Ist Ihr Skill zum Bestellen von Pizza zu einem Skill zur Einreichung von Beschwerden geworden, der die meisten Benutzer an einen Live-Agent weiterleitet?
Hinweis

Nicht alle Unterhaltungen werden als ein Intent aufgelöst. Wenn Kein Intent im Balkendiagramm "Intent" und in der Wortwolke angezeigt wird, bedeutet dies, dass ein Intent nicht durch die Benutzereingabe aufgelöst wurde, sondern durch eine Übergangsaktion, eine von einem Skill initiierte Unterhaltung oder durch das Routing von einem digitalen Assistenten.

Mit den Optionen Alle Intents, Antwort-Intents und Transaktions-Intents des Diagramms können Sie das Balkendiagramm und die Wortwolke filtern.
Beschreibung von all-intents.png folgt
Beschreibung der Abbildung all-intents.png

Mit diesen Optionen können Sie die Verwendung schnell aufschlüsseln. For example, for mixed skills – ones that have both transactional and answer intents – you can view usage for these two types of intents using the Answer Intents and Transaction Intents options.
Beschreibung von transactional-intents.png folgt
Description of the illustration transactional-intents.png

The key phrases rendered in the word cloud reflect the option, so for example, only the key phrases associated answer intents display when you select Answer Intents.
Beschreibung von answer-intents.png folgt
Description of the illustration answer-intents.png

Intents prüfen und mit Wolken für Schlüsselphrasen nachtrainieren

Die Wortwolke "Beliebteste Intents" bietet eine Begleitansicht zum Balkendiagramm "Intents". Sie zeigt die Anzahl abgeschlossener und unvollständiger Unterhaltungen für ein Intent an. Dabei werden die am häufigsten aufgerufenen Intents nach Größe und Farbe gewichtet. Die Größe entspricht der Anzahl von Aufrufen für den angegebenen Zeitraum.

Die Farbe stellt die Erfolgsebene für die Intent-Auflösung dar:
  • Grün steht für einen hohen Durchschnitt für die Auflösung von Anforderungen, die den Schwellenwert für die Konfidenzgewinnmarge innerhalb des angegebenen Zeitraums erreichen oder überschreiten.
  • Gelb steht für eine Intent-Auflösung, die den Schwellenwert für die Konfidenzgewinnmarge im Schnitt nicht im angegebenen Zeitraum erreicht. Diese Farbe ist ein guter Hinweis, dass das Intent nachtrainiert werden muss.
  • Rot ist für unresolvedIntent reserviert. Diese Benutzeranforderungen stimmen mit keinem Intent überein, könnten aber möglicherweise in das Korpus integriert werden.
Die Wortwolke mit den häufigsten Intents ist das Gateway für detailliertere Ansichten zur Auflösung von Benutzernachrichten durch Intents. Unter Intents prüfen und mit Wolken für Schlüsselphrasen nachtrainieren wird beschrieben, wie Sie einen Drilldown aus der Wortwolke mit den häufigsten Intents durchführen können, um mehr über Verwendung, Benutzerinteraktionen und Nachtraining zu erfahren.

Darüber hinaus erhalten Sie eine detailliertere Ansicht der Intent-Verwendung anhand von Schlüsselwortgruppen (Darstellungen der tatsächlichen Benutzereingabe). Bei englischsprachigen Wortgruppen (das Verhalten weicht ab, wenn nicht englische Wortgruppen für ein Intent aufgelöst werden), erhalten Sie Zugriff auf den Retrainer.

Schlüsselphrasen prüfen

Wenn Sie auf ein Intent klicken, können Sie einen Drilldown zu einer Gruppe von Schlüsselphrasen durchführen. Diese Phrasen sind Abstraktionen der Originalbenutzernachricht, die das ursprüngliche Intent beibehalten. Beispiel: Die Schlüsselphrase meine Bestellung stornieren wird aus der ursprünglichen Nachricht Ich möchte meine Bestellung stornieren gerendert. Ähnliche Nachrichten können in einer einzigen Schlüsselphrase gruppiert werden. Beispiel: Die Phrasen Ich möchte meine Bestellung stornieren, können Sie meine Bestellung stornieren und meine Bestellung bitte stornieren können in der Schlüsselphrase meine Bestellung stornieren gruppiert werden. Wie bei den Intents stellt die Größe die Häufigkeit für den betreffenden Zeitraum und die Farbe das Vertrauensniveau dar.
Beschreibung von key-phrases-for-intent.png folgt
Beschreibung der Abbildung key-phrases-for-intent.png

You can see the actual user message (or the messages grouped within a key phrase) within the context of a conversation when you click a phrase and then choose View Conversations from the context menu.
Beschreibung von view-conversations-option.png folgt
Description of the illustration view-conversations-option.png

This option opens the Conversations Report.
Beschreibung von key-phrases-conversation-report.png folgt
Description of the illustration key-phrases-conversation-report.png

Anonymized values display in the phrase cloud when you enable PII Anonymization.
Beschreibung von pii-skill-phrase-cloud.png folgt
Description of the illustration pii-skill-phrase-cloud.png

Aus Wortwolke nachtrainieren

Sie können nicht nur die Nachricht, die durch die Phrase repräsentiert wird, im Kontext anzeigen, sondern auch die Nachricht (oder die in einer Schlüsselphrase gruppierten Nachrichten) zum Trainingskorpus hinzufügen, indem Sie auf Nachtrainieren klicken.

Mit dieser Option wird der Retrainer geöffnet, in dem Sie die eigentliche Phrase zum Trainingskorpus hinzufügen können.

Wortgruppen anderer Sprachen prüfen

Das Verhalten der Schlagwortwolke unterscheidet sich bei Skills mit nativer Sprachunterstützung insofern, als dass Sie bei nicht englischsprachigen Wortgruppen nicht auf den Retrainer zugreifen können. Wenn Wortgruppen in verschiedenen Sprachen für ein Intent aufgelöst wurden, werden Sprachen und keine Schlüsselwortgruppen in der Wolke angezeigt, wenn Sie auf ein Intent klicken. Beispiel: Wenn Französisch und Englisch angezeigt werden, nachdem Sie auf unresolvedIntent geklickt haben, sind sowohl englische als auch französische Wortgruppen vorhanden, die nicht für ein Intent aufgelöst werden konnten.
Beschreibung von ml-phrase-cloud.png folgt
Beschreibung der Abbildung ml-phrase-cloud.png

Wenn Englisch zu den Sprachen gehört, können Sie durch Klicken auf Englisch einen Drilldown zur Schlüsselphrase Cloud durchführen. In der Schlagwortwolke können Sie die Kontextmenüoptionen Unterhaltungen anzeigen und Nachtrainieren verwenden, um einen Drilldown zum Unterhaltungsbericht und zum Retrainer durchzuführen. Wenn Sie jedoch einen Drilldown von einer nicht englischen Sprache durchführen, führen Sie den Drilldown zum Bericht "Unterhaltungen" durch, gefiltert nach Intent und Sprache. Es gibt keinen direkten Zugriff auf den Retrainer. Wenn Sie also im Beispiel mir unresolvedIntent auf Englisch geklickt haben, führen Sie einen Drilldown zur Schlagwortwolke durch. Wenn Sie auf Französisch geklickt haben, führen Sie einen Drilldown zum Bericht "Unterhaltungen" durch, gefiltert nach unresolvedIntent und Französisch.
Beschreibung von ml-conversation-report.png folgt
Beschreibung der Abbildung ml-conversation-report.png

Wenn Sie eine Wortgruppe nach der Prüfung im Kontext der Unterhaltung integrieren oder neu zuweisen möchten, müssen Sie sie direkt aus dem Retrainer integrieren, indem Sie nach dem Intent und der Sprache (und anderen Kriterien) filtern.

Sprachverwendung prüfen

Bei einem mehrsprachigen Skill können Sie die Verwendung der unterstützten Sprachen über die Segmente des Sprachdiagramms vergleichen. Jedes Segment stellt eine Sprache dar, die derzeit verwendet wird.
Beschreibung von languages-chart-overview-skill.png folgt
Beschreibung der Abbildung languages-chart-overview-skill.png
Wenn Sie die Unterhaltungen prüfen möchten, die durch eine Sprache im Diagramm dargestellt werden, können Sie auf ein Segment oder die Legende klicken, um einen Drilldown zum Bericht "Unterhaltungen" durchzuführen, der nach der ausgewählten Sprache gefiltert wird.
Beschreibung von gesprächen-report-filtered-by-language.png folgt
Beschreibung der Abbildung "Unterhaltungen - Bericht - gefiltert nach language.png

Benutzerfeedback und Bewertungen prüfen

Das Donut-Diagramm "Benutzerbewertung" und die Wortwolke "Benutzerfeedback" verfolgen das direkte Feedback und die von der Komponente gesammelten Bewertungen. Wenn der Dialog in den Status "Benutzerfeedback" übergeht, stellt der Skill Benutzern ein Bewertungssystem und optional die Möglichkeit zur Abgabe von Feedback zur Verfügung. Standardmäßig können Benutzer ihre Interaktion mit dem Skill bewerten, indem sie einen Bereich von eins bis fünf auswählen. Bei ODA Version 21.10 und höher ist die Feedbackkomponente standardmäßig ein Sternebewertungssystem. Bei früheren Versionen wird die Feedbackkomponente als Liste angezeigt.

Die durchschnittliche Kundenzufriedenheitsbewertung, die proportional zur Anzahl der Unterhaltungen für jede der Bewertungen ist, wird in der Mitte des Donut-Diagramms angezeigt. Die einzelnen Summen pro Konversationsbasis für jede Zahl im Bereich werden als Bögen des User Rating Donut Diagramms dargestellt, die je nach Vorkommen in der Länge variieren. Wenn Sie auf einen dieser Bögen klicken, wird der Bericht "Unterhaltungen" nach Score gefiltert geöffnet.
Hinweis

Wenn Ihr Skill auf einer Plattform vor Release 21.12 ausgeführt wird, müssen Sie Maskierung aktivieren deaktivieren, um die Benutzerbewertung im Unterhaltungstranskript anzuzeigen. Um die tatsächliche Benutzerbewertung in den Transkripten für Skills beizubehalten, die auf Plattformen 21.12 und höher ausgeführt werden (wobei Maskierung aktivieren veraltet ist), müssen Sie die Entity NUMBER aus der Liste der Entitys löschen, die als PII behandelt werden, wenn Sie die PII-Anonymisierung aktivieren.


Standardmäßig wird der Mindestschwellenwert der Komponente "Benutzerfeedback" für die Bestimmung einer positiven oder negativen Reaktion auf zwei Werte gesetzt (Unzufrieden). Wenn Benutzerfeedback für die Komponente aktiviert ist, zeigt die Wortwolke "Benutzerfeedback" die Benutzerkommentare an, die negative Bewertungen begleiten, und skaliert sie entsprechend ihrer Häufigkeit. Sie können diese Kommentare im Kontext der gesamten Interaktion anzeigen, indem Sie im Diagramm "Benutzerbewertung" auf den Bogen klicken, der eine Bewertung unter dem Schwellenwert darstellt (ein oder zwei pro Standardeinstellung der Komponente), und dann einen Drilldown zum Unterhaltungsbericht durchführen, der nach dem ausgewählten Score gefiltert wird.
Beschreibung von Conversation-report-user-feedback.png folgt
Beschreibung der Abbildung "unterhaltung-report-user-feedback.png

So fügen Sie die Feedbackkomponente zum Dialogablauf hinzu

Um Daten für das Diagramm "Benutzerbewertung" und die Wortwolke "Benutzerfeedback" zu erfassen, müssen Sie dem Dialogablauf eine Statusfolge hinzufügen. Der erste dieser Status ist ein Benutzerfeedback-Status. Um diesen Status hinzuzufügen, wählen Sie Benutzermeldung > Benutzerfeedback und dann Weiter als Übergangstyp aus. (In YAML-Abflüssen müssen Sie einen expliziten Übergang mit dem next-Übergang in den Status System.Feedback setzen.) Ihr Dialogablauf kann zu einer Statusfolge von Benutzerfeedback übergehen, wenn Sie die Reaktion eines Benutzers messen möchten. Dies kann beispielsweise der Fall sein, wenn ein Benutzer eine Transaktion abgeschlossen oder abgebrochen hat.
Hinweis

Wenn der Status vor dem Benutzerfeedback eine Eigenschaft Keep Turn aufweist, setzen Sie ihn auf True, um sicherzustellen, dass der Skill die Unterhaltung nicht an den Benutzer weiterleitet, bevor der Ablauf auf das Benutzerfeedback übergeht. Um die Kontrolle des Skills in von YAML verfassten Abläufen beizubehalten, setzen Sie keepTurn: true im Status vor dem Status System.Feedback.


Nach dem Status "Benutzerfeedback" müssen Sie die Status hinzufügen, die den Übergängen above, below und cancel entsprechen. In den YAML-Dialogabläufen weist jeder dieser Status return: done-Übergänge auf.

Diese Status entsprechen dem hohen und niedrigen Bereich der Bewertung, der durch die Eigenschaft "Schwellenwert" bestimmt wird. Sie können diese Status als Benutzernachrichten hinzufügen, die den Empfang der Benutzerbewertung bestätigen.
Feedbacktyp Nachrichtenbeispiel
above Thank you for rating us ${system.userFeedbackRating.value}
below You entered: ${system.userFeedbackText.value} We appreciate your feedback.
cancel Skipped giving a rating or feedback? Maybe next time.
Sie können die Ausgabe der Komponente "Benutzerfeedback" anpassen, indem Sie die Feedback-bezogenen Resource Bundles bearbeiten, auf die Sie über die Seite Resource Bundle-Konfiguration zugreifen, oder indem Sie die systemComponent_Feedback_-Schlüssel in einer CSV-Datei für Resource Bundles bearbeiten.

Benutzerdefinierte Metriken zur Messung von Benutzerfeedback verwenden

Sie können eine allgemeine Ansicht von positivem, negativem und übersprungenem Feedback erhalten, indem Sie eine einzelne benutzerfeedbackbezogene Dimension für ein Set von Benutzerdefinierte Metriken festlegen-Status definieren.

Jeder dieser Status "Benutzerdefinierte Metriken festlegen" entspricht einem der Statuswerte, die von den Übergangsaktionen above, below und cancel der Benutzerfeedbackkomponente benannt werden. Beispiel: Wenn Sie eine Metrik namens "Feedbacktyp" zum Bericht "Benutzerdefinierte Metriken" hinzufügen möchten, gehen Sie wie folgt vor:
  1. Status "Benutzerdefinierte Metriken festlegen" vor jedem Status einfügen, der von den Übergangsaktionen above, below und cancel der Benutzerfeedbackkomponente benannt wird.
  2. Geben Sie für jeden Status den Feedbacktyp als Dimensionsnamen ein.
  3. Fügen Sie je nach Übergangstyp separate Werte für jeden Status hinzu (z.B. Canceled, Positive, Negative). Nachdem Sie den Dialogablauf zur Erfassung von Feedbackdaten instrumentiert haben, können Sie die verschiedenen Werte im Bericht "Benutzerdefinierte Metriken" abfragen.


In YAML-basierten Abläufen verfolgen Sie Feedbackmetriken, indem Sie System.SetCustomMetrics-Status hinzufügen.

Benutzerdefinierte Metriken überprüfen

Mit dem Bericht "Benutzerdefinierte Metriken" können Sie die Insight-Daten erweitern, indem Sie Unterhaltungsdaten für Skill-spezifische Dimensionen verfolgen. Die von diesem Bericht verfolgten Dimensionen werden in der Dialogablaufdefinition mit der Komponente Benutzerdefinierte Metriken festlegen (und der Komponente System.SetCustomMetrics in YAML-Abläufen) erstellt. Mit dieser Komponente können Sie Dimensionen erstellen, um Geschäfts- und Entwicklungsanforderungen zu untersuchen, die speziell für Ihren Skill gelten. Beispiel: Sie können Dimensionen erstellen, die den Verbrauch eines Produkts oder einer Dienstleistung (den am häufigsten angeforderten Pizzateig oder den Typ der am häufigsten eingereichten Spesenabrechnung) melden, oder Sie können verfolgen, wann der Skill Benutzer nicht unterstützt, indem Sie sie zum Beenden zwingen oder sie an Live-Agents übergeben.



Der Bericht "Benutzerdefinierte Metriken" stellt die in den Unterhaltungsdaten definierten Dimensionen als Donut-Diagramm, Balkendiagramm und Linientrenddiagramm dar. Jede Dimension hat ihre eigene Konversationssumme. Diese Zusammenfassung enthält Unterhaltungen, die abgeschlossen, unvollständig oder in Bearbeitung sind. Die Dimensionswerte (oder Kategorien) werden als Segmente im Donut-Diagramm und als Punkte im und im Linientrenddiagramm dargestellt. Mit diesen Werten können Sie die Berichtsansicht (und auch die benutzerdefinierten Metrikdaten, die Sie in eine CSV-Datei herunterladen können) filtern. Im Donut-Diagramm stellt die Länge der Bögen die Vorkommen des Dimensionswerts als Prozentsatz der Gesamtanzahl der Unterhaltungen dar. Die tatsächliche Anzahl der Dimensionswerte wird im Liniendiagramm verfolgt. Sowohl die Bögen als auch die Trendlinien sind Zugriffspunkte für den Bericht "Unterhaltungen". Wenn Sie auf einen der beiden Werte klicken, wird der Bericht "Unterhaltungen" nach dem ausgewählten Dimensionswert gefiltert geöffnet.

Hinweis

Dimensionen und Kategorien werden im Bericht nur angezeigt, wenn die von ihnen gemessenen Unterhaltungen stattgefunden haben.

Skill für benutzerdefinierte Metriken instrumentieren

Um den Bericht "Benutzerdefinierte Metriken" zu generieren, müssen Sie eine oder mehrere Dimensionen mit der Komponente Benutzerdefinierte Metriken festlegen definieren (auf die Sie zugreifen können, indem Sie in YAML-Dialogen auf Variablen > Benutzerdefinierte Metriken festlegen oder Variablen > Benutzerdefinierte Insights-Metriken festlegen klicken).
Beschreibung von set-insights-component-dialog.png folgt
Beschreibung der Abbildung set-insights-component-dialog.png

Wenn der Bericht "Benutzerdefinierte Metriken" keine Daten enthält, wurden wahrscheinlich keine Status "Benutzerdefinierte Metriken festlegen" definiert, oder die Übergänge zu diesen Status wurden nicht korrekt festgelegt.

Sie können Status "Benutzerdefinierte Metriken festlegen" überall hinzufügen, wo Sie einen Entitywert oder eine Aktivität in einem Ausführungsablauf verfolgen möchten.
Hinweis

Sie können bis zu sechs Dimensionen für jeden Skill definieren.
Je nach Struktur der Dialogabläufe und Ihrem Anwendungsfall können Sie mehrere Dimensionen in einem einzelnen Status "Benutzerdefinierte Metriken festlegen" oder mit mehreren Status "Benutzerdefinierte Metrik festlegen" in einem einzelnen Dialogablauf oder über mehrere Abläufe hinweg definieren.

Dimensionen für Variablenwerte erstellen

Sie können Entitywerte verfolgen, indem Sie einen next-Übergang auf den Status "Benutzerdefinierte Metriken festlegen" setzen, nachdem der Wert festgelegt wurde (z.B. ein Zustand "Composite Bag auflösen"). Die Dimensionen und Filter im Bericht "Benutzerdefinierte Metriken festlegen" werden aus den von der Komponente "Benutzerdefinierte Metriken festlegen" definierten Dimensionen und Dimensionswerten wiedergegeben.

Wenn der Wertfestlegungsstatus eine Mischentity referenziert, können Sie die Mischentityelemente mit einem Apache Freemarker-Ausdruck verfolgen, um den Dimensionswert zu definieren. Beispiel: Der Wert für eine Pizza Size-Dimension kann als ${pizza.value.pizzaSize.value} definiert werden. Die einzelnen von diesem Ausdruck zurückgegebenen Werte (klein, mittel, groß) werden als Datensegmente im Bericht "Benutzerdefinierte Metriken" wiedergegeben und können auch als Filter angewendet werden. Beispiel: Der Bericht, der aus dem Instrumentieren eines Pizzaskills resultiert, gliedert Pizzabestellungen nach Größe, Typ und Pizzateig auf. Diese hinzugefügten Details ergänzen die Metriken, die bereits für das Intent "Pizza bestellen" gemeldet wurden.
Beschreibung von custom-metrics-example.png folgt
Beschreibung der Abbildung "custom-metrics-example.png"

Je nach Zusammensetzung und Komplexität der Dialogablaufdefinition werden die Entitywerte, die Sie verfolgen möchten, möglicherweise nicht innerhalb desselben Dialogablaufs aufgelöst. In solchen Situationen können Sie möglicherweise nicht alle Dimensionen mit einem einzelnen Status "Benutzerdefinierte Metriken festlegen" definieren. Stattdessen müssen Sie Status "Benutzerdefinierte Metriken festlegen" verschiedenen Teilen der Dialogablaufdefinition (oder insgesamt verschiedenen Abläufen) hinzufügen.
Hinweis

Entitywertbasierte Dimensionen werden erst im Bericht "Benutzerdefinierte Metriken" aufgezeichnet, nachdem ein Entitywert festgelegt wurde. Wenn kein Wert festgelegt wurde oder wenn der Wertfestlegungsstatus nicht in den Status "Benutzerdefinierte Metriken festlegen" übergeht, werden die fehlenden Daten in den Diagrammen des Berichts als <not set> angezeigt.

Dimensionen zur Verfolgung der Skillnutzung erstellen

Neben Dimensionen, die auf Variablenwerten basieren, können Sie Dimensionen erstellen, die nicht nur verfolgen, wie Benutzer mit dem Skill interagieren, sondern auch seine Gesamteffektivität. Beispiel: Sie können eine Dimension hinzufügen, die angibt, wie oft und warum Benutzer an Live-Agents übertragen werden.
Beschreibung von custom-metrics-agent-transfer-example.png folgt
Beschreibung der Abbildung custom-metrics-agent-transfer-example.png

Dimensionen wie diese informieren Sie über die Benutzererfahrung. Sie können dieselbe Dimension verschiedenen Status "Benutzerdefinierte Metriken festlegen" in Ihren Abläufen hinzufügen. Jeder dieser Status "Benutzerdefinierte Metriken festlegen" definiert eine andere Kategorie (oder einen anderen Dimensionswert). Beispiel: Es gibt Agent Transfer-Dimensionen in zwei verschiedenen Abläufen: eine im Ablauf "Pizza bestellen" mit dem Wert Kein Agent erforderlich, wenn der Skill eine Bestellung erfolgreich abschließt, und die andere im Ablauf UnresolvedIntent mit dem Wert Fehlerhafte Eingabe, die verfolgt, wann der Skill Benutzer aufgrund nicht aufgelöster Eingabe an einen Live-Agent überträgt. Der Bericht "Benutzerdefinierte Metriken" zeichnet Daten für diese Metriken auf, wenn diese Status in einem Ausführungsablauf enthalten sind.

Benutzerdefinierte Metrikstatus für Agent-Transferdimension Flow Wert Verwenden Sie
setInsightsCustomMetricsNoAgent Pizza bestellen (über den next-Übergang des Zustands "Composite Bag auflösen", Kein Agent erforderlich Gibt die Anzahl erfolgreicher Konversationen an, bei denen Anforderungen ohne Unterstützung erstellt wurden.
setInsightsCustomMaxErrors Pizza bestellen (über den cancel-Übergang des Zustands "Composite Bag auflösen") Max. Fehler Gibt die Anzahl der Unterhaltungen an, bei denen Benutzer an Live-Agents weitergeleitet wurden, weil sie das m erreicht haben
setInsightsCustomMetricsBadInput UnresolvedIntent Ungültige Eingabe Gibt die Anzahl der Unterhaltungen an, bei denen ungelöste Eingaben dazu geführt haben, dass Benutzer an einen Live-Agent übertragen wurden.
setInsightsCustomMetricsLiveAgent Call Agent (vor der Agent-Initiierungssequenz) Angeforderter Agent Gibt die Anzahl der Unterhaltungen an, bei denen Benutzer einen Live-Agent angefordert haben.

Benutzerdefinierte Metrikdaten exportieren

Wenn Sie auf Exportieren klicken, werden die benutzerdefinierten Metrikdaten in eine CSV-Datei heruntergeladen, die Sie für Ihre eigenen Offlineanalysen und Berichte verwenden können. Sie können die in die CSV-Datei heruntergeladenen Daten nach den Dimensionswerten filtern. Diese heruntergeladene CSV-Datei enthält die folgenden Felder.

Spalte Beschreibung
CREATED_ON Das Datum des Datenexports.
USER_ID Die ID des Skillbenutzers.
SESSION_ID Eine ID für die aktuelle Session. Dies ist eine zufällige ID, die diese ID von USER_ID unterscheidet.
BOT_ID Die Skill-ID, die dem Skill beim Erstellen zugewiesen wurde.
CUSTOM_METRICS Ein JSON-Array, das ein Objekt für jede benutzerdefinierte Metrikdimension enthält. name ist ein Dimensionsname, und value ist der aus der Unterhaltung erfasste Dimensionswert. [{"name":"Custom Metric Name 1","value":"Custom Metric Value"},{"name":"Custom Metric Name 2","value":"Custom Metric Value"},...] Beispiel: [{"name":"Pizza Size","value":"Large"},{"name":"Pizza Type","value":"Hot and Spicy"},{"name":"Pizza Crust","value":"regular"},{"name":"Agent Transfer","value":"No Agent Needed"}].
QUERY Die Benutzeräußerung oder die Skillantwort, die einen benutzerdefinierten Metrikwert enthält.
CHOICES Die Menüoptionen in UI-Komponenten.
COMPONENT Die Dialogkomponente System.setCustomMetrics (Benutzerdefinierte Komponente in visuellen Abläufen festlegen), mit der die benutzerdefinierten Metriken ausgeführt werden.
CHANNEL Der Kanal, der die Sitzung durchgeführt hat.

Insights zu Intents prüfen

Im Übersichtsbericht können Sie die Gesamtanzahl der vollständigen und unvollständigen Unterhaltungen für jedes Intent ermitteln. Mit dem Bericht "Intents" können Sie herausfinden, wie der Benutzertraffic entlang der Ausführungspfade der Intents floss und wo er durch fehlerhafte Status blockiert wurde.
Hinweis

Dieser Bericht gibt die für einen Skill über einen bestimmten Zeitraum definierten Intents zurück. Daher kann sich sein Inhalt ändern, um die Intents widerzuspiegeln, die zu verschiedenen Zeitpunkten hinzugefügt, umbenannt oder aus dem Skill entfernt wurden.

Abgeschlossene Pfade

Bei abgeschlossenen Unterhaltungen gibt der Bericht die Anzahl der Ausführungspfade an, die Benutzer durchlaufen haben, um diese Unterhaltungen mit Statistiken über die aufgewendete Zeit und die Anzahl der besuchten Status abzuschließen.

Sie können diese Statistiken und als Indikatoren für die Benutzererfahrung verwenden. Beispiel: Mit diesem Bericht können Sie feststellen, ob die aufgewendete Zeit der Aufgabe angemessen ist oder ob die kürzesten Wege noch zu einer verminderten Benutzererfahrung führen, die Benutzer zum Abbrechen bewegen kann. Könnten Sie z.B. einen Benutzer schneller durch den Skill führen, indem Sie Werte mit Mischentitys statt mit Eingabeaufforderungen und Komponenten zum Einstellen von Werten einfügen?

Weitere Informationen zu abgeschlossenen Unterhaltungen:

Unvollständige Pfade

Bei unvollständigen Unterhaltungen können Sie die Status entlang des Ausführungspfads des Intents identifizieren, in dem diese Unterhaltungen mit dem horizontalen Balkendiagramm "Unvollständige Status" beendet wurden. Dieses Diagramm, das für die in der linken Navigationsleiste aufgeführten Transaktions-Intents gerendert wird, stellt die Verteilung unvollständiger Unterhaltungen nach Status dar. Dabei kann es sich um einen im Dialogablauf definierten Status oder um einen internen Status handeln, der das Ende einer Unterhaltung markiert, wie System.DefaultErrorHandler. Mit ihm können Sie herausfinden, ob ein Dialogablaufstatus ein kontinuierlicher Fehlerpunkt ist und warum (Fehler, Timeouts oder schlechte Benutzereingabe). In diesem Bericht werden keine Pfade oder Geschwindigkeiten für unvollständige Pfade angezeigt, weil sie für diese Benutzereingabe nicht gelten. Stattdessen stuft das Balkendiagramm jedes Intent anhand der Anzahl der Nachrichten ein, die entweder in kein Intent aufgelöst werden konnten oder das Potenzial hatten, aufgelöst zu werden (was bedeutet, dass das System ein Intent erraten konnte), dies aber aufgrund von niedrigen Konfidenzscores verhindert wurde.
Hinweis

Im Diagramm "Unvollständige Status" werden Antwort-Intents (statische Intents) in YAML-basierten Abläufen nicht wiedergegeben, weil ihre Ergebnisse allein vom Komponentenstatus System.Intent und nicht von einer Reihe von Statuswerten in einer Dialogablaufdefinition unterstützt werden.
In YAML-Flows betrachtet Insights Unterhaltungen als unvollständig, wenn der endgültige Status einen leeren (oder impliziten) Übergang aufweist ({}). Selbst wenn der Skill die Transaktion erfolgreich verarbeitet, klassifiziert Insights die Unterhaltung weiterhin als unvollständig und befundet den endgültigen Status als System.DefaultErrorHandler.
Weitere Informationen zu den unvollständigen Unterhaltungen für ein Intent finden Sie unter:
  • Klicken Sie auf Pfad anzeigen, um den Bericht Pfade zu öffnen, der nach unvollständigen Unterhaltungen für das ausgewählte Intent gefiltert wurde. Die Terminalstatus in diesem Pfad können im Dialogfeld definierte Status oder einen internen Status enthalten, der das Ende einer Unterhaltung markiert, wie System.EndSession, System.ExpiredSession, System.MaxStatesExceededHandler und System.DefaultErrorHandler.

  • Sie können auf Transkripte von Unterhaltungen zugreifen, die zu dem Fehler führen, indem Sie auf Unterhaltungen anzeigen klicken. Diese Option öffnet den Bericht Unterhaltungen, der nach unvollständigen Unterhaltungen für das ausgewählte Intent gefiltert wurde. Sie können die Ergebnisse weiter eingrenzen, indem Sie einen Filter anwenden. Beispiel: Sie können den Bericht nach Fehlerbedingungen filtern.

unresolvedIntent

Zusätzlich zur Dauer und den Routen für aufgabenorientierte Intents gibt der Bericht "Intents" auch die Nachrichten zurück, die nicht aufgelöst werden konnten. Um diese Nachrichten anzuzeigen, klicken Sie in der linken Navigationsleiste auf unresolvedIntent. Wenn Sie im Balkendiagramm "Nächste Vorhersagen" auf ein Intent klicken, wird das Fenster "Nicht aufgelöste Nachricht" mit den nicht aufgelösten Nachrichten für dieses Intent aktualisiert, die nach einem Wahrscheinlichkeitsscore sortiert sind.

Sie können den Pfad und die Unterhaltungen für diese nicht aufgelösten Nachrichten über Pfad anzeigen und Unterhaltungen anzeigen anzeigen. Sie können aber auch über den Retrainer-Bericht auf die nicht aufgelösten Nachrichten zugreifen, in dem Sie sie als mögliche Ergänzungen zu den Trainingsdaten auswerten können. Wenn Sie auf Nachtrainieren klicken, wird der Retrainer-Bericht nach nicht aufgelösten Nachrichten gefiltert geöffnet.

Pfad-Insights prüfen

Mit dem Pfadbericht können Sie ermitteln, wie viele Unterhaltungen über die Ausführungspfade der Intents für einen bestimmten Zeitraum geführt haben. Dieser Bericht rendert einen Pfad, der einer Transitzuordnung ähnelt, bei der die Stopps Intents, die in der Dialogablaufdefinition definierten Status und die internen Status darstellen können, die den Anfang und das Ende jeder Unterhaltung markieren, die nicht als in Bearbeitung klassifiziert ist.
Beschreibung von path-report.png folgt
Beschreibung des Illustrationspfads-report.png

Sie können durch diesen Pfad scrollen, um festzustellen, wo die aus der Benutzereingabe eingefügten Werte die Unterhaltung vorangetrieben haben und wo sie wegen falscher Benutzereingabe, Timeouts, die aus keiner Benutzereingabe, Systemfehlern oder anderen Problemen resultieren, ins Stockwerk gesetzt wurde. Während der letzte Stopp in einem abgeschlossenen Pfad grün ist, ist er bei unvollständigen Pfaden, in denen diese Probleme aufgetreten sind, rot. Mit diesem Bericht können Sie herausfinden, wo die Anzahl der Unterhaltungen in jedem Status konstant geblieben ist. Außerdem können Sie feststellen, wo sich die Unterhaltungen verzweigt haben, weil Werte festgelegt (oder nicht festgelegt) wurden, oder wo die Unterhaltungen wegen eines anderen Problems wie einer nicht funktionierenden benutzerdefinierten Komponente oder eines Timeouts abgebrochen wurden.

Pfadbericht anzeigen

Der Paths-Bericht gibt einen Intent-Ausführungspfad entsprechend Ihren Abfrageparametern wieder. Sie können diesen Bericht sowohl nach dem vollständigen als auch nach dem unvollständigen Ausführungspfad für beliebige oder alle Intents abfragen, die Länge des Pfads durch Auswahl eines endgültigen Status festlegen und Teile der Ausführungspfade isolieren, indem Sie Status ausschließen, die von sekundärer Bedeutung sind. Beispiel: Sie können Zustände berücksichtigen, die Variablen festlegen oder den Skill für benutzerdefinierte Metriken als "Filler"-Status instrumentieren, der den Fokus Ihrer Untersuchung beeinträchtigt.

Alle Ausführungsabläufe werden standardmäßig nach Eingabe der Abfrage wiedergegeben. Der grüne Pfeil Beginnen Dieses Bild zeigt das Pfadsymbol für den Anfang. stellt System.BeginSession dar, den Systemstatus, der jede Unterhaltung startet. Das Symbol System.Intent Das Symbol System.Intent. kann je nach Filter verschiedene Intents darstellen. Sie kann sich auf ein bestimmtes Intent beziehen, das Sie als Filter ausgewählt haben, oder sie kann jedes für Ihren Skill definierte Intent darstellen, wenn Sie den Bericht nach Alle filtern (Standardeinstellung).

Bei unvollständigen Unterhaltungen kann der Pfad mit einem internen Status wie System.ExpiredSession, System.MaxStatesExceededHandler oder System.DefaultErrorHandler enden, der den Fehler darstellt, der die Unterhaltung beendet hat.
Hinweis

Wenn der endgültige Status in einem von YAML autorisierten Ablauf eine leere (oder implcit-)Transaktion ({}) verwendet, klassifiziert Insights diesen Status als System.DefaultErrorHandler-Status und betrachtet die Unterhaltung als unvollständig, selbst wenn der Skill die Transaktion erfolgreich verarbeitet hat.
Wenn Sie auf den endgültigen Status klicken, wird der Detailbereich geöffnet, in dem Statistiken, Fehler, Warnungen und die endgültigen Benutzernachrichten angezeigt werden.

Der Bericht zeigt eine Null-Antwort für alle Kundennachrichten an, die leer (oder nicht anderweitig in Klartext) sind oder unerwartete Eingaben enthalten. Bei Nicht-Textantworten, die Postback-Aktionen sind, wird die Payload der letzten Aktion angezeigt. Beispiel:
{"orderAction":"confirm""system.state":"orderSummary"}
Wenn Sie auf Unterhaltungen anzeigen klicken, wird der vom Pfad abgefragte Bericht Unterhaltungen geöffnet, sodass Sie die Nachrichten prüfen können, mit denen die Unterhaltung im Kontext eines Transkripts abgeschlossen wurde.

Szenario: Pfadbericht abfragen

Im Bericht "Überblick" für einen finanziellen Skill finden Sie einen plötzlichen Aufwärtstrend bei unvollständigen Unterhaltungen. Durch Addieren der Werte, die durch die orangen "unvollständigen" Segmente der gestapelten Balkendiagramme dargestellt werden, schließen Sie, dass Unterhaltungen in den Ausführungspfaden für die Intents "Geld und Salden senden" des Skills nicht erfolgreich sind.

Um die Intent-Fehler weiter zu untersuchen, öffnen Sie den Pfadbericht, und geben Sie Ihre erste Abfrage ein: Filtern Sie nach allen Intents, die ein unvollständiges Ergebnis haben. Der Pfad wird mit zwei Verzweigungen wiedergegeben: eine, die mit startPayments beginnt und mit SystemDefaultErrorHandler endet, und eine Sekunde, die mit startBalances beginnt und auch mit System.DefaultErrorHandler endet. Wenn Sie auf den letzten Knoten in einem der beiden Pfade klicken, wird der Detailbereich geöffnet, in dem die Anzahl der Fehler aufgeführt wird. Außerdem werden Snippets der vom Skill empfangenen Benutzernachrichten angezeigt, bevor diese Fehler aufgetreten sind. Um diese Snippets im Kontext anzuzeigen, klicken Sie im Bereich "Details" auf Unterhaltungen anzeigen, um das Protokoll anzuzeigen. In allen Unterhaltungen wurde der Skill gezwungen, mit einem unerwarteten Fehler-Prompt zu antworten (Hoppla! Ich habe ein Problem erkannt…), da Systemfehler die Verarbeitung der Benutzeranforderung verhindert haben.

Weitere Informationen zu den Status, die zu diesen Fehlern führen (und zu ihren möglichen Rollen bei der Ursache dieser Fehler), finden Sie dann in der Dialogablaufdefinition, um die Status zu identifizieren, mit denen die Ausführungspfade für die einzelnen Intents beginnen. Diese Status sind startBalances, startTxns, startPayments, startTrackSpending und setDate.

Beim Vergleich der Pfade mit der Dialogablaufdefinition stellen Sie fest, dass in den Abläufen startPayments und startBalances der letzte im Pfad gerenderte Status einem Status vorangeht, der eine benutzerdefinierte Komponente verwendet. Nachdem Sie die Seite "KomponentenDieses Bild zeigt das Symbol "Komponenten" in der linken Navigationsleiste." geprüft haben, stellen Sie fest, dass der Service deaktiviert wurde. Dadurch wird verhindert, dass der Skill die zum Abschließen von Unterhaltungen erforderlichen Accountinformationen abruft.

Insights zu Skillunterhaltungen prüfen

Mit dem Bericht "Unterhaltungen" können Sie die tatsächlichen Transkripte der Unterhaltungen untersuchen, um zu prüfen, wie die Benutzereingabe die intent-bezogenen Pfade abgeschlossen hat, bzw. warum dies nicht der Fall war. Sie können die Unterhaltungen nach Kanal, Modus (Sprache, Text, Alle), Typ (Intent-Ablauf oder LLM-Ablauf) und Zeitraum filtern.

Sie können Unterhaltungstransskripte prüfen, indem Sie diesen Bericht nach Intents filtern. Sie können Dimensionen wie Unterhaltungslänge und -ergebnis hinzufügen, die als abgeschlossen, unvollständig oder in Bearbeitung angegeben sind. Wenn Sie herausfinden möchten, welcher Fehlertyp zu unvollständigen Unterhaltungen beigetragen hat, können Sie "Ergebnis" nach "Unvollständig" filtern und dann eine der Fehlerkategorien (Timeouts, Endlosschleifen und Systemverwaltete Fehler) für den Fehlerfilter auswählen. Für Unterhaltungen mit Nachrichten, die im Sprachmodus begannen, aber im Textmodus endeten, können Sie auch nach Umgeschalteten Unterhaltungen filtern.
Hinweis

Bei einem einzelnen Intent listet der Bericht "Unterhaltungen" die verschiedenen abgeschlossenen Unterhaltungen auf. In von YAML verfassten Dialogabläufen kann abgeschlossen je nach Benutzernachricht und dem return-Übergang, der die Unterhaltung beendet und den Unterhaltungskontext zerstört, unterschiedliche Bedeutungen haben. Beispiel: Bei einem OrderPizza-Intent können im Bericht "Unterhaltungen" zwei erfolgreich abgeschlossene Unterhaltungen angezeigt werden. Nur eine der beiden Unterhaltungen endet mit einer abgeschlossenen Bestellung. Die andere Unterhaltung endet ebenfalls erfolgreich, aber anstatt eine Bestellung auszuführen, verarbeitet sie falsche Benutzereingaben.

Unterhaltungstranskripte anzeigen

Wenn Sie auf Unterhaltung anzeigen klicken, wird die Unterhaltung im Kontext eines Chatfensters geöffnet. Wenn Sie auf das Balkendiagrammsymbol klicken, werden die Sprachmetriken für diese Interaktion angezeigt.
Beschreibung von view-conversation-window.png folgt
Beschreibung der Abbildung view-conversation-window.png

Sprachmetriken anzeigen

Wenn Sie auf Voice-Metriken anzeigen klicken, wird eine Teilmenge der Voice-Metriken angezeigt, die über die gesamte Unterhaltung gemittelt sind. Um diese Metriken nach den einzelnen Sprachinteraktionen aufzuschlüsseln, klicken Sie auf das Balkendiagrammsymbol in der Transkriptansicht, auf das Sie zugreifen können, indem Sie auf Unterhaltungen anzeigen klicken.

PII-Anonymisierung

Benutzernachrichten können personenbezogene Daten (PII), Informationen wie Vor- und Nachnamen, Telefonnummern und E-Mail-Adressen enthalten. Um die Privatsphäre der Benutzer zu schützen, aber den Kontext der Nachricht zu erhalten, können Sie die PII-Werte mit einem äquivalenten Wert anonymisieren, bevor sie in der Datenbank gespeichert werden. Diese Anonyms werden innerhalb einer Sitzung konsistent verwendet. Zum Beispiel würden alle Vorkommen von "John Smith" in einer Unterhaltung durch die anonymisierte "Davis" ersetzt. In diesem Fall wird davis, nicht John Smith, in der Datenbank gespeichert und in den Exportlogs und den Insights-Berichten wie dem Convevrsations-Bericht, dem Retrainer und dem Schlüsselwort phrase cloud angezeigt.
Hinweis

Die Werte für CURRENCY und DATE_TIME sind nicht anonymisiert, obwohl sie Zahlen enthalten. Außerdem wird der Wert "eins" in der Standardeingabeaufforderung für eine Mischentity ("Wählen Sie einen Wert für... aus") als numerischer Wert anonymisiert. Um dies zu vermeiden, fügen Sie einen benutzerdefinierten Prompt hinzu ("Wählen Sie z.B. a value for...").
Sie können die von den folgenden Systementitäten erkannten Werte anonymisieren:
  • PERSON
  • NUMBER
  • EMAIL
  • PHONE_NUMBER
  • URL
Hinweis

Maskierung aktivieren ist in Release 21.12 veraltet. Verwenden Sie stattdessen die PII-Anonymisierung, um numerische Werte in den Insights-Berichten und Exportlogs zu maskieren. Sie können keine Anonymisierung auf Unterhaltungen anwenden, die vor dem Release 21.12 protokolliert wurden.

PII-Anonymisierung aktivieren

  1. Klicken Sie auf Einstellungen > Allgemein.
  2. Aktivieren Sie PII-Anonymisierung aktivieren.
  3. Klicken Sie auf Entity hinzufügen, um die Entitywerte auszuwählen, die Sie in den Insights-Berichten und den Logs anonymisieren möchten.
    Hinweis

    Anonymisierte Werte werden erst in der Datenbank gespeichert, nachdem Sie die Anonymisierung für personenbezogene Daten für die ausgewählten Entitys aktiviert haben. Sie werden nicht auf vorherige Unterhaltungen angewendet. Je nach ausgewähltem Datumsbereich für die Insights-Berichte oder Exportdateien werden die personenbezogenen Daten möglicherweise sowohl in den tatsächlichen als auch in den anonymisierten Formularen angezeigt. Sie können die Anonymisierung auf alle nicht anonymisierten personenbezogenen Daten anwenden (einschließlich derjenigen in Unterhaltungen, die vor der Aktivierung der Anonymisierung in den Einstellungen des Skills oder digitalen Assistenten stattgefunden haben), wenn Sie eine Exportaufgabe erstellen. Diese Anonymisierungen gelten nur für die exportierte Datei und werden nicht in der Datenbank beibehalten.
    Wenn Sie die Anonymisierung für einen PII-Wert einstellen möchten oder wenn Sie überhaupt keine Anonymität verwenden möchten, wählen Sie die entsprechende Entity aus, und klicken Sie auf Entity löschen. Nachdem Sie eine Entity gelöscht haben, wird der tatsächliche personenbezogene Datenwert in den Insights-Berichten für nachfolgende Unterhaltungen angezeigt. Seine anonymisierte Form wird jedoch für vorherige Gespräche bleiben.
    Hinweis

    Die Anonymisierung ist dauerhaft (die Exportaufgabe wurde ungeachtet der Anonymisierung angewendet). Sie können keine personenbezogenen Daten wiederherstellen, nachdem Sie die Anonymisierung aktiviert haben.


PII-Anonymisierung in der Exportdatei

Die Anonymisierung in einer exportierten Insights-Datei hängt davon ab, ob (und wann) Sie die PII-Anonymisierung für den Skill oder den digitalen Assistenten in den Einstellungen aktiviert haben.

Wenn Sie Anonymisierungseinstellungen für personenbezogene Daten für den Skill oder digitalen Assistenten aktivieren:
  • Die für die ausgewählten Entitys erkannten PII-Werte werden durch Anonyme ersetzt. Diese Anonyme werden in der Datenbank persistiert und ersetzen die PII-Werte in den Logs und Insights-Berichten. Diese Anonymisierung wird auf die Gespräche angewendet, die nach – nicht vor – Ihrer Aktivierung der Anonymisierung in den Einstellungen stattfinden.
  • Die Option PII-Anonymisierung für die Datei aktivieren für die Exportaufgabe ist standardmäßig aktiviert, um sicherzustellen, dass die für die in den Einstellungen ausgewählten Entitys erkannten PII-Werte auf Unterhaltungen angewendet werden, die vor der Festlegung der PII-Anonymisierung stattgefunden haben. Die während des Exports auf Unterhaltungen angewendeten Anonymisierungen, die vor der PII-Anonymisierung liegen, sind nur in der Exportdatei vorhanden. Die ursprünglichen personenbezogenen Daten bleiben in der Datenbank, in den Insights-Logs und in den Insights-Berichten.
  • Wenn Sie PII-Anonymisierung für die Datei aktivieren deaktivieren, werden nur die PII-Werte anonymisiert, die für die in den Einstellungen ausgewählten Entitys erkannt wurden. Die Logdateien enthalten die Anonymisierungen für Unterhaltungen, die nach der Aktivierung der Anonymisierungseinstellungen für den Skill oder digitalen Assistenten aufgetreten sind. Vorherige Unterhaltungen werden als ursprüngliche, unveränderte Äußerungen mit intakten personenbezogenen Daten angezeigt. Folglich kann die Exportdatei sowohl anonymisierte als auch nicht anonymisierte Unterhaltungen enthalten, wenn ein Teil des Datumsbereichs der Exportaufgabe der Anonymisierung vorausgeht.
    Hinweis

    Wenn Ihre Exportaufgabe anonymisierte Unterhaltungen enthält, die vor Release 22.04 stattgefunden haben, werden die Anonymisierungen, die auf die Unterhaltungen vor 22.04 angewendet wurden, in den Exportdateien geändert oder erneut anonymisiert, wenn Sie PII-Anonymisierung für die Datei aktivieren für die Exportaufgabe auswählen. Die Anonyms in der exportierten Datei stimmen weder mit den Anonyms in den Exportdateien vor 22.04 noch mit den Anonyms in den Insights-Berichten überein.
Wenn Sie die Anonymisierungseinstellungen für personenbezogene Daten für einen Skill oder digitalen Assistenten deaktivieren oder nicht konfigurieren:
  • Die Option PII-Anonymisierung für die Datei aktivieren wird standardmäßig für die Exportaufgabe deaktiviert, sodass die exportierte Datei alle ursprünglichen unveränderten Äußerungen einschließlich der PII-Werte enthält.
  • Wenn Sie PII-Anonymisierung für die Datei aktivieren auswählen, werden die PII-Werte in der exportierten Datei nur für die Standardentitys PERSON, EMAIL, URL und NUMBER anonymisiert. Die PII-Werte verbleiben in der Datenbank, den Logs und den Insights-Berichten.

Retrainer anwenden

Kunden können unterschiedliche Wortgruppen verwenden, um dieselbe Anforderung zu stellen. Wenn diese Benutzereingabe nicht als ein Intent aufgelöst werden kann (oder als das falsche Intent aufgelöst wurde), können Sie es mit dem Retrainer an das richtige Intent weiterleiten. Um Ihnen zu helfen, schlägt der Retrainer ein Intent für die Benutzereingabe vor. Da Sie tatsächliche Benutzereingaben hinzufügen, können Sie die Performance des Skills mit jeder neuen Version verbessern.
Sie können die Unterhaltungshistorie mit einer oder mehreren der folgenden Optionen filtern:
  • Zeitraum
  • Sprache: Für Mehrsprachigkeit, die entweder über die native Sprachunterstützung oder über Übersetzungsservices aktiviert wird. Standardmäßig wird der Bericht nach der primären Sprache gefiltert.
  • Intents: Gleichen Sie die Namen der beiden obersten Intents ab, und verwenden Sie Vergleichsoperatoren für deren auflösungsbezogenen Eigenschaften: Konfidenz und Gewinnmarge.
  • Kanäle: Umfasst den Agent-Kanal, der für Oracle Service Cloud-Integrationen erstellt wurde.
  • Text- oder Sprachmodi: Umfasst umgeschaltete Unterhaltungen.
Der Bericht gibt die beiden obersten Intents für jede zurückgegebene Äußerung zusammen mit der Gewinnmarge zurück, die diese voneinander trennt, sowie über ein horizontales Balkendiagramm deren kontrastierende Konfidenzscores. Durch Mouseover auf den Balken werden die tatsächlichen Scores angezeigt. Die horizontale Linie, die sich mit dem Diagramm überschneidet, markiert, wo der Score den Konfidenzschwellenwert des Skills überschritten oder unterschritten hat.

Intents mit Retrainer aktualisieren

Beim Hinzufügen von Benutzernachrichten zu Ihrem Trainingskorpus sind einige Aspekte zu beachten:
  • Sie können Benutzereingaben nur zu einem Trainingskorpus hinzufügen, das zu einer Entwurfsversion eines Skills und nicht zu einer veröffentlichten Version gehört.
  • Sie können keine Benutzereingabe hinzufügen, die bereits als Äußerung im Trainingskorpus vorhanden ist oder die Sie bereits mit dem Retrainer hinzugefügt haben.
So aktualisieren Sie ein Transaktions-Intent oder ein Antwort-Intent mit dem Retrainer:
  1. Da Sie einen veröffentlichten Skill nicht aktualisieren können, müssen Sie eine Entwurfsversion erstellen, bevor Sie dem Korpus neue Daten hinzufügen können.

    Tipp:

    Klicken Sie auf Alle Versionen vergleichen Dieses Bild zeigt das Symbol "Alle Versionen vergleichen"., oder deaktivieren Sie den Umschalter Nur letzte Version anzeigen, um auf die Entwurfs- und veröffentlichten Versionen des Skills zuzugreifen.
    Wenn Sie eine veröffentlichte Version des Skills prüfen, wählen Sie die Entwurfsversion des Skills aus.
    Dieses Bild zeigt das Dropdown-Menü "Version auswählen".

  2. Wenden Sie in der Entwurfsversion des Skills gegebenenfalls einen Filter an, und klicken Sie dann auf Suchen.
  3. Wählen Sie die Benutzernachricht und dann im Menü Intent auswählen das Ziel-Intent aus. Wenn der Skill mehrere native Sprachen unterstützt, können Sie ihn zum sprachspezifischen Trainingsset hinzufügen, indem Sie eine Sprache im Menü Sprache auswählen auswählen.

    Tipp:

    Sie können Äußerungen zu einem Intent auf individueller Basis hinzufügen, oder Sie können mehrere Intents auswählen und dann in den Menüs Hinzufügen zu oben links in der Tabelle das Ziel-Intent und gegebenenfalls eine Sprache auswählen. Wenn Sie alle zurückgegebenen Anforderungen zu einem Intent hinzufügen möchten, wählen Sie in der oberen rechten Ecke der Tabelle Äußerungen aus, und wählen Sie dann im Menü Hinzufügen zu das Intent und eine Sprache aus.
  4. Klicken Sie auf Beispiel hinzufügen.
  5. Trainieren Sie den Skill nach.
  6. Veröffentlichen Sie den Skill erneut.
  7. Aktualisieren Sie den digitalen Assistenten mit dem neuen Skill.
  8. Überwachen Sie den Bericht "Überblick" auf Änderungen der Metriken im Zeitverlauf, und vergleichen Sie auch verschiedene Versionen des Skills, um herauszufinden, ob neue Versionen tatsächlich den Gesamterfolg des Skills erhöht haben. Wenn Sie den Nachtrainierungsprozess wiederholen, wird die Reaktionsfähigkeit des Skills für jede neue Version verbessert. Beispiel: Bei Skills, die mit Oracle Service Cloud Chat integriert sind, sollte das Nachtrainieren zu einem Abwärtstrend bei Eskalationen führen. Dies ist durch einen Abwärtstrend bei der Verwendung von Agent-Übergabe-Intents gekennzeichnet.

Moderiertes Selbstlernen

Indem Sie den Filter "Top-Konfidenz" unter dem für den Skill festgelegten Konfidenzschwellenwert oder über den Standardfilter Intent stimmt mit unresolvedIntent überein unresolvedIntent festlegen, können Sie Ihr Trainingskorpus mit der Konfidenzeinstufung aktualisieren, die vom Intent-Verarbeitungsframework vorgenommen wurde. Beispiel: Wenn die unresolvedIntent-Suche "jemand hat meine Kreditkarte verwendet" zurückgibt, können Sie sie einem Intent mit dem Namen "Beanstandung" zuweisen. Dabei handelt es sich um moderiertes Selbstlernen, das die Intent-Auflösung verbessert und gleichzeitig die Integrität des Skills beibehält.

Beispiel: Das Standardsuchkriterium für den Bericht zeigt die Zufallsbenutzereingabe, die nicht in das Konfidenzniveau aufgelöst werden kann, weil sie unangemessen oder themenfremd ist bzw. Rechtschreibfehler enthält. Anhand des Balkendiagramms können Sie die Benutzereingabe zuweisen: Sie können das Intent des Skills zur Verarbeitung nicht aufgelöster Intents stärken, indem Sie die Eingabe zuweisen, die aus Kauderwelsch besteht, oder Sie können falsch geschriebene Einträge zum entsprechenden aufgabenorientierten Intent hinzufügen (z.B. "Geld senden" zu einem Intent "Geld senden"). Wenn Ihr Skill beispielsweise ein Begrüßungs-Intent hat, können Sie respektlose, themenfremde Nachrichten zuweisen, auf die Ihr Skill eine Erwiderung wie "Ich weiß nicht, wie das geht, aber ich kann Ihnen helfen, Blumen zu bestellen" zurückgeben kann.

Unterstützung für Übersetzungsservices

Wenn Ihr Skill einen Übersetzungsservice verwendet, zeigt der Retrainer die Benutzernachrichten in der Zielsprache an. Der Retrainer fügt jedoch keine übersetzten Nachrichten zum Trainingskorpus hinzu. Er fügt diese stattdessen auf Englisch hinzu, der akzeptierten Sprache des Trainingsmodells. Wenn Sie auf Dieses Bild zeigt das Symbol "Übersetzung anzeigen". klicken, wird die englische Version angezeigt, die dem Korpus möglicherweise hinzugefügt werden kann. Beispiel: Wenn Sie auf dieses Symbol für contester (Französisch) klicken, wird dispute (Englisch) angezeigt.

Data Manufacturing-Jobs erstellen

Anstatt Äußerungen selbst Intents zuzuweisen, können Sie diese Aufgabe durch Crowdquellieren, indem Sie Intent-Annotation- und Intent-Validierung-Jobs erstellen. Sie müssen die Unterhaltungslogs nicht in einer CSV-Datei kompilieren, um diese Jobs zu erstellen. Stattdessen klicken Sie auf Erstellen und dann auf Data Manufacturing-Job.
Bild der Option "Erstellen" im Retrainer-Bericht.
Wählen Sie dann den Jobtyp für die Benutzereingabe aus, die im Retrainer-Bericht gefiltert wird. Beispiel: Sie können einen Intent-Annotationsjob aus einem Bericht erstellen, der nach dem Top-Intent mit unresolvedIntent gefiltert ist, oder Sie können einen Intent-Validierungsjob aus einem Bericht erstellen, der nach Äußerungen gefiltert ist, die mit einem Intent übereinstimmen.
Beschreibung von retrainer-data-manufacturing-job-dialog.png folgt
Beschreibung der Abbildung "retrainer-data-manufacturing-job-dialog.png"

Tipp:

Mit den Optionen Äußerungen auswählen können Sie alle Ergebnisse auswählen, die vom Filter zurückgegeben werden, der auf den Retrainer für den Data Manufacturing-Job angewendet wird, oder einen Job aus einer Teilmenge dieser Ergebnisse erstellen, der eine zufällige Stichprobe von Äußerungen enthalten kann. Wenn Sie Äußerungen aus vorherigen Jobs ausschließen auswählen, sind Äußerungen, die für einen vorherigen Data Manufacturing-Job ausgewählt wurden, nicht mehr für nachfolgende Jobs verfügbar: Beispiel: Die Äußerungen, die in einem Intent-Annotationsjob enthalten sind, sind für einen späteren Intent-Annotationsjob nicht verfügbar. Verwenden Sie diese Option, wenn Sie mehrere Tätigkeiten erstellen, um eine große Anzahl von Ergebnissen zu prüfen.
Nachdem Sie die Tätigkeit erstellt haben, wird sie auf der Seite "Data Manufacturing-Jobs" angezeigt, auf der Sie sie an Crowdworker verteilen können, indem Sie den Link teilen.

Test Suite erstellen

Ähnlich wie bei Data Manufacturing-Jobs aus den im Retrainer-Bericht abgefragten Ergebnissen können Sie auch Testfälle aus den von Ihrer Abfrage zurückgegebenen Äußerungen erstellen. Sie können dem Äußerungstester eine Suite dieser Testfälle hinzufügen, indem Sie auf Erstellen, Suite testen klicken.
Dieses Bild zeigt die Option "Testsuite".
Sie können die Äußerungen für die Testsuite mit den Optionen Äußerungen auswählen im Dialogfeld "Testsuite erstellen" filtern. Sie können alle Äußerungen einschließen, die vom Filter zurückgegeben werden, der auf den Retrainer angewendet wird, oder eine Teilmenge dieser Ergebnisse, die eine zufällige Stichprobe der Äußerungen umfassen kann. Wählen Sie Sprachtag einschließen aus, um sicherzustellen, dass die mit einem Testfall verknüpfte Sprache während des Tests gleich bleibt.
Beschreibung von create-test-suite-dialog-insights.png folgt
Beschreibung der Abbildung create-test-suite-dialog-insights.png

Sie können auf die abgeschlossene Testsuite zugreifen, indem Sie im Äußerungstester auf Gehe zu Testfällen klicken.

Sprachverwendung prüfen

Bei einem mehrsprachigen Skill können Sie die Verwendung der unterstützten Sprachen über die Segmente des Sprachdiagramms vergleichen. Jedes Segment stellt eine Sprache dar, die derzeit verwendet wird.
Beschreibung von languages-chart-overview-skill.png folgt
Beschreibung der Abbildung languages-chart-overview-skill.png
Wenn Sie die Unterhaltungen prüfen möchten, die durch eine Sprache im Diagramm dargestellt werden, können Sie auf ein Segment oder die Legende klicken, um einen Drilldown zum Bericht "Unterhaltungen" durchzuführen, der nach der ausgewählten Sprache gefiltert wird.
Beschreibung von gesprächen-report-filtered-by-language.png folgt
Beschreibung der Abbildung "Unterhaltungen - Bericht - gefiltert nach language.png

Insight-Daten exportieren

Die verschiedenen Insight-Berichte bieten unterschiedliche Perspektiven. Wenn Sie diese Daten jedoch auf andere Weise anzeigen müssen, können Sie Ihren eigenen Bericht aus einer CSV-Datei mit exportierten Insight-Daten erstellen.

Die CSV-Dateien enthalten Felder für Benutzer- und Skillnachrichten, Komponententypen und Statusangaben, die unter Exportlogfelder beschrieben werden. Sie können ein Verarbeitungsskript schreiben, um diesen Inhalt zu filtern, oder einfach eine Tabellenkalkulationsanwendung verwenden. Unter Exportlogs prüfen werden einige gängige Methoden zum Filtern der Dateien beschrieben.
Hinweis

Die Daten können auf eine Reihe von CSV-Dateien verteilt werden, wenn die Exportaufgabe mehr als 1.048.000 Zeilen zurückgibt. In diesen Fällen enthält die ZIP-Datei eine Reihe von ZIP-Dateien, von denen jede eine CSV-Datei enthält.
Auf der Seite "Exporte" werden die Aufgaben nach folgenden Kriterien aufgelistet:
  • Name: Der Name der Exportaufgabe.
  • Letzte Ausführung: Das Datum, an dem die Aufgabe zuletzt ausgeführt wurde.
  • Erstellt von: Der Name des Benutzers, der die Aufgabe erstellt hat.
  • Exportstatus: "Weitergeleitet", "In Bearbeitung", "Nicht erfolgreich", "Keine Daten" (wenn keine zu exportierenden Daten innerhalb des für die Aufgabe definierten Datumsbereichs vorhanden sind) oder Abgeschlossen, ein Hyperlink, mit dem Sie die exportierten Daten als CSV-Datei herunterladen können. Wenn Sie mit dem Mauszeiger auf "Nicht erfolgreich" zeigen, wird eine Erläuterungsnachricht angezeigt.
Hinweis

Eine Exportaufgabe gilt für die aktuelle Version des Skills.

Exportaufgabe erstellen

  1. Öffnen Sie die Seite "Exporte", und klicken Sie auf + Exportieren.
  2. Geben Sie einen Namen für den Bericht ein, und geben Sie dann einen Datumsbereich ein.
  3. Klicken Sie auf PII-Anonymisierung für die exportierte Datei aktivieren, um personenbezogene Daten (PII) durch Anonyme in der exportierten Datei zu ersetzen. Diese Anonymisierungen sind nur in der exportierten Datei vorhanden, wenn PII in den Skilleinstellungen nicht aktiviert ist. In diesem Fall werden die PII-Werte, nicht ihre anonymisierten Entsprechungen, weiterhin in der Datenbank gespeichert und in den exportierten Insights-Logs und in den Insights-Berichten angezeigt, einschließlich des Berichts "Unterhaltungen", des Retrainer und der Schlüsselphrasen in der Wort-Cloud. Wenn personenbezogene Daten in den Skilleinstellungen aktiviert wurden, enthalten Logs und Insights-Berichte Anonyme.
    Hinweis

    Die PII-Anonymisierung, die für die Einstellungen des Skills oder digitalen Assistenten aktiviert ist, bestimmt, wie PII-Werte in der Exportdatei anonymisiert werden. Sie trägt außerdem zur Konsistenz der Anonymisierung in der Exportdatei bei.
  4. Klicken Sie auf Exportieren.
  5. Wenn die Aufgabe erfolgreich ausgeführt wird, klicken Sie auf Abgeschlossen, um eine ZIP-Datei der CSV-Datei (oder CSV-Dateien bei großen Exporten) herunterzuladen. Der Name der Export-CSV auf Skillebene beginnt mit B_. Dateinamen für Exporte auf Ebene des digitalen Assistenten beginnen mit D_.
Beschreibung von insights-export-dialog.png folgt.
Beschreibung der Abbildung insights-export-dialog.png

Exportlogs prüfen

Hier werden einige der Felder vorgestellt, die Sie wahrscheinlich am meisten verwenden. Unter Exportlogfelder werden alle Felder beschrieben. Unter Exportierte Insight-Daten filtern werden einige Ansätze zum Sortieren der Daten beschrieben.
  • BOT_NAME enthält den Namen des Skills oder den Namen des digitalen Assistenten. In dieser Spalte können Sie sehen, wie das Dialogfeld vom digitalen System zu den Skills (und zwischen den Skills) weitergeleitet wird.
  • CHANNEL_SESSION_ID speichert die Kanalsession-ID. Sie können diese ID zusammen mit der dritten Spalte CHANNEL_ID verwenden, um eine eindeutige ID für die Session zu erstellen. Da Sessions abgelaufen oder beendet werden können, können Sie mit dieser ID herausfinden, ob sich die Session geändert hat.
  • TIMESTAMP gibt die Chronologie oder Reihenfolge an, in der die Ereignisse stattgefunden haben. Normalerweise sortieren Sie Daten nach dieser Spalte.
  • USER_UTTERANCE und BOT_RESPONSE enthalten die tatsächliche Unterhaltung zwischen dem Skill und dem Benutzer. Diese beiden Felder machen die Verschachtelung der Benutzer- und Skillnachrichten ersichtlich, wenn Sie nach TIMESTAMP sortieren.

    In der Spalte USER_UTTERANCE können doppelte Äußerungen vorhanden sein. Dazu kann es kommen, wenn Benutzertests auf derselben Instanz ausgeführt werden. Wahrscheinlich liegt es aber daran, dass die Äußerung in verschiedenen Teilen der Unterhaltung verwendet wird.

  • Mit COMPONENT_NAME, CURR_STATE und NEXT_STATE können Sie den Dialogablauf debuggen.

Exportierte Insight-Daten filtern

Normalerweise sortieren Sie die Logs nach der Spalte TIMESTAMP, um die Reihenfolge der Ereignisse anzuzeigen. Für andere Perspektiven, wie z.B. die Unterhaltung zwischen Skill und Benutzer, können Sie die Spalten nach den systemgenerierten internen Statuswerten filtern. Zu den gängigen Filtertechniken gehören:
  • Sortierung der Unterhaltung mit dem Skill und dem digitalen Assistenten: Wenn ein Export Daten aus einem digitalen Assistenten und dessen registrierten Skills enthält, erscheint der Inhalt des Feldes BOT_NAME möglicherweise verwirrend, da die Unterhaltung scheinbar willkürlich zwischen den verschiedenen Skills und zwischen den Skills und dem digitalen Assistenten hin und her springt. Um das Dialogfeld in der richtigen Reihenfolge (und dem richtigen Kontext) anzuzeigen, sortieren Sie die Spalte TIMESTAMP in aufsteigender Reihenfolge.
  • Suchen der Unterhaltungsgrenzen: Verwenden Sie das Feld System.BeginSession und einen der Endstatuswerte, um den Anfang und das Ende einer Unterhaltung zu finden. Unterhaltungen beginnen mit einem System.BeginSession-Status. Sie können mit einem der folgenden Endstatuswerte enden:
    • System.EndSession
    • System.ExpiredSession
    • System.MaxStatesExceededHandler
    • System.DefaultErrorHandler
  • Prüfung der tatsächlichen Unterhaltung zwischen Benutzer und Skill: Um den Inhalt der Spalten USER_UTTERANCE und BOT_RESPONSE zu isolieren, filtern Sie die Spalte CURR_STATE nach den systemgenerierten Statuswerten System.MsgReceived und System.MsgSent.
    Hinweis

    Bei einer Nicht-Text-Nachrichtenantwort, die aus dem Status "Entitys auflösen" stammt, handelt es sich bei der Skillausgabe um Teilantworten, die durch ein Zeilenvorschubzeichen verbunden sind.
    Manchmal werden Teile des Dialogs zwischen Benutzer und Skill in den Spalten USER_UTTERANCE und BOT_RESPONSE wiederholt. Der Benutzertext wird wiederholt, wenn ein automatischer Übergang vorhanden ist, der keine Benutzereingabe erfordert. Die Skillantworten werden wiederholt, wenn der nächste Status einer der Endstatuswerte ist, wie System.EndSession oder System.DefaultErrorHandler.
  • Nur Prüfung der Ausführung des Dialogablaufs mit dem Dialog zwischen Benutzer und Skill: Um interne Transaktionen oder nur die Nicht-Textnachrichten anzuzeigen, müssen Sie die Statuswerte System.MsgReceived und System.MsgReceived aus der Spalte CURR_STATE herausfiltern (der umgekehrte Ansatz, um nur den Dialog anzuzeigen).
  • Identifizieren einer Session: Vergleichen Sie die Werte in CHANNEL_SESSION_ID und SESSION_ID (die sich nebeneinander befinden).

Exportlogfelder

Die exportierte CSV-Datei für einen Skill enthält die folgenden Felder.
Spaltenname Beschreibung Beispielwert
BOT_NAME Der Name des Skills. PizzaBot
CHANNEL_SESSION_ID Die ID eines Benutzers für die Session. Dieser Wert gibt eine neue Session an. Eine Änderung dieses Wertes gibt an, dass die Session abgelaufen ist oder für den Kanal zurückgesetzt wurde. 2e62fb24-8585-40c7-91a9-8adf0509acd6
SESSIONID Eine ID für die aktuelle Session. Dabei handelt es sich um eine zufällige ID, die diese ID von CHANNEL_SESSION_ID oder USER_ID unterscheidet. Eine Session gibt an, dass mindestens ein Intent-Ausführungspfad durch einen expliziten return-Übergang in der Statusdefinition oder durch eine implizite Rückgabe, die von der Dialog-Engine injiziert wurde, beendet wurde. 00cbecbb-0c2e-4749-bfa9-c1b222182e12
TIMESTAMP Der Zeitstempel für die Erstellungszeit. Wird für die chronologische Reihenfolge oder Anordnung von Ereignissen verwendet. 14-SEP-20 01.05.10.409000 PM
USER_ID Die Benutzer-ID 2880806
DOMAIN_USERID Referenziert USER_ID. 2880806
PARENT_BOT_ID Die ID des Skills oder digitalen Assistenten. Wenn eine Unterhaltung von einem digitalen Assistenten ausgelöst wird, referenziert dieser Wert die ID des digitalen Assistenten. 9148117F-D9B8-4E99-9CA9-3C8BA56CE7D5
ENTITY_MATCHES Gibt die Mischentityelementwerte an, die in der ersten Äußerung abgeglichen werden, die in ein Intent aufgelöst wird. Wenn die erste Nachricht eines Benutzers "Große Pizza bestellen" lautet, enthält diese Spalte die Übereinstimmung für das Element PizzaSize innerhalb der Mischentity "Pizza:
{"Pizza":[{"entityName":"Pizza","PizzaSize":["Large"]}]}
Alle anderen Elementwerte in nachfolgenden Benutzernachrichten werden nicht verfolgt. Wenn also die nächste Nachricht eines Benutzers einen PizzaType-Wert enthält, wird sie nicht in die Exportdatei aufgenommen. Wenn ein Benutzer zuerst "Pizza bestellen" eingibt und dann, nachdem das Intent aufgelöst wurde, eine Nachfassnachricht mit einem Entitywert für das Element PizzaSize hinzufügt ("groß machen"), wird ein Nullwert in der Spalte ENTITY_MATCHES aufgezeichnet, da die anfängliche Nachricht, die in das Intent aufgelöst wurde, keine Elementwerte enthielt.

Ein leeres Objekt ({}) wird zurückgegeben, wenn Sie die PII-Anonymisierung aktivieren.

{"Pizza":[{"entityName":"Pizza","PizzaType":["CHEESE BASIC"],"PizzaSize":["Large"]}]}
PHRASE Die ODA-Interpretierung der Benutzereingabe. large thin pizza
INTENT_LIST Ein Ranking der Kandidaten-Intents, ausgedrückt als JSON-Objekt. [{"INTENT_NAME":"OrderPizza","INTENT_SCORE":0.4063},{"INTENT_NAME":"OrderPasta","INTENT_SCORE":0.1986}]

Bei Exporten von digitalen Assistenten enthält dieses Ranking Skills, die über den digitalen Assistenten aufgerufen wurden. Beispiel: [{"INTENT_NAME":"Pizza_For_DA_Starter-1.2","INTENT_SCORE":0.931},{"INTENT_NAME":"Retail_for_DA_Starter-1.1","INTENT_SCORE":0.0996},{"INTENT_NAME":"Finance_for_DA_Starter-1.1-DA","INTENT_SCORE":0.0925}]

BOT_RESPONSE Die Antworten, die der Skill als Antwort auf Benutzeräußerungen abgegeben hat. How old are you?
USER_UTTERANCE Die Benutzereingabe. 18
INTENT Das vom Skill ausgewählte Intent zur Verarbeitung der Unterhaltung. Dadurch wird das oberste Intent aus der Liste der Intents aufgelistet, die als Möglichkeit für die Unterhaltung betrachtet wurden. OrderPizza
LOCALE Das Gebietsschema des Benutzers. en-US
COMPONENT_NAME Die Komponente (Systemkomponente oder benutzerdefiniert), die im aktuellen Status ausgeführt wird. Sie können dieses Feld zusammen mit CURR_STATE und NEXT STATE verwenden, um das Dialogfeld zu debuggen. flow.There sind andere Werte in der Spalte COMPONENT_NAME, die keine Komponenten sind:
  • ODA.Routing: Gibt an, dass ein Ereignis aufgezeichnet wird.
  • __NO_COMPONENT__: Für den Status wurde keine Komponente definiert. Die Spalte enthält möglicherweise keinen Wert, wenn keine Komponente für den Status definiert wurde.
AgeChecker
CURR_STATE Der aktuelle Status der Unterhaltung, mit dem Sie die Quelle der Nachricht bestimmen. Dieses Feld enthält die Namen der in der Dialogablaufdefinition definierten Statuswerte sowie die vom System generierten Statuswerte. Sie können die CSV-Datei nach diesen Statuswerten filtern, einschließlich System.MsgRecieved für Benutzernachrichten und System.MsgSent für Nachrichten, die von den Skill oder Agents für Kundenserviceintegrationen gesendet werden. checkage

NEXT_STATE Der nächste Status im Ausführungspfad. Die Statusübergänge in der Dialogablaufdefinition geben den nächsten Status im Ausführungspfad an. crust
Language Die während der Session verwendete Sprache. fr
SKILL_VERSION Die Version des Skills. 1.2
INTENT_TYPE Gibt an, ob das Intent ein Transaktions-Intent (TRANS) oder ein Antwort-Intent (STATIC) ist. STATIC
CHANNEL_ID Gibt den Kanal an, auf dem die Unterhaltung geführt wurde. Dieses Feld stellt zusammen mit CHANNEL_SESSION_ID eine Session dar. AF5D45A0EF4C02D4E053060013AC71BD
ERROR_MESSAGE Die zurückgegebene Fehlermeldung. Session expired due to inactivity.
INTENT_QUERY_TEXT Die Eingabe, die zur Klassifizierung an den Intent-Server gesendet wird. Der Inhalt von INTENT_QUERY_TEXT und USER_UTTERANCE ist identisch, wenn die Benutzereingabe eine der nativen Sprachen verwendet. Er unterscheidet sich jedoch, wenn die Benutzereingabe eine Sprache nutzt, die nicht nativ unterstützt und daher von einem Übersetzungsservice verarbeitet wird. In diesem Fall ist INPUT_QUERY_TEXT auf Englisch.  
TRANSLATE_ENABLED Gibt an, ob ein Übersetzungsservice verwendet wird. NO
SKILL_SESSION_ID Die Session-ID. 6e2ea3dc-10e2-401a-a621-85e123213d48
ASR_REQUEST_ID Ein eindeutiges Schlüsselfeld, das jede Spracheingabe identifiziert, d.h. die Sprachanforderungs-ID. Wenn dieser Wert vorhanden ist, ist die Eingabe eine Spracheingabe. cb18bc1edd1cda16ac567f26ff0ce8f0
ASR_EE_DURATION Die Dauer einer einzelnen Sprachäußerung in einem Unterhaltungsfenster. 3376
ASR_LATENCY Die Sprachlatenz in Millisekunden. Während die Spracherkennung eine große Berechnungsmenge erfordert, sind die Arbeitsspeicherbandbreite und die Batteriekapazität begrenzt. Dadurch entsteht Latenz vom Eingang einer Spracheingabe bis zu ihrer Transkription. Darüber hinaus erhöhen serverbasierte Implementierungen aufgrund des Roundtrips ebenfalls die Latenz. 50
ASR_RTF Eine Standardperformancemetrik im Spracherkennungssystem. Wenn die Verarbeitung einer Eingabe mit Dauer {I} die Zeit {P} in Anspruch nimmt, wird der Echtzeitfaktor wie folgt definiert: RTF = \frac{P}{I} (das Verhältnis zwischen der Verarbeitungsdauer für die Audioeingabe und der CPU-Zeit). Beispiel: Wenn für die Verarbeitung einer Sekunde Audio genau eine Sekunde CPU-Zeit benötigt wird, beträgt der RTF 1 (1/1). Wenn die Verarbeitung einer Sekunde Audio 500 Millisekunden dauert, beträgt der RTF 0,5 bzw. ½. 0.330567
CONVERSATION_ID Die Unterhaltungs-ID. 906ed6bd-de6d-4f59-a2af-3b633d6c7c06
CUSTOM_METRICS Ein JSON-Array, das ein Objekt für jede benutzerdefinierte Metrikdimension enthält. name ist ein Dimensionsname und value der zurückgegebene Wert. Diese Spalte ist für Versionen 22.02 und höher verfügbar.
[{"name":"Order Sizes","value":"a box of 3 bottles"},{"name":"Wine Types","value":"red wine"},{"name":"Most Popular","value":"Pinot noir"}]

Interne Statuswerte

Statusname Beschreibung
System.MsgReceived Ein Nachrichtenempfangsereignis, das für Insights ausgelöst wird, wenn ein Skill eine Textnachricht von einer externen Quelle erhält, z.B. einem Benutzer oder einem anderen Skill.
System.MsgSent Ein Nachrichtensendeereignis, das an Insights ausgelöst wird, wenn ein Skill auf eine externe Quelle reagiert, z.B. einen Benutzer oder einen anderen Skill.

Für jedes System.MsgReceived-Ereignis können null, ein oder mehrere entsprechende System.MsgSent-Ereignisse vorhanden sein.

System.BeginSession Ein System.BeginSession-Ereignis wird als Marker zum Starten der Session gesendet, wenn:
  • noch kein Dialogstatus ausgeführt wurde.
  • der erste Dialogstatus in Kürze ausgelöst wird.
System.EndSession Ein System.EndSession-Ereignis wird als Marker für die Sessionbeendigung erfasst, wenn der aktuelle Status keine nicht behandelten Fehler generiert hat und einen return-Übergang aufweist, der angibt, dass kein anderer Dialogstatus zur Ausführung vorhanden ist. Das System.EndSession-Ereignis kann auch aufgezeichnet werden, wenn der aktuelle Status Folgendes aufweist:
  • Einen error-Übergang zum Handling eines Fehlers.
  • Den Unterhaltungsmarker insightsEndConversation: true.
System.ExpiredSession (Error type: "systemHandled") Ein Sessiontimeout. Der Standardtimeout beträgt eine Stunde.

Wenn eine Unterhaltung länger als eine Stunde unterbrochen wird, wird der Ablauf der Session ausgelöst. Der Sessionablauf wird als zwei separate Ereignisse in Insights erfasst. Das erste Ereignis ist der Inaktivitätsstatus, der Status im Dialogablauf, bei dem die Benutzerkommunikation aufgehört hat. Das zweite ist das interne Ereignis System.ExpiredSession.

System.DefaultErrorHandler Der Standard Error Handler wird ausgeführt, wenn im Dialogablauf keine Fehlerbehandlung definiert ist, entweder global (wie der Knoten defaultTransitions in YAML-basierten Flows) oder auf Statusebene mit error-Übergängen. Wenn der Dialogablauf error-Übergänge enthält, wird ein System.EndSession-Ereignis ausgelöst.
System.ExpiredSessionHandler Das Ereignis System.ExpiredSessionHandler wird ausgelöst, wenn eine Nachricht von einem externen System oder Benutzer an den Skill gesendet wird, nachdem die Session abgelaufen ist. Beispiel: Dieses Ereignis wird ausgelöst, wenn ein Benutzer das Chatten mit dem Skill mitten in der Unterhaltung beendet, aber dann eine Nachricht sendet, nachdem das Chatfenster länger als eine Stunde geöffnet war.
System.MaxStatesExceededHandler Dieses Ereignis wird ausgelöst, wenn mehr als 100 Dialogstatuswerte als Teil einer einzelnen Benutzernachricht ausgelöst werden.

Tutorial: Oracle Digital Assistant-Insights verwenden

Wenden Sie Insights-Reporting (einschließlich Retrainer) mit diesem Tutorial an: Oracle Digital Assistant-Insights verwenden.