Insights do Serviço Digital Assistant
Para cada assistente digital, você pode exibir relatórios de Insights, que são análises orientadas ao desenvolvedor sobre padrões de uso.
Você pode rastrear métricas no nível de sessão do usuário e no nível de conversa. Uma sessão de chat do usuário começa quando um usuário entra em contato com um assistente digital e termina quando um usuário fecha a janela de chat ou após a expiração da sessão de chat especificada pela configuração do canal. Você pode alternar entre a conversa e o relatório da sessão de chat usando o filtro Métrica.
Descrição da ilustração da-conversation-sessions-toggle.png
O Insights rastreia sessões de bate-papo na origem. Nesse caso, é o assistente digital que iniciou uma sessão de chat, não as habilidades constituintes do assistente digital. Como os usuários se conectam diretamente ao assistente digital, as habilidades não têm influência no rastreamento da sessão de chat.
Qualquer sessão de chat em andamento expirará após a release 21.12.
Métricas de Sessão de Bate-papo para Assistentes Digitais
- Número de Sessões Iniciadas - O número total de sessões de chat iniciado pelo assistente digital.
- Finalizado - O número de sessões de chat que foram encerradas explicitamente pelos usuários que fecharam a janela de chat ou que expiraram após o período especificado pela configuração do canal.
Observação
Qualquer sessão em andamento expirará após a release 21.12. As sessões iniciadas por meio do testador de habilidades expiram após 24 horas de inatividade. No momento, a funcionalidade para encerrar uma sessão fechando a janela de chat é suportada pelo SDK do Cliente Nativo do Oracle Digital Assistant para Web. - Ativo - As sessões de chat que permanecem ativas porque a janela de chat permanece aberta ou porque ainda não expiraram.
- Média de Respostas do Usuário por Sessão - O número médio de respostas dos usuários no número total de sessões iniciadas pelo assistente digital. Toda vez que um usuário faz uma pergunta, responde ao assistente digital ou interage com ele, é contada como uma resposta.
- Tendências da Sessão - Uma comparação das sessões ativas, encerradas e iniciadas. Essas métricas são exibidas proporcionalmente uma à outra no gráfico de rosca, que contrasta os totais de sessões encerradas e ativas com o número total de sessões iniciadas. O gráfico de linhas de tendência representa as contagens dessas métricas por data.
Métricas de Conversa para Assistentes Digitais
Com os relatórios de Insights do assistente digital, você pode saber:
- O número de conversas iniciadas de um assistente digital em um determinado período de tempo e sua taxa de conclusão.
Observação
As conversas não são iguais às solicitações com medição de consumo. Para saber mais sobre medição, consulte Descrições do Serviço de Créditos Universais do Oracle PaaS e IaaS. - A popularidade das habilidades registradas em um assistente digital, conforme determinado pelo tráfego para cada habilidade.
Esses relatórios exibem dados quando a opção Ativar Insights, localizada na página Geral de Definições 
, é ativada. Para acessar os relatórios, abra um assistente digital e selecione 
na barra de navegação esquerda.
Você também pode exibir relatórios detalhados sobre habilidades individuais que mostram itens como a frequência com que cada intenção é chamada (e qual porcentagem dessas chamadas foram concluídas) e os caminhos que os usuários percorrem pela habilidade. Consulte Insights.
Tipos de Relatórios
- Visão Geral - Use este painel de controle para descobrir rapidamente o número total de conversas de voz e texto por canal e por período. As métricas do relatório dividem esse total pelo número de conversas concluídas, incompletas e em andamento. Além disso, este relatório informa como a habilidade foi concluída ou falhou ao concluir conversas classificando o uso das intenções transacionais e de resposta da habilidade em gráficos de barras e nuvens de palavras.
- Conversas - Exibe as transcrições das conversas que ocorreram durante uma sessão. Você pode ler uma versão em texto sem formatação dessa conversa e também revisá-la no contexto do roteamento de habilidades e da resolução de intenções do assistente digital.
- Eventos - Exibe métricas e gráficos dos eventos externos retransmitidos para as habilidades dentro do assistente digital e os eventos de saída enviados para locais externos.
- Retrainer - Este é o equivalente ao Retrainer de nível de habilidade, no qual você melhora a resolução da intenção das habilidades registradas usando os dados ao vivo que fluem pelo assistente digital.
- Exportar - Permite que você faça download de um arquivo CSV dos dados do Insights coletados pelo Oracle Digital Assistant. Você pode criar um relatório personalizado de Insights usando o CSV.
Revisar as Métricas e os Gráficos da Visão Geral
na barra de navegação esquerda para acessar os relatórios a seguir.
- Concluído – O número de conversas que foram roteadas por meio do assistente digital e depois concluídas pelas habilidades individuais. Conversas que concluem com um estado Fluxo Final ou em um estado em que o fluxo Final (implícito) é selecionado, pois a transição é considerada concluída. Em habilidades com autoria de YAML, as conversas são contadas como concluídas quando a travessia pelo fluxo de caixas de diálogo termina com uma transição
returnou em um estado com a propriedadeinsightsEndConversation.Observação
Essa propriedade e a transiçãoreturnnão estão disponíveis no Designer de Fluxo Visual. - Incompletas – Conversas que os usuários não concluíram porque abandonaram a habilidade ou não puderam concluir por causa de erros do sistema, timeouts ou falhas no design da habilidade.
- Em Andamento – O número de conversas da habilidade (que foram iniciadas pelo assistente digital) que ainda estão em andamento. Use esta métrica para rastrear conversas dinâmicas. Uma conversa em andamento se torna incompleta depois que uma sessão expira.
- Nenhuma Correspondência - O número de vezes que o assistente digital não conseguiu fazer a correspondência de nenhuma de suas habilidades registradas com uma mensagem do usuário.
- Cancelado - O número de vezes que os usuários saíram de uma habilidade digitando "cancelar".
- Ajuda - O número de vezes que a intenção do sistema de Ajuda foi chamada.
Quando o Insights tiver sido desativado para um assistente digital, a contagem de Concluídas ainda continuará a aumentar se o Insights tiver sido ativado para qualquer uma das habilidades membros. Apesar disso, não haverá dados registrados para as métricas específicas de Ajuda e Nenhuma Correspondência do assistente digital até que você ative a opção Ativar Insights.
Descrição da ilustração da-insights-overview.png - Idiomas: Representa em gráfico o número de conversas para cada habilidade por idioma suportado.
- Desempenho: Mostra o número de conversas por habilidade.
A view Tendência fornece um gráfico de conversas concluídas durante o período selecionado.
- Habilidades - A exibição Resumo mostra o número de conversas tratadas pela habilidade para um determinado período. Ao passar o mouse sobre a barra de progresso, você pode descobrir o número de conversas concluídas do total.
Descrição da ilustração da-insights-skills-summary.pngSe uma habilidade tiver sido versionada durante o período selecionado, você poderá descobrir a distribuição por versão das conversas usando o gráfico de Tráfego. Clicar em uma habilidade abre este gráfico, que ilustra o volume de conversas tratadas por cada versão da habilidade em termos do total de conversas tratadas pela habilidade para o período selecionado. Cada arco no gráfico Tráfego representa uma versão da habilidade, com o tamanho e a porcentagem de acompanhamento indicando o volume de conversas que ela tratou. O texto com o mouse para cada um desses arcos descreve a porcentagem em termos da contagem de conversas. Para dividir esse número, digamos, para descobrir o que essa contagem significa em termos das intenções chamadas para uma versão específica da habilidade, clique no arco para detalhar os Insights no nível da habilidade.Se houver alguma conversa incompleta durante o período selecionado, o número total será dividido pelas seguintes categorias de erro:- Timeouts – Os timeouts são acionados quando uma conversa em andamento fica ociosa por mais de uma hora, fazendo com que a sessão expire.
- Erros Tratados pelo Sistema – São aqueles tratados pelo sistema, não pela habilidade. Esses erros ocorrem quando a definição do fluxo de caixas de diálogo não está equipada com tratamento de erros.
- Loops Infinitos – Podem ocorrer por causa de falhas na definição do fluxo de caixas de diálogo, como transições definidas incorretamente.
- Cancelado - O número de vezes que os usuários saíram de uma habilidade cancelando explicitamente a conversa.
Exibir o Relatório de Conversas
Em vez de filtrar uma planilha exportada, você pode usar o relatório Conversa para rastrear o roteamento do chat do assistente digital para suas várias habilidades e também descobrir quais intenções foram chamadas ao longo do caminho.
Esse relatório, que você pode filtrar por canal e habilidade, lista as conversas em ordem cronológica por ID da Sessão (o ID da sessão do usuário em um canal) e apresenta uma transcrição da conversa em suas colunas Mensagens do Usuário e Respostas da Habilidade. O ID da Sessão é criado quando um cliente se conecta ao canal e contém todos os dados das habilidades que participaram de uma conversa. Esse ID expirará se não houver atividade por 24 horas, mas talvez nunca expire se o cliente continuar com suas conversas.
Descrição da ilustração da-conversations-report.png
Os filtros Exibir e Habilidades que você pode aplicar ao relatório Conversas não alteram o conteúdo das transcrições da conversa exibidas nas colunas Mensagens do Usuário e Respostas da Habilidade ou no modo Exibir Conversas.
Aplicar o ODA Retrainer
Você pode melhorar a resolução da intenção para as habilidades registradas, atualizando os dados de treinamento com a entrada do cliente. Algumas dessas entradas podem não ter sido resolvidas como qualquer habilidade ou podem ter sido roteadas para a habilidade errada. O Retrainer ajuda você a avaliar essa entrada do usuário e adicioná-la a uma habilidade se você considerá-la uma adição útil aos dados de treinamento.
Descrição da ilustração da-retrainer.png
Por padrão, o Retrainer aplica o filtro NoMatch para que ele retorne todas as mensagens do usuário que não puderam ser correspondidas a nenhuma habilidade registrada no assistente digital. Para cada uma dessas frases retornadas, o relatório apresenta as duas principais habilidades de classificação mais alta, a Margem de Ganho que as separa e, por meio de um gráfico de barras horizontais, suas pontuações de confiança contrastantes.
- Filtre as habilidades registradas. Por exemplo, você pode filtrar todas as frases correspondentes a determinada habilidade no assistente digital ou aplicar o NoMatch às frases que não corresponderam a qualquer habilidade.
- Selecione a declaração.
- Selecione uma versão rascunho da habilidade para a declaração. Se não houver uma versão rascunho, crie uma. Se você não puder selecionar uma habilidade, é porque ela usa suporte nativo a vários idiomas. Nesse caso, você não pode atualizar a habilidade aqui. Você precisará usar o retrainer de nível de habilidade.
- Selecione a intenção. Depois de adicionar a frase como declaração no corpus de treinamento, você não poderá mais selecioná-la para novo treinamento.
- Se sua habilidade suportar mais de um idioma nativo, você poderá adicionar a declaração ao conjunto de treinamento apropriado do idioma, escolhendo entre os idiomas no menu Idioma.
Observação
Essa opção só está disponível para habilidades com suporte nativo. - Treine novamente a habilidade.
- Reedite a habilidade.
- Atualize o assistente digital com a versão mais recente da habilidade.
Anonimização de PII
Assim como os insights de nível de habilidade, você pode aplicar anonimização a valores de Informações de Identificação Pessoal (PII). No nível do assistente digital, a anonimização é aplicada às conversas tratadas pelo assistente digital. A anonimização ativada no nível do assistente digital não se estende às habilidades. Se a anonimização for ativada para uma habilidade, mas não para o assistente digital, apenas as conversas da habilidade serão anonimizadas e vice-versa. Para conversas completamente anônimas, você precisa aplicar a anonimização ao assistente digital e suas habilidades separadamente.
- PERSON
- NUMBER
- TELEFONE
- URL
Ativar Anonimização de PII
- Clique em Definições > Geral.
- Ative Ativar Anonimização de PII.
- Clique em Adicionar Entidade para selecionar os valores de entidade que você deseja anonimizar nos relatórios e nos logs do Insights.
ObservaçãoSe você quiser descontinuar a anonimização de uma entidade ou se não quiser que um anônimo seja usado, selecione a entidade e clique em Excluir Entidade. Depois que você exclui uma entidade, o valor real aparece no relatório Insights e em todos os relatórios Insights para conversas subsequentes, mesmo que tenha aparecido anteriormente em seu formato anônimo.
Os valores anonimizados das entidades selecionadas só persistem depois que você ativa a anonimização. Eles não são aplicados a conversas anteriores. Dependendo do intervalo de datas selecionado para os relatórios ou arquivos de exportação do Insights, os valores de entidade podem aparecer em seus formulários reais e anônimos. É possível aplicar a anonimização a qualquer valor não anonimizado ao criar uma tarefa de exportação. Esses anônimos se aplicam apenas ao arquivo exportado e não são persistidos no banco de dados.Observação
A anonimização é permanente (não obstante, a anonimização aplicada à tarefa de exportação). Não é possível recuperar os valores reais depois de ativar a anonimização.
Criar uma Tarefa de Exportação
Se quiser outra perspectiva sobre o relatório do Insights, você poderá criar seus próprios relatórios com base nos dados exportados do Insights. Esses dados são exportados em um arquivo CSV. Você pode escrever um script para classificar o conteúdo desse arquivo.
- Abra a página Exportações e clique em + Exportar.
- Digite um nome para o relatório e informe uma faixa de datas.
- Clique em Ativar anonimização de PII para o arquivo exportado para substituir quaisquer valores não anonimizados por anônimos no arquivo exportado. Esses anônimos só existirão no arquivo exportado se o PII não estiver ativado nas definições do assistente digital. Eles não são persistidos no banco de dados e não aparecem nos logs ou no relatório Conversas. Essa opção é ativada por padrão sempre que você define anonimização para o assistente digital.
Observação
A anonimização de PII ativada para as definições da habilidade ou do assistente digital determina como os valores de PII que são anonimizados no arquivo de exportação e também contribui para a consistência da anonimização no arquivo de exportação. - Clique em Exportar.
- Quando a tarefa for bem-sucedida, clique em Concluído para fazer download de um ZIP do CSV.
Observação
O arquivo CSV de um assistente digital contém dados das habilidades que são diretamente chamadas por meio do assistente digital. Os dados das habilidades chamadas fora do contexto de um assistente digital não estão incluídos nesse arquivo.
Descrição da ilustração insights-export-dialog.png
Os dados podem ser distribuídos em uma série de CSVs quando a tarefa de exportação retorna mais de 1.048.000 linhas. Nesses casos, o arquivo ZIP conterá uma série de arquivos ZIP, cada um contendo um CSV.
Métricas do Live Agent para Assistentes Digitais
O relatório de Insights, por meio de seus handlers de Habilidade e Agente ao Vivo, abrange toda a comunicação entre o usuário final, a habilidade e o agente ao vivo. Esse não é o caso das conversas do DA as Agent, em que o Insights só cobre a conversa até que o chat seja transferido para o agente ao vivo. Para obter relatórios completos sobre conversas do DA as Agent, use o Oracle Fusion Service Analytics.
Métricas de Conversa do Live Agent para Assistentes Digitais
- Número Total de Conversas - O número total de conversas roteadas pelo assistente digital para o período selecionado e o canal. Esse total inclui conversas com e sem solicitações de agente ao vivo.
- Conversas Tratadas pelo Live Agent - O número total de conversas roteadas pelo assistente digital que incluíram uma solicitação para um agente ao vivo.
- Conversas Tratadas pelo ODA - O número total de conversas (concluídas ou incompletas) que foram tratadas pelo assistente digital ou suas habilidades porque nenhuma solicitação de agente ao vivo foi feita.
- Conversas Resolvidas pelo ODA - O número de conversas roteadas pelo assistente digital que foram concluídas (ou seja, atingiram um estado de saída) sem solicitações de agente ao vivo.
- Conversas Abandonadas Durante a Espera do Agente ao Vivo - O número de conversas roteadas pelo assistente digital que nunca foram entregues a um agente ao vivo, apesar de ter solicitado uma. As conversas podem ser consideradas abandonadas quando os usuários nunca se conectam com agentes ao vivo, possivelmente porque eles deixaram a conversa ou sofreram timeout.
- Deflexão - A porcentagem de conversas desviadas do agente ao vivo, que é calculada dividindo a contagem de Conversas Resolvidas pelo ODA pela contagem do Número Total de Conversas (tratado pelo assistente digital).
Insights de Eventos
Se seu assistente digital incluir habilidades que foram equipadas para receber eventos de origens externas e publicar eventos de volta, você poderá monitorar o volume desses eventos de entrada e saída usando gráficos e gráficos do Event Insights.
Eventos de entrada
- Número total de mensagens de entrada - Um registro dos eventos recebidos pela habilidade. Os eventos de entrada com erros também são incluídos nesse total. Os eventos rastreados nesses relatórios dependem do caso de uso, conforme refletido no objeto JSON do evento. Como o conteúdo de um evento de entrada é fornecido por este objeto, um evento pode representar uma ordem repetida feita pelo usuário. Nesse caso, não é a troca entre a habilidade e o usuário, mas o resultado de uma conversa anterior. Quando o usuário revisa pedidos anteriores e toca em Order Again, por exemplo, a habilidade recebe o evento e envia ao usuário uma mensagem de confirmação. Em termos de Insights, a contagem da métrica Número total de mensagens de entrada, que representa essas ordens de repetição, é incrementada, assim como o número de conversas concluídas no relatório Visão Geral. Observando o relatório Conversa, essas ordens repetidas são agregadas pelo ID da sessão do usuário (o atributo de contexto do evento
userid). - Número de mensagens de evento de entrada com erros - A contagem de eventos de entrada que não resultaram em mensagens de notificação do usuário devido a erros. Geralmente, esses são erros de validação que ocorreram porque o payload do evento não estava em conformidade com o esquema, problemas com a configuração da habilidade que consome o evento ou com a configuração do próprio evento.
- Número de origens de evento de entrada - O número de origens que orginam os eventos de entrada.
- Tendência de mensagens de entrada - O volume de mensagens de entrada (incluindo aquelas com erros) ao longo do tempo.
- Detalhamento de mensagens de entrada - O total de eventos de entrada (incluindo aqueles com erros) divididos por origem do evento.
Dica:
Você pode criar nomes amigáveis para as origens de eventos de entrada criando pacotes de recursos definidos pelo usuário para eles. - Mensagens de entrada com erros - Uma comparação dos eventos de entrada que resultaram em eventos de notificação para os eventos de entrada com erros.
Eventos de Saída
Os eventos de saída não existem sem os eventos de entrada.
- Número total de mensagens de saída - Uma contagem dos eventos publicados pelas habilidades registradas no assistente digital.
- Tendência de mensagens de saída - O volume de eventos publicados durante um período.
- Detalhamento de mensagens enviadas - O detalhamento de mensagens enviadas por origem. Para a Versão 22.10, somente os eventos do aplicativo são rastreados.
- Distribuição de evento - A frequência de eventos publicados.
Dica:
Você pode criar nomes amigáveis para os eventos na nuvem de palavras criando pacotes de recursos definidos pelo usuário para os nomes de eventos.