Relatórios de Qualidade da Habilidade
Os relatórios de Qualidade da Habilidade permitem que você faça um balanço rápido das intenções e declarações em todas as versões da habilidade.
na barra de navegação esquerda) em todo o processo de desenvolvimento de habilidades:
- O Relatório de Visão Geral – As métricas e os gráficos desse relatório permitem que você avalie rapidamente o tamanho e a forma dos seus dados de treinamento, dividindo cada uma das intenções da habilidade pelo número de declarações que eles têm. Você pode usar esse relatório à medida que seu conjunto de dados cresce em todo o processo de desenvolvimento para garantir que o número de intenções, o número de declarações por intenção e a contagem de palavras de cada declaração estejam sempre em conformidade com nossas diretrizes.
- O Relatório - Divide as intenções por anomalias, declarações que podem ser inadequadas para suas intenções porque estão fora do escopo ou rotuladas incorretamente, ou são potencialmente aplicáveis, mas difíceis de classificar porque não são razoáveis.
Relatório de Visão Geral da Qualidade da Habilidade
- Sua habilidade tem o mínimo de duas intenções, mas não excedeu o número recomendado de 300 intenções.
- Seu treinamento não excede 25.000 declarações.
- Cada intenção tem um mínimo de duas declarações (com o mínimo recomendado de 12 declarações para fornecer treinamento previsível).
- O tamanho médio das declarações está entre três e 30 palavras.
Este relatório rastreia as intenções que foram ativadas.
Como Usar o Relatório de Visão Geral
- Uma exibição de alto nível dos dados de treinamento por meio de seu gráfico de barras de intenções por contagem e métricas, que incluem o número total de intenções e declarações em todas as versões da habilidade. Usando o gráfico de barras e as métricas, você pode descobrir o que esses totais significam em termos de quão equilibrado ou desequilibrado seu conjunto de treinamento se tornou. Por exemplo, o gráfico do relatório, juntamente com a disparidade entre os totais da Última intenção e da Intenção menor, podem indicar um conjunto de treinamento desequilibrado, um no qual você precisa adicionar dados para fechar a lacuna entre a intenção maior e a menor.
Métrica Descrição e Uso Intenções O número total de intenções em todas as versões da habilidade. Use essa métrica para descobrir se essa habilidade excedeu o máximo recomendado de 300 intenções. Declarações O número total de declarações em todas as intenções. Use esta métrica para descobrir o tamanho real do conjunto de treinamento. Maior intenção A intenção com a maioria das declarações. Compare esse total com a métrica Média de declarações por intenção. Intenção menor A intenção com o menor número de declarações. Talvez você precise adicionar declarações se esse total estiver muito abaixo da Média de declarações por intenção. Média de declarações por intenção O número médio de declarações em todas as intenções. Use essa métrica para descobrir se você está fornecendo dados suficientes para seu conjunto de treinamento. Tamanho médio O comprimento da declaração em todo o conjunto de treinamento. Compare essa métrica com a métrica Tamanho Médio da Declaração para uma intenção descobrir se a contagem de palavras de suas declarações afeta negativamente o modelo porque ele é muito alto ou muito baixo. Tamanho mínimo A declaração mais curta no conjunto de treinamento. Use essa métrica para descobrir se alguma das declarações no conjunto de treinamento tem poucas palavras (menos de três), o que pode afetar negativamente o desempenho do modelo. Tamanho máximo A declaração mais longa no conjunto de treinamento. Use essa métrica para localizar declarações longas (30 palavras ou mais) que podem afetar negativamente o desempenho do modelo. Intenção da Resposta O número de intenções de resposta no conjunto de treinamento. Use esta métrica para comparar o número de intenções de resposta com intenções regulares (ou transacionais). Observação
As métricas de Tamanho mínimo, Tamanho máximo e Tamanho médio e avisos relacionados são para habilidades de idioma nativo, não para habilidades que usam serviços de tradução.O relatório sinaliza áreas problemáticas com avisos. Passar o mouse sobre uma advertência abre uma mensagem de diagnóstico, que coloca a declaração ou a intenção problemática no contexto de nossas diretrizes de intenção e declaração e sugere ações corretivas.
Essas mensagens também são exibidas no painel Problemas de Intenções.Dica:
As mensagens de aviso acessadas nas métricas fornecem um link para a página Intenção. - Uma divisão do conjunto de treinamento em uma base por intenção. O relatório inclui uma tabela listando intenções por idioma (para habilidades multilíngues), contagem de declarações e tamanho médio, mínimo e máximo de palavras. Para ver os três últimos totais no contexto do conjunto de treinamento geral, compare-os com as métricas de Duração média, Duração mínima e Duração máxima.
Assim como nas métricas de alto nível, o relatório sinaliza intenções problemáticas com mensagens de aviso. Uma advertência
nos Problemas indica que a intenção é deficiente em algum aspecto do tamanho da declaração. Clicar no aviso correspondente 
nas colunas Tamanho Médio da Declaração, Tamanho Máximo da Declaração em Palavras ou Tamanho Mínimo da Declaração em Palavras abre uma mensagem de diagnóstico. Você pode aplicar a ação corretiva sugerida pela mensagem diretamente à intenção clicando no link na coluna Intenção. 
Descrição da ilustração intent-issues-table.png
Relatório de Anomalias de Qualidade de Habilidades
Assim como o relatório Visão Geral, esse relatório divide as intenções por declarações. As declarações contadas neste relatório, no entanto, são anomalias, declarações que podem ser inadequadas para sua intenção porque estão fora do escopo ou rotuladas incorretamente ou são potencialmente aplicáveis, mas exclusivas. As anomalias podem fazer com que os limites entre as intenções fiquem desfocados, especialmente se você tiver estendido sua habilidade para cobrir novos domínios ou tiver particionado uma intenção grande em intenções menores.
Como Usar o Relatório de Anomalias
Este relatório não apenas classifica as intenções por anomalias, mas também classifica as próprias anomalias por quão diferentes elas são de outras declarações no conjunto de treinamento.
Descrição da ilustração anomalies-intent-breakdown.png
Você pode classificar as anomalias nesta lista tanto por severidade quanto por intenção. Você pode filtrar as anomalias por intenção, por palavras ou frases em declarações e para uma habilidade multilíngue, por idioma.
Para descobrir onde (ou se) uma declaração pertence ao seu conjunto de treinamento, clique em Exibir Semelhante na lista para exibi-la no relatório Declaração Semelhante. 
Descrição das anomalias da ilustração - list.png
Como o relatório Declarações Semelhantes usado no Testador de Declarações, esse relatório classifica as outras declarações no conjunto de treinamento em relação à declaração selecionada. Nesse caso, no entanto, a declaração não é uma frase de teste, mas uma declaração anômala que já está no conjunto de treinamento. 
Descrição da ilustração similar-utterance-report-anomalies.png
Com base no relacionamento da anomalia com as outras declarações no relatório, você pode descobrir que a declaração é simplesmente classificada incorretamente ou não é pertinente à habilidade. Outras anomalias, no entanto, só podem ser anômalas às outras declarações na medida em que são solicitações implícitas - elas estão fazendo as mesmas perguntas que os outros dados de treinamento, mas de uma maneira diferente. Por exemplo, "Não consigo fazer log-in na minha conta" pode ser avaliada como uma anomalia para uma intenção de transferência de agente cujas declarações de treinamento são agrupadas em torno de solicitações mais diretas, como "Preciso falar com um agente ao vivo". A adição de declarações semelhantes adicionará profundidade ao modelo.
- Executar o relatório.
- Selecione uma declaração e clique em Exibir Semelhante.
- Na caixa de diálogo Exibir Semelhantes, avalie a declaração para a intenção.
- Se a declaração pertencer à intenção, adicione declarações semelhantes.
- Se a declaração for classificada incorretamente, designe-a a outra intenção.
- Se a declaração não pertencer ao conjunto de treinamento, exclua-a.
- Treine novamente a habilidade.