Fabricação de Dados

Como desenvolvedor único, pode ser difícil ou até mesmo impossível criar um conjunto grande e variado de declarações, especialmente quando você precisa fornecer dados de treinamento para várias intenções ou Entidades de ML. Em vez de tentar encontrar os dados de treinamento por conta própria, você pode usar o Oracle Digital Assistant para colaborar nessa tarefa. Designar isso ao colaborador pode ser particularmente útil quando você precisa de declarações que somente especialistas no aplicativo ou no domínio podem fornecer.

O que é um Job de Fabricação de Dados?

Os jobs de manufatura de dados são coleções de tarefas atribuídas a colaboradores. Os trabalhos em si se concentram em várias maneiras de melhorar intenções e entidades de ML.

Jobs de Anotação

Você pode designar um Job de Anotação quando tem dados de registro em log que precisam ser classificados para uma intenção ou quando uma única intenção é muito ampla e precisa ser dividida em intenções distintas. Você também pode designar colaboradores para anotar as palavras-chave e frases dos dados de treinamento relacionados a uma Entidade de ML.

Jobs de Validação

Para jobs de Validação, os colaboradores verificam as declarações para verificar se correspondem à tarefa ou à ação descrita pela intenção ou se a Entidade de ML correta foi identificada. Somente as declarações julgadas válidas pelos colaboradores são adicionadas aos dados de treinamento.

Jobs de Paráfrase

O Job de Paráfrase é como você coleta as declarações do colaborador. Essa designação descreve como eles devem elaborar suas declarações.

O Workflow do Job de Fabricação de Dados

Para criar um job de fabricação de dados, primeiro crie um job e monitore seu progresso. Se você quiser acessar os dados antes do fim oficial do job (por exemplo, se os colaboradores não estiverem mais trabalhando no job), você poderá cancelá-lo. Por fim, revise os resultados antes de adicioná-los aos dados de treinamento aceitando-os ou exclua-os dos dados de treinamento rejeitando-os.

Criar o Job

Clique em Fabricação na barra de navegação esquerda.
Na página Jobs, clique em Adicionar Job.

Descrição da ilustração create-job-landing-page.png
Selecione o tipo de job (Paráfrase, Validação ou Anotação).

Descrição da ilustração new-job-dialog.png
Selecione o idioma usado pelos colaboradores. O idioma padrão é o idioma predominante da habilidade, mas você pode escolher entre outros idiomas suportados nativamente. No entanto, não é possível escolher um idioma ativado por um serviço de tradução.
Clique em Iniciar. Depois que você inicia um job, o status dele é observado como Em Execução na página Jobs. Não é possível editar um job quando ele está em execução. Se precisar fazer uma alteração, primeiro cancele o job, duplique-o e edite-o antes de reiniciá-lo.
Para enviar o job ao colaborador, clique em Copiar Link. Em seguida, cole o link em um e-mail enviado ao colaborador.

Descrição da ilustração jobs-copy-link.png

Os colaboradores aceitam o job clicando nesse vínculo. Depois que um colaborador aceita o job, ele verifica as regras gerais dos jobs de Paráfrase, Anotação ou Validação.
Observação

Os colaboradores fornecem seus nomes e endereços de e-mail para fins de rastreamento. Classifique os resultados pelos nomes para avaliar o sucesso na conclusão das tarefas.

Monitorar o Progresso dos Colaboradores

Você pode monitorar o progresso dos colaboradores quanto ao job em execução, na página Jobs, mas não poderá acessar nem visualizar os resultados quando o status de um job for Em Execução. Você só poderá acessar os resultados depois que os colaboradores concluírem o job ou se tiver cancelado um job porque acha que ele está tão completo quanto poderia estar. Se esse for o caso, clique em Cancelar. Os resultados do job conterão todos os registros concluídos até o ponto em que você o cancelou.

Veja a seguir a descrição dos jobs-cancel.png

Descrição da ilustração jobs-cancel.png

Os jobs concluídos ou cancelados estão disponíveis para download na página Resultados. Normalmente, você usaria essa página para acessar e modificar os resultados fazendo download deles como arquivo CSV que você pode manipular em um programa de planilha, como o Excel.

Veja a seguir a descrição do job-results.png

Descrição da ilustração job-results.png

À medida que o número de jobs aumenta, você pode filtrá-los como Aceito, Rejeitado ou Indeciso, que é para jobs que não foram aceitos nem rejeitados.

A seguir, descrição de filter-results-page.png

Descrição da ilustração filter-results-page.png

Dica:

Como o status Aceito ou Rejeitado significa que o trabalho em um job foi concluído, é provável que você filtre por Indeciso com mais frequência.

Verificar os Resultados

Clique em Exibir para examinar os resultados.

Descrição da ilustração view-job-results.png

Se a maioria dos resultados estiver uniformemente incorreta, clique em Rejeitar. Você pode rejeitar um job mal concebido que confundiu ou enganou os colaboradores ou por ter sido um teste. Se você achar que os resultados estão corretos, poderá adicioná-los ao seu conjunto de treinamento clicando em Aceitar. Antes de escolher essa opção, lembre-se de que não é possível desfazer essa operação, o que adiciona todo o conjunto de resultados aos seus dados de treinamento. Como você pode adicionar inadvertidamente declarações ruins que só poderão ser removidas com a edição da intenção, recomendamos que você faça download dos resultados e edite-os antes de aceitá-los no corpus de treinamento.

Descrição da ilustração intent-page-edit-results.png

A edição dos arquivos CSV baixados permite limpar os resultados. Para jobs de Paráfrase, a edição dos resultados antes de confirmá-los em seu conjunto de treinamento permite alterar as declarações ou excluir as incorretas.
Observação

O conteúdo na coluna result depende do tipo de Job. Para um job de Paráfrase, as declarações do colaborador preenchem essa coluna. Para um job de Validação, é a avaliação do colaborador da declaração contra a tarefa (Correta, Incorreta, Incerto) e, para um job de Anotação, é a intenção que corresponde à declaração.

Descrição da ilustração download-paraphrasing-results-csv.png

Para fazer download do job, clique em Fazer download na página Resultados ou na caixa de diálogo Exibir Resultados. Salve o job no sistema local e abra o CSV com um programa de planilha.
Depois de concluir as edições, clique em Fazer Upload na página Resultados.

Descrição da ilustração upload-results.png
Treine novamente sua habilidade.

Jobs de Paráfrase

Você coleta as declarações dos colaboradores por meio de jobs de Paráfrase. Os colaboradores que aceitam o job de Paráfrase produzem declarações válidas usando diretrizes na forma de prompts e dicas que você fornece. Um prompt captura a essência do que os usuários esperam que a habilidade faça por eles. Uma dica, que é opcional, fornece mais detalhes ao colaborador, como redação e valores de entidade. Por exemplo, "Criar uma despesa para um comerciante usando um valor monetário" é um prompt para uma intenção Criar Relatório de Despesas. A dica que acompanha é "Usar o nome do comerciante ACME e um valor monetário menor que $50".

Reunir uma coleção de declarações linguisticamente diversas, mas semanticamente corretas, começa com o design do prompt e da dica. Tenha em mente o seguinte ao redigir seus prompts:

Um prompt não é uma declaração. As declarações podem inibir a criatividade do colaborador por causa de sua especificidade. Em vez de servir como exemplo, elas incentivam os colaboradores a produzir apenas pequenas variações. Essas frases redundantes atrapalham o seu corpus de treinamento e não vão melhorar a cognição da sua habilidade.
Se você tiver mais de um prompt para uma intenção, varie-os. Cada prompt de um job de Paráfrase provavelmente será distribuído para diferentes colaboradores. Mesmo que um colaborador obtenha mais de um prompt do mesmo job de Paráfrase, ter outro prompt mudará a perspectiva do colaborador.

Use dicas para incentivar a variação. Você poderá definir dicas para tudo o que desejar que as declarações incluam (ou não incluam). À medida que você varia seus prompts, as dicas correspondentes deverão variar.

Prompt	Dica
Criar uma despesa de estacionamento de aeroporto	Inclua o código do aeroporto (SFO, LAX, etc.), uma data completa (dd/mm/yyyy) e um valor em dólares americanos.
Criar uma despesa para uma refeição	Inclua o nome do restaurante, uma data completa (dd/mm/yyyy) e um valor em dólares americanos.

Criar um Job de Paráfrase

Você pode criar uma Paráfrase usando um arquivo CSV que contenha os nomes das intenções e seus prompts e dicas correspondentes, ou adicionando prompts e dicas individuais para uma intenção selecionada. Você pode usar qualquer um dos métodos, mas não pode combinar os dois.

Se você ainda não tiver criado qualquer job, clique em Adicionar Job (na página inicial, caso ainda não tenha criado um job, ou na guia Jobs, se houver jobs existentes).
Selecione Paráfrase.
Digite um nome de job.
Selecione o idioma usado pelos colaboradores. Por padrão, o idioma predominante da habilidade é exibido, mas você pode escolher entre outros idiomas suportados nativamente que foram definidos para a habilidade.
Adicione seus prompts e dicas (que são opcionais) para as intenções. Você pode criá-los off-line em um arquivo CSV com as colunas intentName, prompt e hint e adicioná-los como batch ou um por um com a caixa de diálogo Novo Job. Você pode adicionar essas colunas em qualquer ordem no arquivo CSV.

Descrição da ilustração promts-csv.png

Observação

Se você tiver selecionado um idioma distinto do idioma predominante da habilidade, seus prompts e dicas também deverão estar nesse idioma.
Se você tiver adicionado prompts, dicas e nomes de intenções a um CSV, clique em Fazer Upload, procure o arquivo e selecione-o. Clique em Continuar.
Se necessário, adicione mais prompts , edite ou exclua os prompts quando necessário ou altere o número de declarações por prompt. Clique em Iniciar.

Descrição da ilustração edit-prompts-hints-upload.png
Para criar um job de Paráfrase manualmente, clique em Selecionar.
Clique no campo Intenções para selecionar uma intenção no menu ou clique na opção Selecionar todas ... intenções se quiser adicionar prompts a todo o conjunto de intenções.

Descrição da ilustração new-job-paraphrasing.png
Clique em Continuar.
Clique no campo Prompt ou clique em Editar para digitar seu prompt.
Clique no campo Dica ou clique em Editar para digitar seu prompt.
- Clique em Adicionar para criar outro prompt. Lembre-se de que cada novo prompt é potencialmente um job distinto, manipulado por outro colaborador.
- Se necessário, exclua ou revise quaisquer prompts ou dicas.
Selecione o número de paráfrases por prompt.
Quando terminar, clique em Iniciar.

Descrição da ilustração edit-promts-hints.png

O job de Paráfrase é exibido como nova linha na página Jobs com seu status destacado como Em Execução.
Clique em Copiar Link na linha e, em seguida, cole o link em um e-mail enviado aos colaboradores. Os colaboradores aceitam o job clicando nesse link. Depois que um colaborador aceita o job, ele verifica as regras gerais dos jobs de Paráfrase.

Descrição da ilustração paraphrasing-help-page.png

Observação

A configuração regional do browser do colaborador é definida com o idioma selecionado na caixa de diálogo Criar Job.
Os colaboradores então enviam suas paráfrases.

Descrição da ilustração worker-paraphrasing-page.png

Você pode monitorar o andamento da execução em tempo real na página Jobs.

Descrição da ilustração paraphrasing-jobs-page.png

Dicas para Jobs de Paráfrase

Para os resultados de um trabalho de parafraseamento para realmente melhorar o corpus de treinamento, é importante configurá-lo de uma maneira que induza frases diversas e da vida real para o caso de uso. Aqui estão algumas dicas para tornar seus trabalhos de parafraseamento mais bem-sucedidos:

Formule cuidadosamente os casos de uso que você pode usar como sementes para as tarefas.
Usando os "casos de uso da semente", descreva cenários concretos para os quais o usuário deve fornecer declarações em vez de apenas pedir variações em uma frase.
Forneça vários cenários para a mesma intenção.
Use o campo Dica para fornecer dicas que possam ampliar a perspectiva. Por exemplo, para uma intenção de despesa, você pode adicionar a dica "incluir moedas diferentes como se estivesse viajando".

Verificar o Job de Paráfrase

Antes de adicionar as declarações ao seu conjunto de treinamento, é provável que você queira verificar a semântica, erros de ortografia ou spam.

Para verificar o job de Paráfrase:

Você pode aguardar a conclusão de um job ou, se acredita que todas as colaborações foram feitas para um job em execução, clique em Cancelar na página Jobs.
Clique em Resultados. Apenas jobs cancelados ou concluídos são exibidos na página Resultados.

Descrição da ilustração paraphrase-job-results-page.png
Clique em Exibir para obter uma exibição das declarações somente para leitura. Usando as opções desta caixa de diálogo, você pode fazer download do job como CSV ou aceitá-lo ou rejeitá-lo integralmente.

Descrição da ilustração review-results-paraphrasing-job-dialog.png

Antes de confirmar a rejeição ou aceitação de todas as tarefas de jobs de uma só vez (que não podem ser desfeitas automaticamente), pode ser que você queira fazer o download do job e limpar os resultados antes de adicioná-los ao conjunto de treinamento. Se você seguir essa rota, clique em Fazer download nesta caixa de diálogo ou na página Resultados.

Dica:
Antes de não poder remover facilmente as declarações depois de aceitá-las, talvez você queira criar uma nova versão de sua habilidade ou cloná-la como precaução.
Abra o arquivo CSV com o programa de planilha.
Verifique as declarações na coluna de resultados em relação às colunas de prompt e IntentName. Atualize as declarações na coluna de resultados quando necessário ou exclua uma ou mais linhas inteiras. Se a declaração estiver além do reparo, você poderá excluir a linha inteira. Se um colaborador digitar repetidamente declarações inválidas porque ele não entendeu os prompts ou não seguiu as diretrizes gerais de paráfrase, você poderá classificar a planilha pela coluna do colaborador e, em seguida, excluir as linhas. Se você excluir uma linha, não se esqueça de excluí-la completamente. Caso contrário, você não poderá fazer upload do arquivo.

Dica:
Você só precisa se concentrar nas colunas intentName, prompt, result e contributor da planilha. Pode ignorar as outras.

Descrição da ilustração review-paraphasing-results-csv.png
Quando terminar, clique em Fazer Upload na página Resultados. Procure e selecione o arquivo CSV. Selecione Paráfrase da Intenção, digite um nome e clique em Fazer Upload.

Descrição da ilustração upload-paraphrase-results.png
Se quiser adicionar as declarações aos dados de treinamento de uma intenção, clique em Aceitar na página Resultados. Clique em Rejeitar se não quiser adicioná-las ao conjunto de treinamento. Talvez você queira rejeitar um job se ele for um teste ou se não puder ser salvo por causa de prompts e dicas equivocados.

Descrição da ilustração accept-paraphrase-job-results.png

Jobs de Anotação

Quando você tiver dados de chat que precisem ser mapeados para uma intenção ou anotados para Entidades de ML, poderá criar um job de Anotação. Os colaboradores concluem jobs de anotação para intenções fazendo a correspondência de uma declaração com uma intenção. Para jobs de anotação de entidade, os workers rotulam o texto na declaração de uma Entidade ML. Você pode criar esses jobs usando um arquivo CSV com uma coluna utterance, jobs de anotação concluídos anteriormente ou combinando as duas abordagens. Você também pode criar um job de anotação de intenção das declarações coletadas no Retrainer.
Descrição da anotação-csv.png a seguir
Descrição da anotação de ilustração - csv.png

Criar o Job de Anotação da Intenção

Clique em + Novo Job na página Jobs.
Selecione Anotação de Intenção.
Digite um nome.
Digite o idioma usado pelos colaboradores.
Faça upload do arquivo, clique em Continuar, anote o número de itens do job e clique em Iniciar.
Clique em Copiar Link e, em seguida, cole o link em um e-mail enviado aos colaboradores. Os colaboradores aceitam o job clicando nesse link. Depois de acessar o sistema, os colaboradores verificam as regras básicas sobre como classificar as declarações.

Descrição da ilustração anotação-help.png

O aprendizado ativo ajuda os colaboradores classificando todas as intenções da habilidade pela probabilidade de correspondência com a declaração. A intenção com o maior potencial de corresponder à declaração é a primeira. Da mesma forma, as declarações que estão atualmente no corpus, que os colaboradores utilizam como guia, também são classificadas pela probabilidade de correspondência com a declaração.

Descrição da ilustração worker-annotation-page.png

Você pode monitorar o progresso na página Jobs.

Revisar o Job de Anotação

Depois que o job for concluído ou quando você tiver clicado em Cancelar por achar que ele está concluído, clique em Exibir.

Descrição da ilustração review-annotation-job.png
Se discordar de alguma decisão do colaborador, clique em Fazer Download para fazer download de um CSV dos resultados para seu sistema local.
No CSV, digite o nome da intenção que você espera na coluna intentName.
Substitua a intenção escolhida pelo colaborador na coluna result digitando o Nome da Conversa da intenção que você digitou na coluna intentName.
Quando terminar sua revisão, clique em Fazer Upload na página Resultados. Em seguida, selecione o arquivo, digite um nome e clique em Fazer Upload.
Observação

Não é possível remover uma entrada dos resultados. Os resultados mantêm todas as entradas, mesmo que você exclua uma linha do CSV antes de fazer upload. Se quiser remover entradas inválidas (porque você não deseja rejeitar o job inteiro), crie outro conjunto de resultados que não pertençam a qualquer job removendo o conteúdo das colunas jobId e Id antes de fazer upload do arquivo.
Os resultados serão mesclados no job atual.
Treine novamente a habilidade.
Observação

Somente as declarações que correspondem a uma intenção são adicionadas aos dados de treinamento. As classificadas como Nenhuma destas Intenções ou Não tenho certeza são excluídas.

Criar o Job de Anotação da Entidade

Sua habilidade precisa de pelo menos uma Entidade de ML para este job. Não é possível criar um Job de Anotação de Entidade com Entidades não ML.

Clique em + Novo Job na página Jobs.
Selecione Anotação de Entidade.
Digite um nome.
Digite o idioma usado pelos colaboradores.
Selecione a Entidade de ML (ou Entidades de ML) que os colaboradores selecionarão. Idealmente, essas entidades terão nomes úteis e descrições sucintas.

Se este for seu primeiro job de Anotação de Entidade, procure e selecione um arquivo CSV. Você pode fornecer aos colaboradores declarações anotadas ou não anotadas, dependendo do formato deste arquivo:

Para declarações não anotadas, faça upload de um CSV que organize as declarações simples em uma única coluna, utterance:

utterance
I want to order a family size pepperoni pizza with thin crust and mozzarella cheese
I want to order a large supreme pizza with regular crust and provolone cheese
I want to order a medium size meat-lover pizza with gluten-free crust and goat cheese

Para declarações anotadas, faça upload de um CSV com uma única coluna, annotation, com cada declaração representada como um objeto JSON. As propriedades beginOffset e endOffset representam o início e o fim do texto rotulado para a Entidade ML. Criar Entidades de ML descreve as outras propriedades neste objeto.

annotation
"[
   {
      ""Utterance"":{
         ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"",
         ""languageTag"":""en"",
         ""entities"":[
            {
               ""entityValue"":""family"",
               ""entityName"":""MLPizzaCrust"",
               ""beginOffset"":18,
               ""endOffset"":24
            },
            {
               ""entityValue"":""mozzarella"",
               ""entityName"":""MLCheeseType"",
               ""beginOffset"":66,
               ""endOffset"":76
            },
            {
               ""entityValue"":""pepperoni"",
               ""entityName"":""MLPizzaType"",
               ""beginOffset"":30,
               ""endOffset"":39
            }
         ]
      }
   }
]"
"[
   {
      ""Utterance"":{
         ""utterance"":""I want to order a large supreme pizza with regular crust and provolone cheese"",
         ""languageTag"":""en"",
         ""entities"":[
            {
               ""entityValue"":""supreme"",
               ""entityName"":""MLPizzaType"",
               ""beginOffset"":24,
               ""endOffset"":31
            },
            {
               ""entityValue"":""provolone"",
               ""entityName"":""MLCheeseType"",
               ""beginOffset"":61,
               ""endOffset"":70
            },
            {
               ""entityValue"":""regular"",
               ""entityName"":""MLPizzaCrust"",
               ""beginOffset"":43,
               ""endOffset"":50
            },
            {
               ""entityValue"":""large"",
               ""entityName"":""MLPizzaSize"",
               ""beginOffset"":18,
               ""endOffset"":23
            }
         ]
      }
   }
]"

Os colaboradores da multidão revisarão os rótulos existentes definidos por essas compensações e os alterarão quando estiverem incorretos.

Você pode combinar trabalhos de anotação concluídos anteriormente em um único trabalho e também combinar CSVs com trabalhos de anotação concluídos. Se você estiver adicionando um job anterior, algumas das declarações já serão anotadas.

A seguir, descrição de create-entity-annotation-job-dialog.png

Descrição da ilustração create-entity-annotation-job-dialog.png

Clique em Continuar, verifique o número de registros e, em seguida, em Iniciar.
Copie e cole o link em um e-mail enviado aos colaboradores. Os colaboradores aceitam o job clicando nesse link. Antes de começar a rotular as declarações com anotações, elas revisam regras básicas sobre como rotular o conteúdo com anotações. Se a declaração incluir texto que corresponda a uma das Entidades de ML listadas na página, um colaborador destacará o texto aplicável e aplicará o label Entidade de ML. Se a declaração já estiver anotada, os colaboradores poderão revisar os labels e ajustá-los quando necessário.

Descrição da ilustração entity-annotation-worker-page.png
Quando o job for concluído (porque os colaboradores concluíram as anotações ou porque você o cancelou), você poderá exibir os resultados e aceitá-los no corpus de treinamento da Entidade de ML.

Descrição da ilustração view-entity-annotation-results.png

No entanto, antes de adicionar os resultados, você pode fazer com que os colaboradores os verifiquem iniciando um Job de Validação de Entidade. Somente os resultados corretos de um job de validação são adicionados ao corpus. Se necessário, você poderá fazer correções adicionais e adições aos resultados do job na guia Conjunto de Dados da Entidade ML.

Jobs de Validação

Para jobs de Validação, os colaboradores revisam os resultados dos jobs de Paráfrase, jobs de Anotação de Entidade ou jobs de Validação de Intenção gerados pelo Retrainer. Para validar um Job de Parafraseada, eles comparam as declarações (os resultados de um job de Parafraseamento ou de ) com uma tarefa, o prompt do job de Parafraseamento. Para Jobs de Anotação de Entidade, eles revisam as declarações para garantir que a entidade ML correta tenha sido identificada e que o texto tenha sido rotulado completamente.

Criar um Job de Validação de Parafraseamento de Intenção

Clique em Adicionar Job na página Jobs.
Selecione Validação da Paráfrase da Intenção.
Digite um nome.
Digite o idioma usado pelos colaboradores.
Adicione jobs de Paráfrase que ainda não foram aceitos (ou seja, os jobs Finalizados ou Cancelados). Você pode fazer upload de um arquivo CSV no seu sistema local, selecionar um ou mais jobs de Paráfrase ou criar um job utilizando ambas as opções.
Clique em Continuar, verifique o número de registros e, em seguida, em Iniciar.

Descrição da ilustração new-validation-job.png
Depois que a linha do job de Validação for adicionada à página Jobs (pode ser necessário clicar em Atualizar ), clique em Copiar Link.

Descrição da ilustração running-validation-job.png
Cole o link em um e-mail enviado aos colaboradores. Depois que os colaboradores aceitam o job, eles verificam as regras básicas para avaliar as declarações.

Descrição da ilustração validation-help.png

Em seguida, eles avaliam uma declaração.

Descrição da ilustração worker-validation-page.png

Você pode monitorar o progresso do colaborador na página Jobs.

Revisar um Job de Validação

Depois que os colaboradores concluírem o job de Validação (ou se você cancelá-lo por ele estar próximo o suficiente da conclusão), você poderá visualizá-lo, aceitá-lo ou rejeitá-lo na íntegra. Embora os jobs de Validação possam conter milhares de resultados (motivo pelo qual você os terceiriza), ainda será possível verificá-los individualmente. Por exemplo, você pode ver respostas com as quais não concorda na caixa de diálogo Exibir Resultados. Você desejará alterá-las ou removê-las antes de confirmar os resultados nos dados de treinamento.
Veja a seguir a descrição da revisão-validação-job.png
Descrição da ilustração review-validation-job.png

Para editar os resultados um a um:

Faça download do job como CSV, na caixa de diálogo Exibir Resultados ou clicando em Fazer Download na página Resultados.
Abra o CSV em um programa de planilha.
Compare as entradas nas colunas IntentName e prompt e altere a entrada de resultados quando necessário. Você pode editar essa coluna apenas ou remover uma linha inteira.

Descrição da ilustração review-validation-results-csv.png

Em geral, você só precisa focar nessas três colunas. Quer dizer, você pode classificar pela coluna do colaborador para isolar o trabalho de um colaborador específico. Se as decisões desse colaborador forem consistentemente não confiáveis, você poderá excluir todas as linhas desse colaborador.
Observação

Se você excluir uma linha, certifique-se de excluí-la totalmente. Não é possível fazer upload de um CSV com uma linha parcial.
Quando terminar, clique em Fazer Upload na página Resultados. Procure e selecione o arquivo CSV. Selecione Validação, digite um nome e clique em Fazer Upload.
Clique em Aceitar ou Rejeitar. Se você aceitar o job, apenas as declarações "corretas" serão adicionadas ao conjunto de treinamento. Você não pode desfazer essa operação. Você só pode remover essas declarações manualmente.
Treine novamente a habilidade.

Criar um Job de Validação de Anotação de Entidade

Clique em Novo Job na página Jobs.
Selecione Validação de Entidade.
Digite um nome.
Digite o idioma usado pelos colaboradores.

É possível carregar um arquivo CSV do sistema local, selecionar um ou mais Jobs de Anotação da Entidade concluídos (que incluem cargos concluídos pelos colaboradores ou cancelados) ou combiná-los para criar um único cargo. O CSV tem o mesmo formato usado para adicionar declarações anotadas a um Job de Anotação de Entidade: ele tem a coluna annotation única e objetos JSON para declarações:

annotation
"[
   {
      ""Utterance"":{
         ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"",
         ""languageTag"":""en"",
         ""entities"":[
            {
               ""entityValue"":""family"",
               ""entityName"":""MLPizzaCrust"",
               ""beginOffset"":18,
               ""endOffset"":24
            },
            {
               ""entityValue"":""mozzarella"",
               ""entityName"":""MLCheeseType"",
               ""beginOffset"":66,
               ""endOffset"":76
            },
            {
               ""entityValue"":""pepperoni"",
               ""entityName"":""MLPizzaType"",
               ""beginOffset"":30,
               ""endOffset"":39
            }
         ]
      }
   }
]"
...

Clique em Continuar, verifique o número de registros e clique em Iniciar.

Descrição da ilustração entidade-validação-cargo-dialog.png
Cole o link em um e-mail enviado aos colaboradores.

Descrição da ilustração entity-validation-help-page.png

Depois que os colaboradores aceitam o job, eles verificam as regras básicas para avaliar as anotações. A partir daí, eles revisam as anotações classificando-as como corretas, incorretas ou sem certeza.

Descrição da ilustração entity-validation-worker-page.png

Você pode monitorar o progresso do colaborador na página Jobs. Quando o job for concluído, você poderá revisar os resultados antes de aceitá-lo ou rejeitá-lo.

Descrição da ilustração view-entity-validation-results.png

Ao clicar em Aceitar, você adiciona os resultados corretos ao conjunto de treinamento da Entidade ML. Se necessário, você poderá editá-los ainda mais na aba Conjunto de dados.

Descrição da ilustração absolutamente-adicionada-ml.png

Criar Conjuntos de Testes

Você pode criar Casos de Teste a partir dos resultados dos jobs Anotação de Intenção e Validação de Intenção.

Selecione o relatório na página Resultados e clique em
selecione Testar Suite.
Preencha a caixa de diálogo fornecendo o nome e a suíte de teste e selecionando o idioma em que as declarações serão testadas. Em seguida, clique em Criar.
Abra o Testador de Declarações para executar o conjunto de testes.

Documentação do Oracle Cloud Infrastructure