Fabricación de datos

Como único desarrollador, puede ser difícil, o incluso imposible para usted, crear un juego grande y variado de expresiones, especialmente cuando necesita proporcionar datos de entrenamiento para varias intenciones o entidades de aprendizaje automático. En lugar de intentar obtener datos de entrenamiento por su cuenta, puede utilizar Oracle Digital Assistant para realizar esta tarea. Asignar esto a los trabajadores colaborativos puede ser particularmente útil cuando necesite expresiones que solo los expertos en la aplicación o el dominio pueden proporcionar.

¿Qué es un trabajo de fabricación de datos?

Los trabajos de fabricación de datos son recopilaciones de tareas asignadas a trabajadores colaborativos. Los trabajos en sí se centran en varias formas de mejorar las intenciones y las entidades de aprendizaje automático.

Trabajos de anotación

Puede asignar un trabajo de anotación cuando tenga datos de registro que se deban clasificar en una intención o cuando una única intención sea demasiado amplia y se deba desglosar en intenciones independientes. También puede asignar trabajadores colaborativos para anotar las palabras y frases clave de los datos de entrenamiento relacionados con una entidad de ML.

Trabajos de validación

Para los trabajos de validación, los trabajadores colaborativos revisan las expresiones para determinar si cumplen con la tarea o acción descrita por la intención o si se ha identificado la entidad de aprendizaje automático correcta. Solo se agregan a los datos de entrenamiento las expresiones que los trabajadores colaborativos consideren válidas.

Trabajos de parafraseo

El trabajo de parafraseo consiste en recopilar expresiones de los grupos. Esta asignación describe cómo deben crear sus expresiones.

Flujo de trabajo de fabricación de datos

Para crear un trabajo de fabricación de datos, primero debe crear un trabajo y supervisar su progreso. Si desea acceder a los datos antes de que el trabajo haya terminado oficialmente (por ejemplo, que los trabajadores colaborativos ya no estén realizando acciones en el trabajo), puede cancelar el trabajo. Por último, debe revisar los resultados antes de agregarlos a los datos de entrenamiento aceptándolos, o bien excluirlos de los datos de entrenamiento rechazándolos.

Creación del trabajo

Haga clic en Fabricación en la barra de navegación de la izquierda.
En la página Trabajos, haga clic en Agregar trabajo.

Descripción de la ilustración create-job-landing-page.png
Seleccione el tipo de trabajo (Parafraseo, Validación o Anotación).

Descripción de la ilustración new-job-dialog.png
Seleccione el idioma utilizado por los trabajadores colaborativos. El idioma por defecto es el idioma predominante de la aptitud, pero puede elegir entre otros idiomas soportados de forma nativa. Sin embargo, no puede elegir un idioma que se haya activado mediante un servicio de traducción.
Haga clic en Iniciar. Después de iniciar un trabajo, su estado se indica como En ejecución en la página Trabajos. No puede editar un trabajo cuando se está ejecutando. Si necesita realizar un cambio, primero debe cancelar el trabajo, duplicarlo y, a continuación, editarlo antes de volver a iniciarlo.
Para enviar el trabajo a los trabajadores colaborativos, haga clic en Copiar enlace. A continuación, pegue el enlace a un correo electrónico que se envíe a los trabajadores colaborativos.

Descripción de la ilustración jobs-copy-link.png

Los trabajadores colaborativos hacen clic en este enlace para aceptar el trabajo. Después de que un trabajador colaborativo acepte el trabajo, revisará las reglas generales para los trabajos Parafraseo, Anotación o Validación.
Nota

Los trabajadores colaborativos proporcionan sus nombres y direcciones de correo electrónico para el seguimiento. Los resultados se ordenan por sus nombres para medir si han conseguido su objetivo de realización de las tareas.

Supervisión del progreso de los trabajadores colaborativos

Puede supervisar el progreso de los trabajadores colaborativos para el trabajo en ejecución en la página Trabajos, pero no puede acceder ni ver los resultados cuando el estado de un trabajo sea En ejecución. Solo puede acceder a los resultados después de que los trabajadores hayan finalizado el trabajo o si ha cancelado un trabajo porque cree que está lo más completo posible. Si este es el caso, haga clic en Cancelar. Los resultados del trabajo contendrán todos los registros completados hasta el punto en que los haya cancelado.

A continuación se muestra la descripción de jobs-cancel.png

Descripción de la ilustración jobs-cancel.png

Los trabajos que han finalizado o se han cancelado están disponibles para su descarga en la página Resultados. Normalmente, esta página se utiliza para acceder y modificar los resultados descargándolos como un archivo CSV, con el que puede trabajar en un programa de hojas de cálculo como Excel.

A continuación se muestra la descripción del trabajo-results.png

Descripción de la ilustración job-results.png

A medida que aumenta el número de trabajos, puede filtrarlos como Aceptado, Rechazado o Sin decidir (este se aplica a los trabajos que no se hayan aceptado ni rechazado).

A continuación se muestra la descripción de filter-results-page.png

Descripción de la ilustración filter-results-page.png

Consejo:

Dado que el estado Aceptado o Rechazado indica que el trabajo realizado en un trabajo ha finalizado, es probable que filtre por Sin decidir casi siempre.

Revisión de los resultados

Haga clic en Ver para examinar los resultados.

Descripción de la ilustración view-job-results.png

Si la mayoría de los resultados son incorrectos de manera uniforme, haga clic en Rechazar. Usted podría rechazar un trabajo mal diseñado que confunda o lleve a cometer un error a los trabajadores colaborativos, o podría rechazar un trabajo porque era una prueba. Si encuentra que los resultados son correctos, puede agregarlos al juego de entrenamiento haciendo clic en Aceptar. Antes de elegir esta opción, tenga en cuenta que no puede deshacer esta operación, que agrega todo el juego de resultados a los datos de entrenamiento. Como puede agregar involuntariamente expresiones incorrectas que solo puede eliminar editando la intención, le recomendamos que descargue los resultados y los edite antes de aceptarlos e incorporarlos al corpus de entrenamiento.

Descripción de la ilustración intent-page-edit-results.png

Al editar los archivos CSV descargados puede limpiar los resultados. Para los trabajos de parafraseo, la edición de los resultados antes de confirmarlos en el juego de entrenamiento permite cambiar las expresiones o suprimir las incorrectas.
Nota

El contenido de la columna result depende del tipo de trabajo. Para un trabajo de parafraseo, las expresiones del trabajador colaborativo aparecen en esta columna. Para un trabajo de validación, es la evaluación del trabajador de la expresión respecto a la tarea (Correcto, Incorrecto, No estoy seguro) y, para un trabajo de anotación, es la intención que coincide con la expresión.

Descripción de la ilustración descargada-parafraseo-resultados-csv.png

Para descargar el trabajo, haga clic en Descargar en la página Resultados o en el cuadro de diálogo Ver resultados. Guarde el trabajo en el sistema local y, a continuación, abra el CSV con un programa de hoja de cálculo.
Una vez finalizadas las ediciones, haga clic en Cargar en la página Resultados.

Descripción de la ilustración upload-results.png
Vuelva a entrenar la aptitud.

Trabajos de parafraseo

Recopile expresiones de los trabajadores colaborativos a través de los trabajos de parafraseo. Los trabajadores que aceptan el trabajo de parafraseo generan expresiones válidas utilizando directrices como peticiones de datos e indicaciones que usted proporciona. Una petición de datos captura la esencia de lo que los usuarios esperan que la aptitud haga por ellos. Una indicación, que es opcional, proporciona al trabajador colaborativo más detalles, como la redacción y los valores de la entidad. Por ejemplo, "Cree un gasto para un comerciante con un importe en dólares" es una petición de datos para una intención Crear informe de gastos. La indicación que la acompaña es "Usar el nombre del comerciante ACME y una cantidad de dólares inferior a 50 $".

La recopilación de expresiones lingüísticamente diversas, pero semánticamente correctas, comienza con el diseño de la petición de datos y la indicación. Tenga en cuenta lo siguiente al redactar las peticiones de datos:

Una petición de datos no es una expresión. Las expresiones pueden reprimir la creatividad del trabajador colaborativo debido a su especificidad. En lugar de servir de ejemplo, animan a los trabajadores a generar variaciones sencillas. Estas frases redundantes añaden ruido a su cuerpo de entrenamiento y no mejorarán los conocimientos de su aptitud.
Si tiene más de una petición de datos para una intención, modifíquelas. Cada petición de datos de un trabajo de parafraseo podría distribuirse a diferentes trabajadores colaborativos. Incluso si un trabajador colaborativo recibe más de una petición de datos del mismo trabajo de parafraseo, tener una petición de datos diferente cambiará la perspectiva del trabajador.

Utilice indicaciones para fomentar la variación. Puede definir indicaciones para cualquier elemento que desee que incluyan (o que no incluyan) las expresiones. Al variar las peticiones de datos, también debe variar sus indicaciones correspondientes.

Petición de datos	Indicación
Cree un gasto para estacionamiento en el aeropuerto	Incluya el código del aeropuerto (SFO, LAX, etc.), una fecha completa (dd/mm/yyyy) y una cantidad en dólares estadounidenses.
Crear un gasto para una comida	Incluya el nombre del restaurante, una fecha completa (dd/mm/yyyy) y una cantidad en dólares estadounidenses.

Creación del trabajo de parafraseo

Puede crear un parafraseo a partir de un archivo CSV que contenga los nombres de intención y sus peticiones de datos e indicaciones correspondientes, o bien agregando peticiones de datos e indicaciones individuales para una intención seleccionada. Puede usar cualquiera de los métodos, pero no puede combinar los dos.

Si aún no ha creado ningún trabajo, haga clic en Agregar trabajo (en la página de llegada si aún no ha creado ningún trabajo o en el separador Trabajos si hay trabajos existentes).
Seleccione Parafraseo.
Introduzca un nombre de trabajo.
Seleccione el idioma utilizado por los trabajadores colaborativos. Por defecto, se muestra el idioma predominante de la aptitud, pero puede elegir entre otros indicadores con soporte nativo que se hayan definido para la aptitud.
Agregue las peticiones de datos y las indicaciones (que son opcionales) para las intenciones. Puede crearlas fuera de línea en un archivo CSV con columnas denominadas intentName, prompt y hint, y agregarlas como un lote, o bien una a una con el cuadro de diálogo Nuevo trabajo. Puede agregar estas columnas en cualquier orden en el archivo CSV.

Descripción de la ilustración promts-csv.png

Nota

Si ha seleccionado un idioma distinto del idioma predominante de la aptitud, las peticiones de datos y las indicaciones también deben estar en ese idioma.
Si ha agregado peticiones de datos, indicaciones y nombres de intención a un CSV, haga clic en Cargar y, a continuación, busque y seleccione el archivo. A continuación, haga clic en Continuar.
Si es necesario, agregue peticiones de datos adicionales , edite o suprima las peticiones de datos cuando sea necesario o cambie el número de expresiones por petición de datos. Haga clic en Iniciar.

Descripción de la ilustración edit-prompts-hints-upload.png
Para crear un trabajo de parafraseo manualmente, haga clic en Seleccionar.
Haga clic en el campo Intenciones para seleccionar una intención en el menú, o haga clic en la opción Seleccionar todas las... intenciones si desea agregar peticiones de datos a todo su juego de intenciones.

Descripción de la ilustración new-job-paraphrasing.png
Haga clic en Continuar.
Haga clic en el campo Petición de datos o haga clic en Editar para introducir la petición de datos.
Haga clic en el campo Indicación o haga clic en Editar para introducir la petición de datos.
- Haga clic en Agregar para crear otra petición de datos. Tenga en cuenta que cada petición de datos nueva es posiblemente un trabajo independiente, que gestiona un trabajador colaborativo diferente.
- Si es necesario, suprima o revise las peticiones de datos o indicaciones.
Seleccione el número de parafraseos por petición de datos.
Cuando termine, haga clic en Iniciar.

Descripción de la ilustración edit-promts-hints.png

El trabajo Parafraseo se muestra como una nueva fila en la página Trabajos con el estado En ejecución.
Haga clic en Copiar enlace en la fila y, a continuación, pegue el enlace en un correo electrónico que enviará a los trabajadores colaborativos. Los trabajadores colaborativos aceptan el trabajo haciendo clic en ese enlace. Después de que un trabajador colaborativo acepte el trabajo, revisará las reglas generales para los trabajos de parafraseo.

Descripción de la ilustración paraphrasing-help-page.png

Nota

La configuración regional del explorador del trabajador se define en el idioma seleccionado en el cuadro de diálogo Crear trabajo.
A continuación, los trabajadores envían sus parafraseos.

Descripción de la ilustración worker-paraphrasing-page.png

Puede supervisar el progreso de la ejecución en tiempo real desde la página Trabajos.

Descripción de la ilustración paraphrasing-jobs-page.png

Consejos para trabajos de parafrasco

Para que los resultados de un trabajo de parafraseo mejoren realmente el corpus de entrenamiento, es importante configurarlo de una manera que provoque frases diversas y de la vida real para el caso de uso. Estos son algunos consejos para hacer que sus trabajos de parafraseo sean más exitosos:

Formule cuidadosamente los casos de uso que puede usar como semillas para las tareas.
Con los "casos de uso iniciales", describa escenarios concretos para los que el usuario debe proporcionar expresiones en lugar de simplemente solicitar variaciones de una frase.
Proporcione varios escenarios para la misma intención.
Utilice el campo Indicación para proporcionar consejos que puedan ampliar la perspectiva. Por ejemplo, para una intención de gasto, puede agregar la indicación "incluir diferentes monedas como si estuviera viajando".

Revisión del trabajo de parafraseo

Antes de agregar las expresiones a su juego de entrenamiento, probablemente desee revisarlas en busca de semántica, faltas de escritura o correo no deseado.

Para revisar el trabajo de parafraseo:

Puede esperar a que termine un trabajo o, si cree que se han realizado todas las contribuciones a un trabajo en ejecución, haga clic en Cancelar en la página Trabajos.
Haga clic en Resultados. En la página Resultados solo se muestran los trabajos cancelados o finalizados.

Descripción de la ilustración paraphrase-job-results-page.png
Haga clic en Ver para obtener una vista de solo lectura de las expresiones. Con las opciones de este cuadro de diálogo, puede descargar el trabajo como CSV o aceptarlo o rechazarlo en su totalidad.

Descripción de la ilustración review-results-paraphrasing-job-dialog.png

Antes de comprometerse a rechazar o aceptar todas las tareas de los trabajos a la vez (que no se pueden deshacer automáticamente), puede que desee descargar el trabajo y limpiar los resultados antes de agregarlas al juego de entrenamiento. Si sigue esta ruta, haga clic en Descargar en este cuadro de diálogo o en la página Resultados.

Consejo:
Antes de que no pueda eliminar fácilmente las expresiones después de haberlas aceptado, puede que desee crear una nueva versión de la aptitud o clonarla como precaución.
Abra el archivo CSV con el programa de hoja de cálculo.
Revise las expresiones de la columna de resultados en las columnas IntentName y prompt. Actualice las expresiones en la columna de resultados cuando sea necesario o suprima toda una fila (o filas). Si la expresión no se puede reparar, puede suprimir toda la fila. Si un trabajador colaborativo introduce repetidamente expresiones incorrectas porque no comprende las peticiones de datos o sigue las directrices generales de parafraseo, puede ordenar la hoja de trabajo por la columna de contribuyente y, a continuación, suprimir las filas. Si suprime una fila, asegúrese de suprimirla por completo. De lo contrario, no podrá cargar el archivo.

Consejo:
Solo debe centrarse en las columnas intentName, prompt, result y contributor de la hoja de cálculo. Puede ignorar el resto.

Descripción de la ilustración review-paraphasing-results-csv.png
Cuando haya terminado, haga clic en Cargar en la página Resultados. Busque el archivo CSV y, a continuación, selecciónelo. Seleccione Parafraseo de intención, introduzca un nombre y, a continuación, haga clic en Cargar.

Descripción de la ilustración upload-paraphrase-results.png
Si desea agregar las expresiones a los datos de entrenamiento de una intención, haga clic en Aceptar en la página Resultados. Haga clic en Rechazar si no desea agregarlas al juego de entrenamiento. Puede que desee rechazar un trabajo si se trata de una prueba o si no se puede recuperar debido a peticiones de datos e indicaciones incorrectas.

Descripción de la ilustración accept-paraphrase-job-results.png

Trabajos de anotación

Siempre que tenga datos de chat que se deban asignar a una intención o se deban anotar para entidades de aprendizaje automático, puede crear un trabajo de anotación. Los trabajadores completan trabajos de anotación para intenciones mediante la coincidencia de una expresión con una intención. Para los trabajos de anotación de entidad, los trabajadores etiquetan el texto en la expresión para una entidad de aprendizaje automático. Puede crear estos trabajos mediante un archivo CSV con una columna utterance, trabajos de anotación completados anteriormente o combinando los dos enfoques. También puede crear un trabajo de anotación de intención a partir de las expresiones recopiladas en el reentrenamiento.
A continuación, se incluye la Descripción de la Anotación-csv.png
Descripción de la anotación de ilustración-csv.png

Creación del trabajo de anotación de intenciones

Haga clic en + Nuevo trabajo en la página Trabajos.
Seleccione Anotación de intención.
Introduzca un nombre.
Introduzca el idioma utilizado por los trabajadores colaborativos.
Cargue el archivo, haga clic en Continuar, observe el número de elementos del trabajo y, a continuación, haga clic en Iniciar.
Haga clic en Copiar enlace y, a continuación, pegue el enlace en un correo electrónico que se enviará a los trabajadores colaborativos. Los trabajadores aceptan el trabajo haciendo clic en ese enlace. Después de iniciar sesión, los trabajadores colaborativos revisan las reglas básicas sobre cómo clasificar las expresiones.

Descripción de la ilustración anotation-help.png

El aprendizaje activo ayuda a los trabajadores colaborativos a salir clasificando todas las intenciones de la aptitud por su probabilidad de que coincidan con la expresión. La intención con más posibilidades de coincidir con la expresión es la primera. Asimismo, las expresiones que se encuentran actualmente en el corpus, que los trabajadores colaborativos utilizan como guía, también se clasifican por su probabilidad de coincidir con la expresión.

Descripción de la ilustración worker-annotation-page.png

Puede supervisar el progreso en la página Trabajos.

Revisión del trabajo de anotación

Una vez finalizado el trabajo o cuando haya hecho clic en Cancelar porque crea que el trabajo está lo más completo posible, haga clic en Ver.

Descripción de la ilustración review-annotation-job.png
Si no está de acuerdo con algunas de las decisiones del trabajador colaborativo, haga clic en Descargar para descargar un CSV de los resultados en su sistema local.
En el CSV, introduzca el nombre de la intención que espera en la columna intentName.
Sustituya la intención elegida por el trabajador colaborativo en la columna result introduciendo el nombre de conversación para la intención introducida en la columna intentName.
Cuando haya terminado de revisar, haga clic en Cargar en la página Resultados. A continuación, seleccione el archivo, introduzca un nombre y, a continuación, haga clic en Cargar.
Nota

No puede eliminar una entrada de los resultados. Los resultados conservan todas las entradas, incluso si elimina una fila del CSV antes de la carga. Si desea eliminar entradas incorrectas (porque no desea rechazar todo el trabajo), debe crear un juego independiente de resultados que no pertenezcan a ningún trabajo. Para ello, elimine el contenido de las columnas jobId e Id antes de cargar el archivo.
Los resultados se fusionarán en el trabajo actual.
Vuelva a entrenar la aptitud.
Nota

Solo las expresiones que coinciden con una intención se agregan a los datos de entrenamiento. Se excluyen los clasificados como Ninguna de estas intenciones o No estoy seguro.

Creación del trabajo de anotación de entidad

Su aptitud necesita al menos una entidad de ML para este trabajo. No puede crear un trabajo de anotación de entidad con entidades que no sean de ML.

Haga clic en + Nuevo trabajo en la página Trabajos.
Seleccione Anotación de entidad.
Introduzca un nombre.
Introduzca el idioma utilizado por los trabajadores colaborativos.
Seleccione la entidad de aprendizaje automático (o entidades de aprendizaje automático) de la que seleccionarán los trabajadores colaborativos. Idealmente, estas entidades tendrán nombres útiles y descripciones sucintas.

Si este es su primer trabajo de anotación de entidad, busque y, a continuación, seleccione un archivo CSV. Puede proporcionar a los trabajadores expresiones anotadas o no anotadas, según el formato de este archivo:

Para las expresiones sin anotar, cargue un CSV que organice las expresiones sin formato en una sola columna, utterance:

utterance
I want to order a family size pepperoni pizza with thin crust and mozzarella cheese
I want to order a large supreme pizza with regular crust and provolone cheese
I want to order a medium size meat-lover pizza with gluten-free crust and goat cheese

Para las expresiones anotadas, cargue un CSV con una sola columna, annotation, con cada expresión representada como un objeto JSON. Las propiedades beginOffset y endOffset representan el principio y el final del texto etiquetado para la entidad de aprendizaje automático. En Crear entidades de aprendizaje automático se describen las demás propiedades de este objeto.

annotation
"[
   {
      ""Utterance"":{
         ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"",
         ""languageTag"":""en"",
         ""entities"":[
            {
               ""entityValue"":""family"",
               ""entityName"":""MLPizzaCrust"",
               ""beginOffset"":18,
               ""endOffset"":24
            },
            {
               ""entityValue"":""mozzarella"",
               ""entityName"":""MLCheeseType"",
               ""beginOffset"":66,
               ""endOffset"":76
            },
            {
               ""entityValue"":""pepperoni"",
               ""entityName"":""MLPizzaType"",
               ""beginOffset"":30,
               ""endOffset"":39
            }
         ]
      }
   }
]"
"[
   {
      ""Utterance"":{
         ""utterance"":""I want to order a large supreme pizza with regular crust and provolone cheese"",
         ""languageTag"":""en"",
         ""entities"":[
            {
               ""entityValue"":""supreme"",
               ""entityName"":""MLPizzaType"",
               ""beginOffset"":24,
               ""endOffset"":31
            },
            {
               ""entityValue"":""provolone"",
               ""entityName"":""MLCheeseType"",
               ""beginOffset"":61,
               ""endOffset"":70
            },
            {
               ""entityValue"":""regular"",
               ""entityName"":""MLPizzaCrust"",
               ""beginOffset"":43,
               ""endOffset"":50
            },
            {
               ""entityValue"":""large"",
               ""entityName"":""MLPizzaSize"",
               ""beginOffset"":18,
               ""endOffset"":23
            }
         ]
      }
   }
]"

Los trabajadores colaborativos revisarán las etiquetas existentes definidas por estas compensaciones y las cambiarán cuando sean incorrectas.

Puede combinar trabajos de anotación completados anteriormente en un solo trabajo y también combinar CSV con trabajos de anotación completados. Si está agregando un trabajo anterior, algunas de las expresiones ya se anotarán.

A continuación se muestra la descripción de create-entity-annotation-job-dialog.png

Descripción de la ilustración create-entity-annotation-job-dialog.png

Haga clic en Continuar, verifique el número de registros y, a continuación, en Iniciar.
Copie y, a continuación, pegue el enlace en un correo electrónico que se envíe a los trabajadores colaborativos. Los trabajadores aceptan el trabajo haciendo clic en ese enlace. Antes de empezar a etiquetar las expresiones con anotaciones, revisan las reglas básicas sobre cómo etiquetar el contenido con anotaciones. Si la expresión incluye texto que coincide con una de las entidades de aprendizaje automático que se muestran en la página, un trabajador colaborativo resalta el texto aplicable y aplica la etiqueta Entidad de aprendizaje automático. Si la expresión ya está anotada, los trabajadores pueden revisar las etiquetas y ajustarlas cuando sea necesario.

Descripción de la ilustración entity-annotation-worker-page.png
Cuando finalice el trabajo (ya sea porque los trabajadores han completado las anotaciones o porque lo ha cancelado), puede ver los resultados y aceptarlos en el corpus de entrenamiento de la entidad de aprendizaje automático.

Descripción de la ilustración view-entity-annotation-results.png

Sin embargo, antes de agregar los resultados, puede hacer que los trabajadores colaborativos los verifiquen iniciando un trabajo de validación de entidad. Solo se agregan al corpus los resultados correctos de un trabajo de validación. Si es necesario, puede realizar correcciones y adiciones adicionales a los resultados del trabajo en el separador Conjunto de datos de la entidad de aprendizaje automático.

Trabajos de validación

Para los trabajos de validación, los trabajadores colaborativos revisan los resultados de los trabajos de parafraseo, los trabajos de anotación de entidad o los trabajos de validación de información generados a partir del reentrenamiento. Para validar un trabajo de parafraseo, se comparan las expresiones (los resultados de un trabajo de parafraseo o de ) con una tarea, la petición de datos del trabajo de parafraseo. Para los trabajos de anotación de entidad, revisan las expresiones para asegurarse de que se ha identificado la entidad de aprendizaje automático correcta y de que el texto se ha etiquetado por completo.

Creación de un trabajo de validación de parafraseo de intenciones

Haga clic en Agregar trabajo en la página Trabajos.
Seleccione Validación de parafraseo de intención.
Introduzca un nombre.
Introduzca el idioma utilizado por los trabajadores colaborativos.
Agregue trabajos de parafraseo que aún no se hayan aceptado (es decir, los trabajos finalizados o cancelados). Puede cargar un archivo CSV desde su sistema local, seleccionar uno o varios trabajos de parafraseo o crear un trabajo a partir de ambos.
Haga clic en Continuar, verifique el número de registros y, a continuación, en Iniciar.

Descripción de la ilustración new-validation-job.png
Después de agregar la fila del trabajo de validación a la página Trabajos (puede que tenga que hacer clic en Refrescar), haga clic en Copiar enlace.

Descripción de la ilustración running-validation-job.png
Pegue el enlace en un correo electrónico que se envíe a los trabajadores colaborativos. Después de que los trabajadores colaborativos acepten el trabajo, revisarán las reglas básicas para evaluar las expresiones.

Descripción de la ilustración validation-help.png

A continuación, evaluarán una expresión.

Descripción de la ilustración worker-validation-page.png

Puede supervisar el progreso del trabajador desde la página Trabajos.

Revisión de un trabajo de validación

Una vez que los trabajadores completan el trabajo de validación (o si cancela el trabajo porque está a punto de finalizar), puede verlo, aceptar o rechazar el trabajo en su totalidad. A pesar de que los trabajos de validación pueden contener miles de resultados (motivo por el que usted los enviaría a los trabajadores colaborativos), tal vez aún desee revisarlos individualmente. Por ejemplo, podría ver respuestas en el cuadro de diálogo Ver resultados con las que no está de acuerdo. Deseará cambiarlos o eliminarlos antes de confirmar los resultados en los datos de entrenamiento.
A continuación se muestra la descripción de la revisión-validación-job.png
Descripción de la ilustración review-validation-job.png

Para editar los resultados uno a uno:

Descargue el trabajo como CSV, ya sea en el cuadro de diálogo Ver resultados o haciendo clic en Descargar en la página Resultados.
Abra el archivo CSV en un programa de hoja de cálculo.
Compare las entradas en las columnas IntentName y prompt y, a continuación, cambie la entrada de resultados cuando sea necesario. Puede editar solo esta columna o eliminar toda una fila.

Descripción de la ilustración review-validation-results-csv.png

En general, solo tiene que centrarse en estas tres columnas. Dicho esto, puede ordenar por la columna de contribuyente para aislar el trabajo de un trabajador colaborativo en particular. Si las decisiones de este trabajador son sistemáticamente poco fiables, puede suprimir todas las filas de ese contribuyente.
Nota

Si suprime una fila, asegúrese de suprimirla por completo. No puede cargar un CSV con una fila parcial.
Cuando haya terminado, haga clic en Cargar en la página Resultados. Busque el archivo CSV y, a continuación, selecciónelo. Seleccione Validación, introduzca un nombre y, a continuación, haga clic en Cargar.
Haga clic en Aceptar o Rechazar. Si acepta el trabajo, solo se agregan al juego de entrenamientos las expresiones "correctas". No puede deshacer esta operación. Solo puede eliminar estas expresiones manualmente.
Vuelva a entrenar la aptitud.

Creación de un trabajo de validación de anotación de entidad

Haga clic en Nuevo trabajo en la página Trabajos.
Seleccione Validación de entidad.
Introduzca un nombre.
Introduzca el idioma utilizado por los trabajadores colaborativos.

Puede cargar un archivo CSV desde el sistema local, seleccionar uno o más trabajos de anotación de entidad completados (que incluyen trabajos que los trabajadores han finalizado o que ha cancelado) o combinarlos para crear un único trabajo. El CSV tiene el mismo formato que el utilizado para agregar expresiones anotadas a un trabajo de anotación de entidad: tiene la única columna annotation y objetos JSON para las expresiones:

annotation
"[
   {
      ""Utterance"":{
         ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"",
         ""languageTag"":""en"",
         ""entities"":[
            {
               ""entityValue"":""family"",
               ""entityName"":""MLPizzaCrust"",
               ""beginOffset"":18,
               ""endOffset"":24
            },
            {
               ""entityValue"":""mozzarella"",
               ""entityName"":""MLCheeseType"",
               ""beginOffset"":66,
               ""endOffset"":76
            },
            {
               ""entityValue"":""pepperoni"",
               ""entityName"":""MLPizzaType"",
               ""beginOffset"":30,
               ""endOffset"":39
            }
         ]
      }
   }
]"
...

Haga clic en Continuar, verifique el número de registros y, a continuación, haga clic en Iniciar.

Descripción de la ilustración entity-validation-job-dialog.png
Pegue el enlace en un correo electrónico que se envíe a los trabajadores colaborativos.

Descripción de la ilustración entity-validation-help-page.png

Después de que los trabajadores colaborativos acepten el trabajo, revisarán las reglas básicas para evaluar las anotaciones. A partir de ahí, revisan las anotaciones clasificándolas como correctas, incorrectas o no seguras.

Descripción de la ilustración entity-validation-worker-page.png

Puede supervisar el progreso del trabajador desde la página Trabajos. Una vez finalizado el trabajo, puede revisar los resultados antes de aceptarlos o rechazarlos.

Descripción de la ilustración view-entity-validation-results.png

Al hacer clic en Aceptar, agregará los resultados correctos al juego de entrenamiento de la entidad de aprendizaje automático. Si es necesario, puede editarlos más adelante en la ficha Conjunto de datos.

Descripción de la ilustración absoluta-added-ml.png

Crear series de pruebas

Puede crear casos de prueba a partir de los resultados de los trabajos de validación de intención y anotación de intención.

Seleccione el informe en la página Results y, a continuación, haga clic en
seleccione Conjunto de pruebas.
Complete el cuadro de diálogo proporcionando el conjunto de pruebas y el nombre, y seleccionando el idioma en el que se probarán las expresiones. Haga clic en Crear.
Abra el probador de expresiones para ejecutar el conjunto de pruebas.

Documentación de Oracle Cloud Infrastructure