Fabricación de datos
Como único desarrollador, puede ser difícil, o incluso imposible para usted, crear un juego grande y variado de expresiones, especialmente cuando necesita proporcionar datos de entrenamiento para varias intenciones o entidades de aprendizaje automático. En lugar de intentar obtener datos de entrenamiento por su cuenta, puede utilizar Oracle Digital Assistant para realizar esta tarea. Asignar esto a los trabajadores colaborativos puede ser particularmente útil cuando necesite expresiones que solo los expertos en la aplicación o el dominio pueden proporcionar.
¿Qué es un trabajo de fabricación de datos?
Los trabajos de fabricación de datos son recopilaciones de tareas asignadas a trabajadores colaborativos. Los trabajos en sí se centran en varias formas de mejorar las intenciones y las entidades de aprendizaje automático.
Trabajos de anotación
Puede asignar un trabajo de anotación cuando tenga datos de registro que se deban clasificar en una intención o cuando una única intención sea demasiado amplia y se deba desglosar en intenciones independientes. También puede asignar trabajadores colaborativos para anotar las palabras y frases clave de los datos de entrenamiento relacionados con una entidad de ML.
Trabajos de validación
Para los trabajos de validación, los trabajadores colaborativos revisan las expresiones para determinar si cumplen con la tarea o acción descrita por la intención o si se ha identificado la entidad de aprendizaje automático correcta. Solo se agregan a los datos de entrenamiento las expresiones que los trabajadores colaborativos consideren válidas.
Flujo de trabajo de fabricación de datos
Para crear un trabajo de fabricación de datos, primero debe crear un trabajo y supervisar su progreso. Si desea acceder a los datos antes de que el trabajo haya terminado oficialmente (por ejemplo, que los trabajadores colaborativos ya no estén realizando acciones en el trabajo), puede cancelar el trabajo. Por último, debe revisar los resultados antes de agregarlos a los datos de entrenamiento aceptándolos, o bien excluirlos de los datos de entrenamiento rechazándolos.
Creación del trabajo
- Haga clic en Fabricación
en la barra de navegación de la izquierda.
- En la página Trabajos, haga clic en Agregar trabajo.
- Seleccione el tipo de trabajo (Parafraseo, Validación o Anotación).
- Seleccione el idioma utilizado por los trabajadores colaborativos. El idioma por defecto es el idioma predominante de la aptitud, pero puede elegir entre otros idiomas soportados de forma nativa. Sin embargo, no puede elegir un idioma que se haya activado mediante un servicio de traducción.
- Haga clic en Iniciar. Después de iniciar un trabajo, su estado se indica como En ejecución en la página Trabajos. No puede editar un trabajo cuando se está ejecutando. Si necesita realizar un cambio, primero debe cancelar el trabajo, duplicarlo y, a continuación, editarlo antes de volver a iniciarlo.
- Para enviar el trabajo a los trabajadores colaborativos, haga clic en Copiar enlace. A continuación, pegue el enlace a un correo electrónico que se envíe a los trabajadores colaborativos.
Los trabajadores colaborativos hacen clic en este enlace para aceptar el trabajo. Después de que un trabajador colaborativo acepte el trabajo, revisará las reglas generales para los trabajos Parafraseo, Anotación o Validación.Nota
Los trabajadores colaborativos proporcionan sus nombres y direcciones de correo electrónico para el seguimiento. Los resultados se ordenan por sus nombres para medir si han conseguido su objetivo de realización de las tareas.
Supervisión del progreso de los trabajadores colaborativos
Los trabajos que han finalizado o se han cancelado están disponibles para su descarga en la página Resultados. Normalmente, esta página se utiliza para acceder y modificar los resultados descargándolos como un archivo CSV, con el que puede trabajar en un programa de hojas de cálculo como Excel.
A medida que aumenta el número de trabajos, puede filtrarlos como Aceptado, Rechazado o Sin decidir (este se aplica a los trabajos que no se hayan aceptado ni rechazado).
Consejo:
Dado que el estado Aceptado o Rechazado indica que el trabajo realizado en un trabajo ha finalizado, es probable que filtre por Sin decidir casi siempre.Revisión de los resultados
- Haga clic en Ver para examinar los resultados.
Si la mayoría de los resultados son incorrectos de manera uniforme, haga clic en Rechazar. Usted podría rechazar un trabajo mal diseñado que confunda o lleve a cometer un error a los trabajadores colaborativos, o podría rechazar un trabajo porque era una prueba. Si encuentra que los resultados son correctos, puede agregarlos al juego de entrenamiento haciendo clic en Aceptar. Antes de elegir esta opción, tenga en cuenta que no puede deshacer esta operación, que agrega todo el juego de resultados a los datos de entrenamiento. Como puede agregar involuntariamente expresiones incorrectas que solo puede eliminar editando la intención, le recomendamos que descargue los resultados y los edite antes de aceptarlos e incorporarlos al corpus de entrenamiento.
Al editar los archivos CSV descargados puede limpiar los resultados. Para los trabajos de parafraseo, la edición de los resultados antes de confirmarlos en el juego de entrenamiento permite cambiar las expresiones o suprimir las incorrectas.Nota
El contenido de la columnaresult
depende del tipo de trabajo. Para un trabajo de parafraseo, las expresiones del trabajador colaborativo aparecen en esta columna. Para un trabajo de validación, es la evaluación del trabajador de la expresión respecto a la tarea (Correcto, Incorrecto, No estoy seguro) y, para un trabajo de anotación, es la intención que coincide con la expresión.
Para descargar el trabajo, haga clic en Descargaren la página Resultados o en el cuadro de diálogo Ver resultados. Guarde el trabajo en el sistema local y, a continuación, abra el CSV con un programa de hoja de cálculo.
- Una vez finalizadas las ediciones, haga clic en Cargar en la página Resultados.
- Vuelva a entrenar la aptitud.
Trabajos de parafraseo
Recopile expresiones de los trabajadores colaborativos a través de los trabajos de parafraseo. Los trabajadores que aceptan el trabajo de parafraseo generan expresiones válidas utilizando directrices como peticiones de datos e indicaciones que usted proporciona. Una petición de datos captura la esencia de lo que los usuarios esperan que la aptitud haga por ellos. Una indicación, que es opcional, proporciona al trabajador colaborativo más detalles, como la redacción y los valores de la entidad. Por ejemplo, "Cree un gasto para un comerciante con un importe en dólares" es una petición de datos para una intención Crear informe de gastos. La indicación que la acompaña es "Usar el nombre del comerciante ACME y una cantidad de dólares inferior a 50 $".
- Una petición de datos no es una expresión. Las expresiones pueden reprimir la creatividad del trabajador colaborativo debido a su especificidad. En lugar de servir de ejemplo, animan a los trabajadores a generar variaciones sencillas. Estas frases redundantes añaden ruido a su cuerpo de entrenamiento y no mejorarán los conocimientos de su aptitud.
- Si tiene más de una petición de datos para una intención, modifíquelas. Cada petición de datos de un trabajo de parafraseo podría distribuirse a diferentes trabajadores colaborativos. Incluso si un trabajador colaborativo recibe más de una petición de datos del mismo trabajo de parafraseo, tener una petición de datos diferente cambiará la perspectiva del trabajador.
- Utilice indicaciones para fomentar la variación. Puede definir indicaciones para cualquier elemento que desee que incluyan (o que no incluyan) las expresiones. Al variar las peticiones de datos, también debe variar sus indicaciones correspondientes.
Petición de datos Indicación Cree un gasto para estacionamiento en el aeropuerto Incluya el código del aeropuerto (SFO, LAX, etc.), una fecha completa (dd/mm/yyyy) y una cantidad en dólares estadounidenses. Crear un gasto para una comida Incluya el nombre del restaurante, una fecha completa (dd/mm/yyyy) y una cantidad en dólares estadounidenses.
Creación del trabajo de parafraseo
- Si aún no ha creado ningún trabajo, haga clic en Agregar trabajo (en la página de llegada si aún no ha creado ningún trabajo o en el separador Trabajos si hay trabajos existentes).
- Seleccione Parafraseo.
- Introduzca un nombre de trabajo.
- Seleccione el idioma utilizado por los trabajadores colaborativos. Por defecto, se muestra el idioma predominante de la aptitud, pero puede elegir entre otros indicadores con soporte nativo que se hayan definido para la aptitud.
- Agregue las peticiones de datos y las indicaciones (que son opcionales) para las intenciones. Puede crearlas fuera de línea en un archivo CSV con columnas denominadas
intentName
,prompt
yhint
, y agregarlas como un lote, o bien una a una con el cuadro de diálogo Nuevo trabajo. Puede agregar estas columnas en cualquier orden en el archivo CSV.Nota
Si ha seleccionado un idioma distinto del idioma predominante de la aptitud, las peticiones de datos y las indicaciones también deben estar en ese idioma. - Si ha agregado peticiones de datos, indicaciones y nombres de intención a un CSV, haga clic en Cargar y, a continuación, busque y seleccione el archivo. A continuación, haga clic en Continuar.
- Si es necesario, agregue peticiones de datos adicionales
, edite
o suprima las peticiones de datos
cuando sea necesario o cambie el número de expresiones por petición de datos. Haga clic en Iniciar.
- Para crear un trabajo de parafraseo manualmente, haga clic en Seleccionar.
- Haga clic en el campo Intenciones para seleccionar una intención en el menú, o haga clic en la opción Seleccionar todas las... intenciones si desea agregar peticiones de datos a todo su juego de intenciones.
- Haga clic en Continuar.
- Haga clic en el campo Petición de datos o haga clic en Editar
para introducir la petición de datos.
- Haga clic en el campo Indicación o haga clic en Editar
para introducir la petición de datos.
- Haga clic en Agregar
para crear otra petición de datos. Tenga en cuenta que cada petición de datos nueva es posiblemente un trabajo independiente, que gestiona un trabajador colaborativo diferente.
- Si es necesario, suprima o revise las peticiones de datos o indicaciones.
- Haga clic en Agregar
- Seleccione el número de parafraseos por petición de datos.
- Cuando termine, haga clic en Iniciar.
El trabajo Parafraseo se muestra como una nueva fila en la página Trabajos con el estado En ejecución. - Haga clic en Copiar enlace en la fila y, a continuación, pegue el enlace en un correo electrónico que enviará a los trabajadores colaborativos. Los trabajadores colaborativos aceptan el trabajo haciendo clic en ese enlace. Después de que un trabajador colaborativo acepte el trabajo, revisará las reglas generales para los trabajos de parafraseo.NotaA continuación, los trabajadores envían sus parafraseos.
La configuración regional del explorador del trabajador se define en el idioma seleccionado en el cuadro de diálogo Crear trabajo.
Puede supervisar el progreso de la ejecución en tiempo real desde la página Trabajos.
Consejos para trabajos de parafrasco
Para que los resultados de un trabajo de parafraseo mejoren realmente el corpus de entrenamiento, es importante configurarlo de una manera que provoque frases diversas y de la vida real para el caso de uso. Estos son algunos consejos para hacer que sus trabajos de parafraseo sean más exitosos:
- Formule cuidadosamente los casos de uso que puede usar como semillas para las tareas.
- Con los "casos de uso iniciales", describa escenarios concretos para los que el usuario debe proporcionar expresiones en lugar de simplemente solicitar variaciones de una frase.
- Proporcione varios escenarios para la misma intención.
- Utilice el campo Indicación para proporcionar consejos que puedan ampliar la perspectiva. Por ejemplo, para una intención de gasto, puede agregar la indicación "incluir diferentes monedas como si estuviera viajando".
Revisión del trabajo de parafraseo
Antes de agregar las expresiones a su juego de entrenamiento, probablemente desee revisarlas en busca de semántica, faltas de escritura o correo no deseado.
- Puede esperar a que termine un trabajo o, si cree que se han realizado todas las contribuciones a un trabajo en ejecución, haga clic en Cancelar en la página Trabajos.
- Haga clic en Resultados. En la página Resultados solo se muestran los trabajos cancelados o finalizados.
- Haga clic en Ver para obtener una vista de solo lectura de las expresiones. Con las opciones de este cuadro de diálogo, puede descargar el trabajo como CSV o aceptarlo o rechazarlo en su totalidad.
Antes de comprometerse a rechazar o aceptar todas las tareas de los trabajos a la vez (que no se pueden deshacer automáticamente), puede que desee descargar el trabajo y limpiar los resultados antes de agregarlas al juego de entrenamiento. Si sigue esta ruta, haga clic en Descargar en este cuadro de diálogo o en la página Resultados.Consejo:
Antes de que no pueda eliminar fácilmente las expresiones después de haberlas aceptado, puede que desee crear una nueva versión de la aptitud o clonarla como precaución. - Abra el archivo CSV con el programa de hoja de cálculo.
Revise las expresiones de la columna de resultados en las columnas
IntentName
y prompt. Actualice las expresiones en la columna de resultados cuando sea necesario o suprima toda una fila (o filas). Si la expresión no se puede reparar, puede suprimir toda la fila. Si un trabajador colaborativo introduce repetidamente expresiones incorrectas porque no comprende las peticiones de datos o sigue las directrices generales de parafraseo, puede ordenar la hoja de trabajo por la columna de contribuyente y, a continuación, suprimir las filas. Si suprime una fila, asegúrese de suprimirla por completo. De lo contrario, no podrá cargar el archivo.Consejo:
Solo debe centrarse en las columnasintentName
,prompt
,result
ycontributor
de la hoja de cálculo. Puede ignorar el resto. - Cuando haya terminado, haga clic en Cargar en la página Resultados. Busque el archivo CSV y, a continuación, selecciónelo. Seleccione Parafraseo de intención, introduzca un nombre y, a continuación, haga clic en Cargar.
- Si desea agregar las expresiones a los datos de entrenamiento de una intención, haga clic en Aceptar en la página Resultados. Haga clic en Rechazar si no desea agregarlas al juego de entrenamiento. Puede que desee rechazar un trabajo si se trata de una prueba o si no se puede recuperar debido a peticiones de datos e indicaciones incorrectas.
Trabajos de anotación
Siempre que tenga datos de chat que se deban asignar a una intención o se deban anotar para entidades de aprendizaje automático, puede crear un trabajo de anotación. Los trabajadores completan trabajos de anotación para intenciones mediante la coincidencia de una expresión con una intención. Para los trabajos de anotación de entidad, los trabajadores etiquetan el texto en la expresión para una entidad de aprendizaje automático. Puede crear estos trabajos mediante un archivo CSV con una columna utterance
, trabajos de anotación completados anteriormente o combinando los dos enfoques. También puede crear un trabajo de anotación de intención a partir de las expresiones recopiladas en el reentrenamiento.
Descripción de la anotación de ilustración-csv.png
Creación del trabajo de anotación de intenciones
- Haga clic en + Nuevo trabajo en la página Trabajos.
- Seleccione Anotación de intención.
- Introduzca un nombre.
- Introduzca el idioma utilizado por los trabajadores colaborativos.
- Cargue el archivo, haga clic en Continuar, observe el número de elementos del trabajo y, a continuación, haga clic en Iniciar.
- Haga clic en Copiar enlace y, a continuación, pegue el enlace en un correo electrónico que se enviará a los trabajadores colaborativos. Los trabajadores aceptan el trabajo haciendo clic en ese enlace. Después de iniciar sesión, los trabajadores colaborativos revisan las reglas básicas sobre cómo clasificar las expresiones.
El aprendizaje activo ayuda a los trabajadores colaborativos a salir clasificando todas las intenciones de la aptitud por su probabilidad de que coincidan con la expresión. La intención con más posibilidades de coincidir con la expresión es la primera. Asimismo, las expresiones que se encuentran actualmente en el corpus, que los trabajadores colaborativos utilizan como guía, también se clasifican por su probabilidad de coincidir con la expresión.
Puede supervisar el progreso en la página Trabajos.
Revisión del trabajo de anotación
- Una vez finalizado el trabajo o cuando haya hecho clic en Cancelar porque crea que el trabajo está lo más completo posible, haga clic en Ver.
- Si no está de acuerdo con algunas de las decisiones del trabajador colaborativo, haga clic en Descargar para descargar un CSV de los resultados en su sistema local.
- En el CSV, introduzca el nombre de la intención que espera en la columna
intentName
. - Sustituya la intención elegida por el trabajador colaborativo en la columna
result
introduciendo el nombre de conversación para la intención introducida en la columnaintentName
. - Cuando haya terminado de revisar, haga clic en Cargar en la página Resultados. A continuación, seleccione el archivo, introduzca un nombre y, a continuación, haga clic en Cargar.
NotaLos resultados se fusionarán en el trabajo actual.
No puede eliminar una entrada de los resultados. Los resultados conservan todas las entradas, incluso si elimina una fila del CSV antes de la carga. Si desea eliminar entradas incorrectas (porque no desea rechazar todo el trabajo), debe crear un juego independiente de resultados que no pertenezcan a ningún trabajo. Para ello, elimine el contenido de las columnasjobId
eId
antes de cargar el archivo. - Vuelva a entrenar la aptitud.
Nota
Solo las expresiones que coinciden con una intención se agregan a los datos de entrenamiento. Se excluyen los clasificados como Ninguna de estas intenciones o No estoy seguro.
Creación del trabajo de anotación de entidad
Su aptitud necesita al menos una entidad de ML para este trabajo. No puede crear un trabajo de anotación de entidad con entidades que no sean de ML.
- Haga clic en + Nuevo trabajo en la página Trabajos.
- Seleccione Anotación de entidad.
- Introduzca un nombre.
- Introduzca el idioma utilizado por los trabajadores colaborativos.
- Seleccione la entidad de aprendizaje automático (o entidades de aprendizaje automático) de la que seleccionarán los trabajadores colaborativos. Idealmente, estas entidades tendrán nombres útiles y descripciones sucintas.
- Si este es su primer trabajo de anotación de entidad, busque y, a continuación, seleccione un archivo CSV. Puede proporcionar a los trabajadores expresiones anotadas o no anotadas, según el formato de este archivo:
- Para las expresiones sin anotar, cargue un CSV que organice las expresiones sin formato en una sola columna,
utterance
:utterance I want to order a family size pepperoni pizza with thin crust and mozzarella cheese I want to order a large supreme pizza with regular crust and provolone cheese I want to order a medium size meat-lover pizza with gluten-free crust and goat cheese
- Para las expresiones anotadas, cargue un CSV con una sola columna,
annotation
, con cada expresión representada como un objeto JSON. Las propiedadesbeginOffset
yendOffset
representan el principio y el final del texto etiquetado para la entidad de aprendizaje automático. En Crear entidades de aprendizaje automático se describen las demás propiedades de este objeto.
Los trabajadores colaborativos revisarán las etiquetas existentes definidas por estas compensaciones y las cambiarán cuando sean incorrectas.annotation "[ { ""Utterance"":{ ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"", ""languageTag"":""en"", ""entities"":[ { ""entityValue"":""family"", ""entityName"":""MLPizzaCrust"", ""beginOffset"":18, ""endOffset"":24 }, { ""entityValue"":""mozzarella"", ""entityName"":""MLCheeseType"", ""beginOffset"":66, ""endOffset"":76 }, { ""entityValue"":""pepperoni"", ""entityName"":""MLPizzaType"", ""beginOffset"":30, ""endOffset"":39 } ] } } ]" "[ { ""Utterance"":{ ""utterance"":""I want to order a large supreme pizza with regular crust and provolone cheese"", ""languageTag"":""en"", ""entities"":[ { ""entityValue"":""supreme"", ""entityName"":""MLPizzaType"", ""beginOffset"":24, ""endOffset"":31 }, { ""entityValue"":""provolone"", ""entityName"":""MLCheeseType"", ""beginOffset"":61, ""endOffset"":70 }, { ""entityValue"":""regular"", ""entityName"":""MLPizzaCrust"", ""beginOffset"":43, ""endOffset"":50 }, { ""entityValue"":""large"", ""entityName"":""MLPizzaSize"", ""beginOffset"":18, ""endOffset"":23 } ] } } ]"
- Para las expresiones sin anotar, cargue un CSV que organice las expresiones sin formato en una sola columna,
- Haga clic en Continuar, verifique el número de registros y, a continuación, en Iniciar.
- Copie y, a continuación, pegue el enlace en un correo electrónico que se envíe a los trabajadores colaborativos. Los trabajadores aceptan el trabajo haciendo clic en ese enlace. Antes de empezar a etiquetar las expresiones con anotaciones, revisan las reglas básicas sobre cómo etiquetar el contenido con anotaciones. Si la expresión incluye texto que coincide con una de las entidades de aprendizaje automático que se muestran en la página, un trabajador colaborativo resalta el texto aplicable y aplica la etiqueta Entidad de aprendizaje automático. Si la expresión ya está anotada, los trabajadores pueden revisar las etiquetas y ajustarlas cuando sea necesario.
- Cuando finalice el trabajo (ya sea porque los trabajadores han completado las anotaciones o porque lo ha cancelado), puede ver los resultados y aceptarlos en el corpus de entrenamiento de la entidad de aprendizaje automático.
Sin embargo, antes de agregar los resultados, puede hacer que los trabajadores colaborativos los verifiquen iniciando un trabajo de validación de entidad. Solo se agregan al corpus los resultados correctos de un trabajo de validación. Si es necesario, puede realizar correcciones y adiciones adicionales a los resultados del trabajo en el separador Conjunto de datos de la entidad de aprendizaje automático.
Trabajos de validación
Para los trabajos de validación, los trabajadores colaborativos revisan los resultados de los trabajos de parafraseo, los trabajos de anotación de entidad o los trabajos de validación de información generados a partir del reentrenamiento. Para validar un trabajo de parafraseo, se comparan las expresiones (los resultados de un trabajo de parafraseo o de ) con una tarea, la petición de datos del trabajo de parafraseo. Para los trabajos de anotación de entidad, revisan las expresiones para asegurarse de que se ha identificado la entidad de aprendizaje automático correcta y de que el texto se ha etiquetado por completo.
Creación de un trabajo de validación de parafraseo de intenciones
- Haga clic en Agregar trabajo en la página Trabajos.
- Seleccione Validación de parafraseo de intención.
- Introduzca un nombre.
- Introduzca el idioma utilizado por los trabajadores colaborativos.
- Agregue trabajos de parafraseo que aún no se hayan aceptado (es decir, los trabajos finalizados o cancelados). Puede cargar un archivo CSV desde su sistema local, seleccionar uno o varios trabajos de parafraseo o crear un trabajo a partir de ambos.
- Haga clic en Continuar, verifique el número de registros y, a continuación, en Iniciar.
- Después de agregar la fila del trabajo de validación a la página Trabajos (puede que tenga que hacer clic en Refrescar), haga clic en Copiar enlace.
- Pegue el enlace en un correo electrónico que se envíe a los trabajadores colaborativos. Después de que los trabajadores colaborativos acepten el trabajo, revisarán las reglas básicas para evaluar las expresiones.
A continuación, evaluarán una expresión.
Puede supervisar el progreso del trabajador desde la página Trabajos.
Revisión de un trabajo de validación
Una vez que los trabajadores completan el trabajo de validación (o si cancela el trabajo porque está a punto de finalizar), puede verlo, aceptar o rechazar el trabajo en su totalidad. A pesar de que los trabajos de validación pueden contener miles de resultados (motivo por el que usted los enviaría a los trabajadores colaborativos), tal vez aún desee revisarlos individualmente. Por ejemplo, podría ver respuestas en el cuadro de diálogo Ver resultados con las que no está de acuerdo. Deseará cambiarlos o eliminarlos antes de confirmar los resultados en los datos de entrenamiento.
Descripción de la ilustración review-validation-job.png
- Descargue el trabajo como CSV, ya sea en el cuadro de diálogo Ver resultados o haciendo clic en Descargar en la página Resultados.
- Abra el archivo CSV en un programa de hoja de cálculo.
- Compare las entradas en las columnas
IntentName
y prompt y, a continuación, cambie la entrada de resultados cuando sea necesario. Puede editar solo esta columna o eliminar toda una fila.
En general, solo tiene que centrarse en estas tres columnas. Dicho esto, puede ordenar por la columna de contribuyente para aislar el trabajo de un trabajador colaborativo en particular. Si las decisiones de este trabajador son sistemáticamente poco fiables, puede suprimir todas las filas de ese contribuyente.Nota
Si suprime una fila, asegúrese de suprimirla por completo. No puede cargar un CSV con una fila parcial. - Cuando haya terminado, haga clic en Cargar en la página Resultados. Busque el archivo CSV y, a continuación, selecciónelo. Seleccione Validación, introduzca un nombre y, a continuación, haga clic en Cargar.
- Haga clic en Aceptar o Rechazar. Si acepta el trabajo, solo se agregan al juego de entrenamientos las expresiones "correctas". No puede deshacer esta operación. Solo puede eliminar estas expresiones manualmente.
- Vuelva a entrenar la aptitud.
Creación de un trabajo de validación de anotación de entidad
- Haga clic en Nuevo trabajo en la página Trabajos.
- Seleccione Validación de entidad.
- Introduzca un nombre.
- Introduzca el idioma utilizado por los trabajadores colaborativos.
- Puede cargar un archivo CSV desde el sistema local, seleccionar uno o más trabajos de anotación de entidad completados (que incluyen trabajos que los trabajadores han finalizado o que ha cancelado) o combinarlos para crear un único trabajo. El CSV tiene el mismo formato que el utilizado para agregar expresiones anotadas a un trabajo de anotación de entidad: tiene la única columna
annotation
y objetos JSON para las expresiones:annotation "[ { ""Utterance"":{ ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"", ""languageTag"":""en"", ""entities"":[ { ""entityValue"":""family"", ""entityName"":""MLPizzaCrust"", ""beginOffset"":18, ""endOffset"":24 }, { ""entityValue"":""mozzarella"", ""entityName"":""MLCheeseType"", ""beginOffset"":66, ""endOffset"":76 }, { ""entityValue"":""pepperoni"", ""entityName"":""MLPizzaType"", ""beginOffset"":30, ""endOffset"":39 } ] } } ]" ...
- Haga clic en Continuar, verifique el número de registros y, a continuación, haga clic en Iniciar.
- Pegue el enlace en un correo electrónico que se envíe a los trabajadores colaborativos.
Después de que los trabajadores colaborativos acepten el trabajo, revisarán las reglas básicas para evaluar las anotaciones. A partir de ahí, revisan las anotaciones clasificándolas como correctas, incorrectas o no seguras.
Puede supervisar el progreso del trabajador desde la página Trabajos. Una vez finalizado el trabajo, puede revisar los resultados antes de aceptarlos o rechazarlos.
Al hacer clic en Aceptar, agregará los resultados correctos al juego de entrenamiento de la entidad de aprendizaje automático. Si es necesario, puede editarlos más adelante en la ficha Conjunto de datos.
Crear series de pruebas
- Seleccione el informe en la página Results y, a continuación, haga clic en
- seleccione Conjunto de pruebas.
- Complete el cuadro de diálogo proporcionando el conjunto de pruebas y el nombre, y seleccionando el idioma en el que se probarán las expresiones. Haga clic en Crear.
- Abra el probador de expresiones para ejecutar el conjunto de pruebas.