Juegos de datos de modelo personalizado

• La primera línea debe ser una cabecera que contenga los siguientes nombres de dos columnas:

  • text: captura el texto que se va a clasificar.
  • labels: captura una o más clases asignadas. Para los juegos de datos de clasificación de varias etiquetas, se pueden especificar varios nombres de clase uniéndolos con el símbolo |.
• Todas las líneas posteriores a la línea de cabecera contienen registros de formación.
• Si el archivo tiene más de dos columnas, solo se utilizan las columnas text y labels para entrenar el modelo.

• Para la codificación del archivo CSV, utilice UTF-8. Cuando utilice Excel, guarde el archivo como CSV UTF-8 (delimitado por comas) (.csv).

• Para el delimitador, utilice una coma (,).
• Para el carácter de escape, utilice comillas dobles ("), también conocidas con el carácter Unicode de U+0022.

  Por ejemplo, en Excel, si escribe el siguiente texto:

  This is a "double quote" sentence

  La frase anterior se almacena en el CSV de la siguiente manera:

  "This is a ""double quote"" sentence"

Archivo CSV de ejemplo para clasificación de texto de etiqueta única:

text,labels
Windows OS -unable to print,Network Printer Failure
Citrix Account frequently locking,Account (Password reset)
Pull print queue not working ,Application Component Disconnect
wifi disable and lan is disconnected at the desktop,Hardware Device Failure

Windows OS -unable to print,Network Printer Failure
Pull print queue not working ,Application Component Disconnect|Network Printer Failure
wifi disable and lan is disconnected at the desktop,Hardware Device Failure|Network Connection Issue

El archivo JSON no incluye los datos de entrenamiento. En su lugar, el archivo JSON es un archivo de manifiesto que contiene etiquetas y punteros (rutas relativas) a archivos con datos sin etiquetar.

El formato JSON es un formato de líneas JSON (JSONL), donde cada línea es un único objeto JSON:

• La primera línea del objeto describe el conjunto de etiquetas o clases y el tipo de archivo de anotación.
• Todas las líneas posteriores describen un registro de formación.

• Guarde todos los archivos de texto en el mismo directorio que el archivo de manifiesto (.jsonl) y tenga el nombre de los archivos en los registros de formación.

1. La primera línea es una línea de cabecera. Contiene un objeto JSON que describe el tipo de archivo.
2. Cualquier línea posterior contiene un objeto JSON que representa un registro con etiqueta.

{
    "labelsSet": [
      {
        "name": "Label1"
      },
      {
        "name": "Label2"
      },
      {
        "name": "Label3"
      },
      {
        "name": "Label4"
      }
    ],
    "annotationFormat": "ENTITY_EXTRACTION",
    "datasetFormatDetails": {
      "formatType": "TEXT"
    }
  }

{
    "sourceDetails": {
      "path": "Complaint3.txt"
    },
    "annotations": [
      {
        "entities": [
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              },
              {
                "label_name": "Label2"
              }
            ],
            "textSpan": {
              "offset": 0,
              "length": 28
            }
          },
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              }
            ],
            "textSpan": {
              "offset": 196,
              "length": 11
            }
          }
        ]
      }
    ]
  }