Data set del modello personalizzato

• La prima riga deve essere un'intestazione contenente i seguenti nomi a due colonne:

  • text: acquisisce il testo da classificare.
  • labels: acquisisce una o più classi assegnate. Per i set di dati di classificazione con più etichette, è possibile specificare più nomi di classe unendoli con il simbolo |.
• Tutte le righe successive alla riga intestazione contengono record di addestramento.
• Se il file contiene più di due colonne, per addestrare il modello vengono utilizzate solo le colonne text e labels.

• Per la codifica dei file CSV, utilizzare UTF-8. Quando si utilizza Excel, salvare il file come CSV UTF-8 (delimitato da virgole) (.csv).

• Per il delimitatore, utilizzare la virgola (,).
• Per il carattere di escape, utilizzare le virgolette ("), note anche con il carattere Unicode di U+0022.

  Ad esempio, in Excel, se si digita il testo seguente:

  This is a "double quote" sentence

  La frase precedente viene memorizzata nel CSV come segue:

  "This is a ""double quote"" sentence"

File CSV di esempio per classificazione testo a etichetta singola:

text,labels
Windows OS -unable to print,Network Printer Failure
Citrix Account frequently locking,Account (Password reset)
Pull print queue not working ,Application Component Disconnect
wifi disable and lan is disconnected at the desktop,Hardware Device Failure

Windows OS -unable to print,Network Printer Failure
Pull print queue not working ,Application Component Disconnect|Network Printer Failure
wifi disable and lan is disconnected at the desktop,Hardware Device Failure|Network Connection Issue

Il file JSON non include i dati di formazione. Invece, il file JSON è un file manifesto che contiene etichette e puntatori (percorsi relativi) a file con dati non etichettati.

Il formato JSON è un formato JSON Lines (JSONL), in cui ogni riga è un singolo oggetto JSON:

• La prima riga dell'oggetto descrive il set di etichette o classi e il tipo di file di annotazione.
• Tutte le righe successive descrivono un record di formazione.

• Salvare tutti i file di testo nella stessa directory del file manifesto (.jsonl) e assegnare ai record di addestramento il nome dei file.

1. La prima riga è una riga di intestazione. Contiene un oggetto JSON che descrive il tipo di file.
2. Qualsiasi riga successiva contiene un oggetto JSON che rappresenta un record con etichetta.

{
    "labelsSet": [
      {
        "name": "Label1"
      },
      {
        "name": "Label2"
      },
      {
        "name": "Label3"
      },
      {
        "name": "Label4"
      }
    ],
    "annotationFormat": "ENTITY_EXTRACTION",
    "datasetFormatDetails": {
      "formatType": "TEXT"
    }
  }

{
    "sourceDetails": {
      "path": "Complaint3.txt"
    },
    "annotations": [
      {
        "entities": [
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              },
              {
                "label_name": "Label2"
              }
            ],
            "textSpan": {
              "offset": 0,
              "length": 28
            }
          },
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              }
            ],
            "textSpan": {
              "offset": 196,
              "length": 11
            }
          }
        ]
      }
    ]
  }