Benutzerdefinierte Modelle - Datasets

• Die erste Zeile muss ein Header mit den folgenden zwei Spaltennamen sein:

  • text: Erfasst den zu klassifizierenden Text.
  • labels: Erfasst mindestens eine zugewiesene Klasse. Bei Datasets mit Mehrfachlabel-Klassifizierung können mehrere Klassennamen angegeben werden, indem sie mit dem Symbol | verknüpft werden.
• Alle Positionen nach der Kopfzeile enthalten Schulungsdatensätze.
• Wenn die Datei mehr als zwei Spalten enthält, werden nur die Spalten text und labels zum Trainieren des Modells verwendet.

• Verwenden Sie für die CSV-Dateicodierung UTF-8. Wenn Sie Excel verwenden, speichern Sie die Datei als CSV-Datei (UTF-8 (durch Komma getrennt) (.csv).

• Verwenden Sie als Trennzeichen ein Komma (,).
• Verwenden Sie als Escapezeichen ein doppeltes Anführungszeichen ("), das auch mit dem Unicode-Zeichen U+0022 bekannt ist.

  Beispiel: Wenn Sie in Excel folgenden Text eingeben:

  This is a "double quote" sentence

  Der vorhergehende Satz wird in der CSV-Datei wie folgt gespeichert:

  "This is a ""double quote"" sentence"

Beispiel für eine CSV-Datei für die Textklassifizierung mit einem Label:

text,labels
Windows OS -unable to print,Network Printer Failure
Citrix Account frequently locking,Account (Password reset)
Pull print queue not working ,Application Component Disconnect
wifi disable and lan is disconnected at the desktop,Hardware Device Failure

Windows OS -unable to print,Network Printer Failure
Pull print queue not working ,Application Component Disconnect|Network Printer Failure
wifi disable and lan is disconnected at the desktop,Hardware Device Failure|Network Connection Issue

Die JSON-Datei enthält keine Trainingsdaten. Stattdessen ist die JSON-Datei eine Manifestdatei, die Labels und Zeiger (relative Pfade) zu Dateien mit nicht beschrifteten Daten enthält.

Das JSON-Format ist ein JSON-Zeilenformat (JSONL), wobei jede Zeile ein einzelnes JSON-Objekt ist:

• Die erste Zeile im Objekt beschreibt die Gruppe von Labels oder Klassen und den Typ der Annotationsdatei.
• Alle nachfolgenden Zeilen beschreiben einen Weiterbildungsdatensatz.

• Speichern Sie alle Textdateien im selben Verzeichnis wie die Manifestdatei (.jsonl), und weisen Sie den Schulungsdatensätzen den Namen der Dateien zu.

1. Die erste Position ist eine Kopfzeile. Es enthält ein JSON-Objekt, das den Dateityp beschreibt.
2. Jede nachfolgende Zeile enthält ein JSON-Objekt, das einen beschrifteten Datensatz darstellt.

{
    "labelsSet": [
      {
        "name": "Label1"
      },
      {
        "name": "Label2"
      },
      {
        "name": "Label3"
      },
      {
        "name": "Label4"
      }
    ],
    "annotationFormat": "ENTITY_EXTRACTION",
    "datasetFormatDetails": {
      "formatType": "TEXT"
    }
  }

{
    "sourceDetails": {
      "path": "Complaint3.txt"
    },
    "annotations": [
      {
        "entities": [
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              },
              {
                "label_name": "Label2"
              }
            ],
            "textSpan": {
              "offset": 0,
              "length": 28
            }
          },
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              }
            ],
            "textSpan": {
              "offset": 196,
              "length": 11
            }
          }
        ]
      }
    ]
  }