Benutzerdefinierte Modelle - Datasets

Es gibt zwei Möglichkeiten, beschriftete Daten für benutzerdefinierte Textklassifizierungsmodelle bereitzustellen:

• Data Labeling-Projekte
• Dateien mit kommagetrennten Werten (.csv)

Anforderungen an CSV-Datei

• Die erste Zeile muss ein Header mit den folgenden zwei Spaltennamen sein:

  • text: Erfasst den zu klassifizierenden Text.
  • labels: Erfasst eine oder mehrere zugewiesene Klassen. Bei mehrstufigen Klassifizierungs-Datasets können mehrere Klassennamen angegeben werden, indem sie mit dem Symbol | verknüpft werden.
• Alle Positionen nach der Kopfzeile enthalten Schulungsdatensätze.
• Wenn die Datei mehr als zwei Spalten enthält, werden nur die Spalten text und labels zum Trainieren des Modells verwendet.

• Verwenden Sie für die CSV-Dateicodierung UTF-8. Wenn Sie Excel verwenden, speichern Sie die Datei als CSV-Datei (UTF-8 (durch Komma getrennt) (.csv).

• Verwenden Sie als Trennzeichen ein Komma (,).
• Verwenden Sie als Escapezeichen ein doppeltes Anführungszeichen ("), das auch mit dem Unicode-Zeichen U+0022 bekannt ist.

  Beispiel: Wenn Sie in Excel folgenden Text eingeben:

  This is a "double quote" sentence

  Der vorhergehende Satz wird in der CSV-Datei wie folgt gespeichert:

  "This is a ""double quote"" sentence"

Beispiel für eine CSV-Datei für die Textklassifizierung mit einem Label:

text,labels
Windows OS -unable to print,Network Printer Failure
Citrix Account frequently locking,Account (Password reset)
Pull print queue not working ,Application Component Disconnect
wifi disable and lan is disconnected at the desktop,Hardware Device Failure

Beispiel-CSV-Datei für Textklassifizierung mit mehreren Labels:

Windows OS -unable to print,Network Printer Failure
Pull print queue not working ,Application Component Disconnect|Network Printer Failure
wifi disable and lan is disconnected at the desktop,Hardware Device Failure|Network Connection Issue

Es gibt zwei Möglichkeiten, beschriftete Daten für benutzerdefinierte NER-Modelle bereitzustellen:

• Label Studio-Projekte
• JSON-Zeilenformat (.jsonl).

JSON-Dateianforderungen

Die JSON-Datei enthält keine Trainingsdaten. Stattdessen ist die JSON-Datei eine Manifestdatei, die Labels und Zeiger (relative Pfade) zu Dateien mit nicht beschrifteten Daten enthält.

Das JSON-Format ist ein JSON-Zeilenformat (JSONL), wobei jede Zeile ein einzelnes JSON-Objekt ist:

• Die erste Zeile im Objekt beschreibt die Gruppe von Labels oder Klassen und den Typ der Annotationsdatei.
• Alle späteren Zeilen beschreiben einen Weiterbildungsdatensatz.

• Speichern Sie alle Textdateien im selben Verzeichnis wie die Manifestdatei (.jsonl), und weisen Sie den Schulungsdatensätzen den Namen der Dateien zu.

Definition des Schemas

1. Die erste Position ist eine Kopfzeile. Es enthält ein JSON-Objekt, das den Dateityp beschreibt.
2. Jede spätere Zeile enthält ein JSON-Objekt, das einen beschrifteten Datensatz darstellt.

Headerpositionsformat

Feld	Typ	Beschreibung
labelsSet	Array von Objekten.	Objekt mit einem Zeichenfolgenelement "name", das die für Annotation unterstützte Gruppe von Entitys angibt. Listen Sie hier alle Entitys auf.
annotationFormat	String	Verwenden Sie "ENTITY_EXTRACTION" für NER-Datasets.
datasetFormatDetails	Objekt	Objekt mit einem Zeichenfolgenelement "formatType", das den Typ der mit Anmerkungen versehenen Daten angibt. Setzen Sie den Wert von formatType für Sprache auf "TEXT".

Beispiel für ein JSON-Schema:

{
    "labelsSet": [
      {
        "name": "Label1"
      },
      {
        "name": "Label2"
      },
      {
        "name": "Label3"
      },
      {
        "name": "Label4"
      }
    ],
    "annotationFormat": "ENTITY_EXTRACTION",
    "datasetFormatDetails": {
      "formatType": "TEXT"
    }
  }

Beschriftetes Datensatzformat

Field	Typ	Beschreibung
sourceDetails	Objekt	Objekt mit einem Zeichenfolgenelement, path, das auf die mit Anmerkungen versehene Datei verweist. Der Dateipfad ist relativ zum Speicherort der Datei json.
annotations	Objekt	Komplexes Objekt, das die Annotationen beschreibt.
entities	Array (Objekte)	Eine Liste der im Datensatz angegebenen Entitäten.
entityType	String	Der Typ der Entityannotation. Verwenden Sie für den Wert "TEXTSELECTION" als NER.
labels	Array (Objekte)	Jedes Objekt im Array enthält das Element "label_name", das den Typ der identifizierten Entity darstellt.
textSpan	Objekt	Ein Objekt, das den Textbereich darstellt. Enthält zwei erforderliche numerische Elemente: "offset" und "length".

JSON-Schema für Format von beschrifteten Datensätzen – Beispiel:

{
    "sourceDetails": {
      "path": "Complaint3.txt"
    },
    "annotations": [
      {
        "entities": [
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              },
              {
                "label_name": "Label2"
              }
            ],
            "textSpan": {
              "offset": 0,
              "length": 28
            }
          },
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              }
            ],
            "textSpan": {
              "offset": 196,
              "length": 11
            }
          }
        ]
      }
    ]
  }