Jeux de données de modèle personnalisé

• La première ligne doit être un en-tête contenant les noms de deux colonnes suivants :

  • text : capture le texte à classer.
  • labels : capture des classes affectées. Pour les ensembles de données de classification à plusieurs étiquettes, vous pouvez spécifier plusieurs noms de classe en les joignant avec le symbole |.
• Toutes les lignes après la ligne d'en-tête contiennent des enregistrements de formation.
• Si le fichier comporte plus de deux colonnes, seules les colonnes text et labels sont utilisées pour entraîner le modèle.

• Pour l'encodage du fichier CSV, utilisez UTF-8. Lorsque vous utilisez Excel, enregistrez le fichier au format CSV UTF-8 (délimité par des virgules) (.csv).

• Pour le délimiteur, utilisez la virgule (,).
• Pour le caractère d'échappement, utilisez un guillemet double ("), également connu avec le caractère Unicode de U+0022.

  Par exemple, dans Excel, si vous saisissez le texte suivant :

  This is a "double quote" sentence

  La phrase précédente est stockée dans le fichier CSV comme suit :

  "This is a ""double quote"" sentence"

Exemple de fichier CSV pour la classification de texte à libellé unique :

text,labels
Windows OS -unable to print,Network Printer Failure
Citrix Account frequently locking,Account (Password reset)
Pull print queue not working ,Application Component Disconnect
wifi disable and lan is disconnected at the desktop,Hardware Device Failure

Windows OS -unable to print,Network Printer Failure
Pull print queue not working ,Application Component Disconnect|Network Printer Failure
wifi disable and lan is disconnected at the desktop,Hardware Device Failure|Network Connection Issue

Le fichier JSON n'inclut pas les données d'entraînement. Au lieu de cela, le fichier JSON est un fichier manifeste qui contient des libellés et des pointeurs (chemins relatifs) vers des fichiers avec des données sans étiquette.

Le format JSON est un format de lignes JSON (JSONL), où chaque ligne est un objet JSON unique :

• La première ligne de l'objet décrit l'ensemble de libellés ou de classes et le type de fichier d'annotation.
• Toutes les lignes suivantes décrivent un enregistrement de formation.

• Enregistrez tous les fichiers texte dans le même répertoire que le fichier manifeste (.jsonl) et demandez aux enregistrements d'entraînement de nommer les fichiers.

1. La première ligne est une ligne d'en-tête. Il contient un objet JSON qui décrit le type de fichier.
2. Toute ligne suivante contient un objet JSON qui représente un enregistrement étiqueté.

{
    "labelsSet": [
      {
        "name": "Label1"
      },
      {
        "name": "Label2"
      },
      {
        "name": "Label3"
      },
      {
        "name": "Label4"
      }
    ],
    "annotationFormat": "ENTITY_EXTRACTION",
    "datasetFormatDetails": {
      "formatType": "TEXT"
    }
  }

{
    "sourceDetails": {
      "path": "Complaint3.txt"
    },
    "annotations": [
      {
        "entities": [
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              },
              {
                "label_name": "Label2"
              }
            ],
            "textSpan": {
              "offset": 0,
              "length": 28
            }
          },
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              }
            ],
            "textSpan": {
              "offset": 196,
              "length": 11
            }
          }
        ]
      }
    ]
  }