Conjuntos de Dados do Modelo Personalizado

• A primeira linha deve ser um cabeçalho contendo os seguintes nomes de duas colunas:

  • text: captura o texto a ser classificado.
  • labels: captura uma ou mais classes atribuídas. Para conjuntos de dados de classificação com vários rótulos, é possível especificar vários nomes de classe unindo-os com o símbolo |.
• Todas as linhas após a linha do cabeçalho contêm registros de treinamento.
• Se o arquivo tiver mais de duas colunas, somente as colunas text e labels serão usadas para treinar o modelo.

• Para a codificação do arquivo CSV, use UTF-8. Ao usar o Excel, salve o arquivo como CSV UTF-8 (Delimitado por vírgula) (.csv).

• Para delimitador, use vírgula (,).
• Para caractere de escape, use aspas duplas ("), também conhecidas com o caractere Unicode U+0022.

  Por exemplo, no Excel, se você digitar o seguinte texto:

  This is a "double quote" sentence

  A frase anterior é armazenada no CSV da seguinte forma:

  "This is a ""double quote"" sentence"

Exemplo de arquivo CSV para Classificação de Texto de rótulo único:

text,labels
Windows OS -unable to print,Network Printer Failure
Citrix Account frequently locking,Account (Password reset)
Pull print queue not working ,Application Component Disconnect
wifi disable and lan is disconnected at the desktop,Hardware Device Failure

Windows OS -unable to print,Network Printer Failure
Pull print queue not working ,Application Component Disconnect|Network Printer Failure
wifi disable and lan is disconnected at the desktop,Hardware Device Failure|Network Connection Issue

O arquivo JSON não inclui os dados de treinamento. Em vez disso, o arquivo JSON é um arquivo de manifesto que contém rótulos e ponteiros (caminhos relativos) para arquivos com dados não rotulados.

O formato JSON é um formato de Linhas JSON (JSONL), em que cada linha é um único objeto JSON:

• A primeira linha no objeto descreve o conjunto de rótulos ou classes e o tipo de arquivo de anotação.
• Todas as linhas subsequentes descrevem um registro de treinamento.

• Salve todos os arquivos de texto no mesmo diretório que o arquivo de manifesto (.jsonl) e os registros de treinamento nomeiam os arquivos.

1. A primeira linha é uma linha de cabeçalho. Ele contém um objeto JSON que descreve o tipo de arquivo.
2. Qualquer linha subsequente contém um objeto JSON que representa um registro rotulado.

{
    "labelsSet": [
      {
        "name": "Label1"
      },
      {
        "name": "Label2"
      },
      {
        "name": "Label3"
      },
      {
        "name": "Label4"
      }
    ],
    "annotationFormat": "ENTITY_EXTRACTION",
    "datasetFormatDetails": {
      "formatType": "TEXT"
    }
  }

{
    "sourceDetails": {
      "path": "Complaint3.txt"
    },
    "annotations": [
      {
        "entities": [
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              },
              {
                "label_name": "Label2"
              }
            ],
            "textSpan": {
              "offset": 0,
              "length": 28
            }
          },
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              }
            ],
            "textSpan": {
              "offset": 196,
              "length": 11
            }
          }
        ]
      }
    ]
  }