Modos de layout do arquivo

Você pode organizar os arquivos de origem do Oracle Object Storage, SFTP, Microsoft Azure em pastas padrão ou arquivos simples.

Tipos de Layout do Arquivo

Layout Ativar Layout de Arquivo Simples Layout de Origem
Pasta padrão falso Remote Host Extract Files Directory/datastore-name/data-files
Arquivo sem formatação verdadeiro Remote Host Extract Files Directory/data-files

Layout padrão de pasta

Use o layout de pasta padrão quando cada armazenamento de dados tiver sua própria pasta sob a pasta base configurada.

A pasta base do layout de pasta padrão deve corresponder ao caminho da pasta fornecido na configuração de conexão.

Dentro do layout de pasta padrão da pasta base:

  • Crie uma pasta para cada armazenamento de dados.
  • O nome da pasta do armazenamento de dados deve corresponder ao nome do armazenamento de dados.
  • Os nomes dos arquivos de dados devem começar com o nome do armazenamento de dados. Evite caracteres especiais, incluindo espaços, em nomes de armazenamento de dados, nomes de pastas e nomes de arquivos.

Exemplo de layout de pasta padrão:

<Remote Host Extract Files Directory>/
  META_DATASTORES.csv
  ACTIVITY_TYPES/
    ACTIVITY_TYPES.csv
    META_DATASTORES_ACTIVITY_TYPES_COL.csv

Na pasta base, crie o arquivo de metadados do armazenamento de dados, META_DATASTORES.csv, para listar os armazenamentos de dados suportados.

Nome da Coluna Obrigatório Descrição
DATA_STORE_NAME Sim Nome do armazenamento de dados. O nome do armazenamento de dados corresponde ao nome da pasta do armazenamento de dados.
DATA_STORE_LABEL Não Descrição ou rótulo de exibição para o armazenamento de dados.

Exemplo de arquivo META_DATASTORES.csv:


DATA_STORE_NAME,DATA_STORE_LABEL 

ACTIVITY_TYPES,Activity Types

Cada pasta de armazenamento de dados deve conter:

  • Um arquivo de dados que contém os dados a serem carregados no Fusion Data Intelligence.
  • Um arquivo de metadados de coluna que descreve as colunas no arquivo de dados.

O arquivo de dados deve começar com o nome do armazenamento de dados. Por exemplo, ACTIVITY_TYPES.csv e ACTIVITY_TYPES.xlsx

O arquivo de metadados da coluna deve usar o seguinte padrão de nomeação:

META_DATASTORES_<DATA_STORE_NAME>_COL.csv

Por exemplo, META_DATASTORES_ACTIVITY_TYPES_COL.csv

Layout de Arquivo Simples

Use o layout de arquivo simples quando o sistema de origem publicar todos os arquivos diretamente em uma pasta, em vez de criar uma pasta por armazenamento de dados.

Coloque todos os arquivos de dados diretamente no Remote Host Extract Files Directory configurado.

Exemplo de layout de arquivo simples:

<Remote Host Extract Files Directory>/
  OFFICE_BLDG.csv.zip
  OFFICE_BLDG_1.csv.zip
  CTLDA.csv.zip
  INVDA.csv.zip
  META_DATASTORES.csv

No layout de arquivo simples, os nomes de armazenamento de dados são derivados de nomes de arquivo.

Por exemplo:

Nome do Arquivo Armazenamento de Dados Identificado
OFFICE_BLDG.csv.zip ESCRITÓRIO_BLDG
Português (Brasil) CTLDA
INVDA.csv.zip COMPRAR

Observação:

Se você tiver vários arquivos simples para o mesmo armazenamento de dados, esses arquivos poderão ser tratados como arquivos de dados para o mesmo armazenamento de dados usando um delimitador de arquivo simples configurado. Se você precisar desse comportamento, crie uma solicitação de serviço (SR) no My Oracle Support.

Por exemplo, se o delimitador configurado for _, os seguintes arquivos serão tratados como arquivos para armazenamento de dados

OFFICE_BLDG.csv.zip
OFFICE_BLDG_1.csv.zip
OFFICE_BLDG_2.csv.zip

O layout de arquivo simples suporta dois padrões de extração de metadados:

  • Extração de metadados com META_DATASTORES.csv
  • Extração de metadados sem META_DATASTORES.csv

Para extração de Metadados com META_DATASTORES.csv no diretório raiz, META_DATASTORES.csv é usado como a lista de armazenamento de dados.

  • O extrator lê os nomes do armazenamento de dados de META_DATASTORES.csv.
  • A extração de metadados é executada apenas para armazenamentos de dados listados em META_DATASTORES.csv.
  • Os arquivos que não pertencem aos armazenamentos de dados listados são ignorados durante a extração de metadados.
  • Se um arquivo de metadados de coluna existir, ele será usado primeiro.
  • Se um arquivo de metadados de coluna não existir, os metadados de coluna poderão ser inferidos de um arquivo de dados correspondente.

Por exemplo, se META_DATASTORES.csv contiver apenas INCLUDED, o extrator processará INCLUDED_1.csv e ignorará EXCLUDED_1.csv.

  • META_DATASTORES.csv
  • INCLUÍDO.csv
  • EXCLUÍDO.csv

Para extração de Metadados sem META_DATASTORES.csv, o extrator descobre armazenamentos de dados de arquivos de dados elegíveis no diretório raiz.

Por exemplo, você tem estes arquivos:

  • OFFICE_BLDG.csv.zip
  • Português (Brasil)
  • INVDA.csv.zip

Os armazenamentos de dados descobertos são:

  • ESCRITÓRIO_BLDG
  • CTLDA
  • COMPRAR

Se os arquivos de metadados da coluna forem fornecidos em arquivos simples, coloque-os no diretório raiz usando este padrão de nomenclatura:

META_DATASTORES_<DATA_STORE_NAME>_COLS.csv

Quando o arquivo META_DATASTORES_<DATA_STORE_NAME>_COLS.csv está disponível, é preferível para metadados de coluna. Quando não estiver disponível, o extrator poderá inferir metadados de coluna de um arquivo de dados correspondente.