Configurando Controles do Batch de Carregamento de Dados para Projeto de Conversão

O processo em batch genérico K1-CNVLD executa o carregamento dos arquivos de dados de entrada em uma tabela ou um objeto de manutenção de destino especificado como um dos parâmetros do batch.

Considere a criação de controles do batch individuais por objeto (tabela ou objeto de manutenção).

Isso permite a implantação do recurso de processamento paralelo no sistema; os processos de carregamento de dados de todos os objetos podem ser enviados quase que simultaneamente, minimizando o tempo necessário para o upload dos dados legados, que é apenas uma etapa inicial de todo o processo de conversão de dados.

Use o controle do loteK1-CNVLD para testar a execução do batch de carregamento em várias tabelas e/ou objetos de manutenção e determinar a estratégia ideal de carregamento:

  • Se os dados devem ser extraídos e carregados como Tabelas e/ou Objetos de Manutenção individuais

  • Se os arquivos de dados devem ser divididos, como fazer essa divisão e o número de threads para o batch

  • Tamanho potencial do arquivo de log e o nível adequado de registro em log

Configure os Controles do Batch de carregamento de dados para cada Tabela ou Objeto de Manutenção individual. Padronize a configuração após K1-CNVLD e defina os valores de parâmetro padrão para:

  • Locais de Armazenamento de Arquivos Arquivados, de Entrada e de Saída. O local (compartimentos e buckets) deve ser definido antecipadamente no armazenamento de objetos na nuvem; os parâmetros de batch estão fazendo referência aos valores da Pesquisa Extensível F1-FileStorage correspondentes a esses locais. O valor do parâmetro deve ser composto como file-storage://<Extendable Lookup Value>/<object storage bucket name>, por exemplo: file-storage://OS-SHARED/CONV-Input.

  • Tabela de Destino ou Objeto de Manutenção Um desses dois parâmetros deve ser preenchido.

  • Extensão do Arquivo. Ao especificar a extensão de arquivo, inclua todas as extensões disponíveis. Por exemplo, se o nome do arquivo for XXX.csv.gz, insira o valor do parâmetro csv.gz .

  • Nível do Log. Especifique o valor LOG para forçar o Carregador SQL a produzir o log mais detalhado do processo de upload de dados.

  • Reter Opção de Entrada. Este parâmetro controla se os arquivos de dados de entrada originais devem ser deixados como estão no local de dados de entrada ou expurgados do armazenamento de objetos ou movidos para o local de dados arquivados. Quando os dados de entrada são arquivados, o timestamp é anexado ao nome do arquivo original.
    Observação: Observação: se o processo batch não puder fazer upload do arquivo de dados de entrada, esse arquivo permanecerá no local de dados de entrada.

  • Número Máximo de Erros de Upload

    O valor desse parâmetro pertence ao limite de erros desejado para o SQL Loader. O processo de carregamento é interrompido depois que o número especificado de registros com erro é atingido. O log do SQL Loader contém uma mensagem SKIPPED=NNN, em que NNN marca a posição do último registro com erro no arquivo de dados de entrada. O processo poderá ser retomado dessa posição se o lote for enviado com o parâmetro skip preenchido com o valor de SKIPPED do log.

A Contagem de Threads padrão depende do tipo da tabela carregada. É possível fazer upload de tabelas regulares em um único ou em vários threads. As tabelas de chave devem ser carregadas em um único thread.