Carga de Dados Paralela

O carregamento de dados paralelo pode se referir aos métodos de processamento de thread paralelo disponíveis para você otimizar os cinco estágios do pipeline de carregamento de dados. Também pode se referir à importação simultânea de vários arquivos de dados.

Paralelizar Threads no Pipeline de Carregamento de Dados

Um aspecto do carregamento de dados paralelos descreve a otimização do pipeline que você pode obter usando as definições de configuração DLTHREADSPREPARE e DLTHREADSWRITE. Embora o número mínimo e padrão de threads alocados para um carregamento de dados seja 5 (um thread por estágio do pipeline), essas definições permitem que você adicione threads aos estágios selecionados no pipeline. Por exemplo, com a seguinte configuração, você pode aumentar os threads usados nos estágios Preparar e Gravar de 1 para 4 cada: 


DLSINGLETHREADPERSTAGE Sample Basic FALSE
DLTHREADSPREPARE Sample Basic 4
DLTHREADSWRITE Sample Basic 4

Com a configuração acima, o carregamento de dados é definido para ser executado com 11 threads.

Observação:

As operações de carregamento de dados paralelas não criam threads dinamicamente, mas usam um número definido de threads de um pool de threads pré-criado. Você pode personalizar o tamanho do pool de threads. Para obter mais informações, consulte WORKERTHREADS.

Importar Arquivos de Dados Simultaneamente

Outro aspecto do carregamento de dados paralelos refere-se ao carregamento simultâneo de vários arquivos de dados em um cubo do Essbase. Ao trabalhar com grandes conjuntos de dados (por exemplo, um conjunto de dez arquivos de 2 GB), carregar as origens de dados simultaneamente permite que você utilize totalmente os recursos da CPU e os canais de E/S de servidores modernos com vários processadores e subsistemas de armazenamento de alto desempenho.

Você também pode ajustar o número de threads usados em carregamentos de dados de vários arquivos. Por exemplo, especificar a configuração acima e também especificar dois arquivos de dados resulta na criação de dois pipelines de carregamento de dados, cada um com 11 threads.

Para carregar dados em paralelo, selecione uma opção:

  • Use Jobs na interface Web do Essbase. Consulte Carregar Dados.

  • Use o Designer de Cubo. Consulte Load Data in Cube Designer.

  • Use MaxL, especificando vários arquivos de dados para a instrução import data usando um caractere curinga (* e/ou ?) para corresponder a todos os arquivos de origens de dados que você pretende usar. Se necessário, controle o número de threads gerados pelo carregamento de dados paralelo, usando a cláusula usando max_threads.