Estágios de Cargas de Dados do Essbase

Você pode melhorar o desempenho de carregamentos de dados para cubos de armazenamento em blocos (BSO) do Essbase ao entender os estágios do processo de carregamento de dados e aprender a otimizar e paralelizar as tarefas.

Esta seção não se aplica a cubos de armazenamento agregado.

Carregar uma grande fonte de dados em um cubo do Essbase pode levar muito tempo. Você pode encurtar o processo minimizando o tempo que o Essbase gasta na leitura e análise dos dados de origem, bem como na leitura e gravação no cubo.

O Essbase carrega o bloco de dados por bloco. Para cada combinação exclusiva de membros de dimensão esparsa, um bloco de dados contém os dados de todas as combinações de dimensão densa, supondo que pelo menos uma célula contenha dados. Para acesso mais rápido a locais de bloco, o Essbase usa um índice. Cada entrada no índice corresponde a um bloco de dados. Consulte Dimensões Esparsas e Densas, Seleção de Dimensões Densas e Esparsas e Cenários de Seleção Densas e Esparsas.

O Essbase processa o carregamento de dados em um pipeline de cinco estágios.

Para o carregamento de dados de formato livre, os estágios são:

  1. Entrada — O Essbase coleta a entrada do arquivo ou da conexão SQL

  2. Tokenize — O Essbase separa os campos de entrada dos registros, criando tokens

  3. Converter—O Essbase converte tokens em itens de membro

  4. Preparação — O Essbase organiza os dados em preparação para colocá-los em blocos

  5. Gravação — O Essbase coloca os dados em blocos na memória e, em seguida, grava os blocos no disco, encontrando o bloco correto no disco usando o índice, que é composto de ponteiros baseados em interseções esparsas

Para o carregamento de dados baseado em arquivo de regras, os estágios são:

  1. Entrada — O Essbase coleta a entrada do arquivo ou da conexão SQL

  2. Pré-Regra — O Essbase lê registros de carregamento de dados

  3. Regra — O Essbase aplica regras, incorporadas no arquivo de regras, a registros de carregamento de dados

  4. Preparação — O Essbase organiza os dados em preparação para colocá-los em blocos

  5. Gravação — O Essbase coloca os dados em blocos na memória e, em seguida, grava os blocos no disco, encontrando o bloco correto no disco usando o índice, que é composto de ponteiros baseados em interseções esparsas

Observação:

Em bancos de dados de armazenamento agregado, o quinto estágio não se aplica.

Esse processo é repetido até que todos os dados sejam carregados. Usando um ou mais threads de processamento em cada estágio, o Essbase pode executar alguns processos em paralelo. Consulte Carregamento de Dados Paralelos.

Os exemplos deste capítulo pressupõem que você esteja familiarizado com as informações deste tópico: Origens de Dados.