Etapas de cargas de datos de Essbase

Puede mejorar el rendimiento de las cargas de datos en cubos de almacenamiento de bloques (BSO) de Essbase al comprender las etapas del proceso de carga de datos y aprender a optimizar y paralelizar las tareas.

Esta sección no se aplica a los cubos de almacenamiento agregado.

La carga de un gran origen de datos en un cubo de Essbase puede tardar mucho tiempo. Puede acortar el proceso minimizando el tiempo que Essbase dedica a leer y analizar los datos de origen, así como a leer y escribir en el cubo.

Essbase carga el bloque de datos por bloque. Para cada combinación única de miembros de dimensión dispersos, un bloque de datos contiene los datos de todas las combinaciones de dimensiones densas, suponiendo que al menos una celda contenga datos. Para un acceso más rápido a las ubicaciones de bloques, Essbase utiliza un índice. Cada entrada del índice corresponde a un bloque de datos. Consulte Dimensiones densa y densa, Selección de dimensiones densa y ligera y Escenarios de selección densa y ligera.

Essbase procesa la carga de datos en un pipeline de cinco etapas.

Para la carga de datos de formato libre, las etapas son:

Entrada: Essbase recopila la entrada del archivo o de la conexión SQL
Tokenize: Essbase separa los campos de entrada de los registros, creando tokens
Convertir: Essbase convierte los tokens en elementos miembros.
Preparación: Essbase organiza los datos como preparación para ponerlos en bloques.
Escritura: Essbase coloca los datos en bloques de la memoria y, a continuación, escribe los bloques en el disco, buscando el bloque correcto en el disco mediante el índice, que se compone de punteros basados en intersecciones dispersas.

Para la carga de datos basada en archivos de reglas, las etapas son:

Entrada: Essbase recopila la entrada del archivo o de la conexión SQL
Pre-Regla: Essbase lee los registros de carga de datos
Regla: Essbase aplica reglas incrustadas en el archivo de reglas a los registros de carga de datos.
Preparación: Essbase organiza los datos como preparación para ponerlos en bloques.
Escritura: Essbase coloca los datos en bloques de la memoria y, a continuación, escribe los bloques en el disco, buscando el bloque correcto en el disco mediante el índice, que se compone de punteros basados en intersecciones dispersas.

Note:

En las bases de datos de almacenamiento agregado, no se aplica la quinta etapa.

Este proceso se repite hasta que se cargan todos los datos. Mediante el uso de uno o más threads de procesamiento en cada etapa, Essbase puede realizar algunos procesos en paralelo. Consulte Carga de datos en paralelo.

En los ejemplos de este capítulo, se asume que está familiarizado con la información de este tema: Orígenes de datos.