Carga de datos paralela

La carga de datos en paralelo puede hacer referencia a los métodos de procesamiento de thread en paralelo disponibles para optimizar las cinco etapas del pipeline de carga de datos. También puede hacer referencia a la importación simultánea de varios archivos de datos.

Creación en Paralelo de Threads en el Pipeline de Carga de Datos

Un aspecto de la carga de datos paralela describe la optimización del pipeline que puede lograr mediante los valores de configuración DLTHREADSPREPARE y DLTHREADSWRITE. Mientras que el número mínimo y por defecto de threads asignados para una carga de datos es 5 (un thread por etapa del pipeline), esta configuración permite agregar threads a las etapas seleccionadas en el pipeline. Por ejemplo, con la siguiente configuración, puede aumentar los threads utilizados en las etapas Preparar y Escribir de 1 a 4 cada una: 


DLSINGLETHREADPERSTAGE Sample Basic FALSE
DLTHREADSPREPARE Sample Basic 4
DLTHREADSWRITE Sample Basic 4

Con la configuración anterior, la carga de datos se define para ejecutarse con 11 threads.

Note:

Las operaciones de carga de datos paralelas no crean threads de forma dinámica, sino que utilizan un número definido de threads de un pool de threads creado previamente. Puede personalizar el tamaño del pool de threads. Para obtener más información, consulte WORKERTHREADS.

Importación simultánea de archivos de datos

Otro aspecto de la carga de datos paralela hace referencia a la carga simultánea de varios archivos de datos en un cubo de Essbase. Al trabajar con grandes conjuntos de datos (por ejemplo, un conjunto de diez archivos de 2 GB), la carga de los orígenes de datos al mismo tiempo le permite utilizar por completo los recursos de CPU y los canales de E/S de los servidores modernos con varios procesadores y subsistemas de almacenamiento de alto rendimiento.

También puede ajustar el número de threads utilizados en cargas de datos de varios archivos. Por ejemplo, si se especifica la configuración anterior y también se especifican dos archivos de datos, se crean dos pipelines de carga de datos, cada uno con 11 threads.

Para cargar datos en paralelo, seleccione una opción:

  • Utilice Trabajos en la interfaz web de Essbase. Consulte Carga de datos.

  • Utilice el diseñador de cubos. Consulte Carga de datos en el diseñador de cubos.

  • Utilice MaxL, especificando varios archivos de datos para la sentencia import data mediante un carácter comodín (* y/o ?) para que coincidan con todos los archivos de orígenes de datos que desea utilizar. Si es necesario, controle el número de threads generados por la carga de datos paralela mediante la cláusula using max_threads.