Chargement parallèle de données

Le chargement de données en parallèle peut faire référence aux méthodes de traitement de threads en parallèle disponibles pour optimiser les cinq étapes du pipeline de chargement de données. Il peut également faire référence à l'importation simultanée de plusieurs fichiers de données.

Mettre en parallèle les threads dans le pipeline de chargement de données

Un aspect du chargement de données en parallèle décrit l'optimisation du pipeline que vous pouvez réaliser à l'aide des paramètres de configuration DLTHREADSPREPARE et DLTHREADSWRITE. Bien que le nombre minimal et le nombre par défaut de threads alloués pour un chargement de données soit de 5 (un thread par étape du pipeline), ces paramètres vous permettent d'ajouter des threads aux étapes sélectionnées dans le pipeline. Par exemple, avec la configuration suivante, vous pouvez augmenter de 1 à 4 les threads utilisés dans les phases de préparation et d'écriture : 


DLSINGLETHREADPERSTAGE Sample Basic FALSE
DLTHREADSPREPARE Sample Basic 4
DLTHREADSWRITE Sample Basic 4

Avec la configuration ci-dessus, le chargement des données est configuré pour s'exécuter avec 11 threads.

Remarques :

Les opérations de chargement de données parallèles ne créent pas de threads de manière dynamique, mais utilisent un nombre défini de threads provenant d'un pool de threads pré-créé. Vous pouvez personnaliser la taille du pool de threads. Pour plus d'informations, reportez-vous à la section WORKERTHREADS.

Importer des fichiers de données simultanément

Un autre aspect du chargement de données en parallèle concerne le chargement simultané de plusieurs fichiers de données dans un cube Essbase. Lorsque vous utilisez des ensembles de données volumineux (par exemple, un ensemble de dix fichiers de 2 Go), le chargement simultané des sources de données vous permet d'utiliser pleinement les ressources CPU et les canaux d'E/S des serveurs modernes avec plusieurs processeurs et sous-systèmes de stockage hautes performances.

Vous pouvez également ajuster le nombre de threads utilisés dans les chargements de données à plusieurs fichiers. Par exemple, la spécification de la configuration ci-dessus tout en spécifiant deux fichiers de données entraîne la création de deux pipelines de chargement de données, chacun ayant 11 threads.

Pour charger des données en parallèle, sélectionnez une option :

  • Utilisez les travaux dans l'interface Web Essbase. Reportez-vous à Charger les données.

  • Utilisez le concepteur de cubes. Reportez-vous à la section Charger des données dans le concepteur de cubes.

  • Utilisez MaxL, en spécifiant plusieurs fichiers de données dans l'instruction import data à l'aide d'un caractère générique (* et/ou ?) pour mettre en correspondance tous les fichiers de sources de données que vous prévoyez d'utiliser. Si nécessaire, contrôlez le nombre de threads générés par le chargement de données en parallèle à l'aide de la clause using max_threads.