Caricamento dati parallelo

Il caricamento parallelo dei dati può fare riferimento ai metodi di elaborazione dei thread paralleli disponibili per ottimizzare le cinque fasi della pipeline di caricamento dati. Può anche fare riferimento all'importazione contemporanea di più file di dati.

Parallelizza thread nella pipeline di caricamento dati

Un aspetto del caricamento dati parallelo descrive l'ottimizzazione della pipeline che è possibile ottenere utilizzando le impostazioni di configurazione DLTHREADSPREPARE e DLTHREADSWRITE. Sebbene il numero minimo e predefinito di thread allocati per un caricamento dati sia 5 (un thread per fase della pipeline), queste impostazioni consentono di aggiungere thread alle fasi selezionate della pipeline. Ad esempio, con la seguente configurazione, è possibile aumentare i thread utilizzati nelle fasi di preparazione e scrittura da 1 a 4 ciascuno: 


DLSINGLETHREADPERSTAGE Sample Basic FALSE
DLTHREADSPREPARE Sample Basic 4
DLTHREADSWRITE Sample Basic 4

Con la configurazione di cui sopra, il caricamento dei dati è impostato per essere eseguito con 11 thread.

Nota

Le operazioni di caricamento dei dati paralleli non creano i thread in modo dinamico, ma utilizzano un numero impostato di thread da un pool di thread creato in precedenza. È possibile personalizzare le dimensioni del pool di thread. Per ulteriori informazioni, vedere WORKERTHREADS.

Importa file di dati contemporaneamente

Un altro aspetto del caricamento dati parallelo fa riferimento al caricamento concorrente di più file di dati in un cubo Essbase. Quando si utilizzano set di dati di grandi dimensioni (ad esempio, un set di dieci file da 2 GB), il caricamento simultaneo delle origini dati consente di utilizzare completamente le risorse CPU e i canali di I/O dei server moderni con più processori e sottosistemi di storage ad alte prestazioni.

È inoltre possibile regolare il numero di thread utilizzati nei caricamenti di dati su più file. Ad esempio, se si specifica la configurazione precedente e si specificano anche due file di dati, vengono create due pipeline di caricamento dati, ognuna con 11 thread.

Per caricare i dati in parallelo, selezionare un'opzione:

  • Utilizzare i job nell'interfaccia Web di Essbase. Vedere Load Data.

  • Utilizzare Progettazione cubo. Fare riferimento alla sezione Carica dati in Cube Designer.

  • Utilizzare MaxL, specificando più file di dati nell'istruzione Importa dati utilizzando un carattere jolly (* e/o ?) per trovare la corrispondenza con tutti i file delle origini dati che si desidera utilizzare. Se necessario, controllare il numero di thread generati dal caricamento dati parallelo utilizzando la clausola using max_threads.