Il pacchetto DBMS_CLOUD_PIPELINE fornisce le procedure per la creazione, la configurazione, il test e l'avvio di una pipeline. Il ciclo di vita e le procedure della pipeline sono gli stessi sia per le pipeline di caricamento che per quelle di esportazione.

Per entrambi i tipi di pipeline, eseguire i passi riportati di seguito per creare e utilizzare una pipeline.

1. Creare e configurare la pipeline. Per ulteriori informazioni, vedere Creazione e configurazione di pipeline.

2. Eseguire il test di una nuova pipeline. Per ulteriori informazioni, vedere Test delle pipeline.

3. Avviare una pipeline. Per ulteriori informazioni, vedere Avvia una pipeline.

È inoltre possibile monitorare, arrestare o eliminare le pipeline:

• Durante l'esecuzione di una pipeline, durante il test o durante l'uso regolare dopo l'avvio della pipeline, è possibile monitorarla. Per ulteriori informazioni, vedere Monitoraggio e risoluzione dei problemi delle pipeline.

• È possibile arrestare una pipeline e avviarla di nuovo in un secondo momento oppure eliminarla al termine dell'utilizzo della pipeline. Per ulteriori informazioni, vedere Arresta una pipeline e Elimina una pipeline.

Una pipeline di caricamento funziona come indicato di seguito (alcune di queste funzioni sono configurabili utilizzando gli attributi della pipeline):

• I file dell'area di memorizzazione degli oggetti vengono caricati in parallelo in una tabella di database.

  • Una pipeline di caricamento utilizza il nome file dell'area di memorizzazione degli oggetti per identificare e caricare in modo univoco i file più recenti.
  • Una volta caricato un file nell'area di memorizzazione degli oggetti nella tabella del database, se il contenuto del file cambia nell'area di memorizzazione degli oggetti, non verrà caricato di nuovo.
  • Se il file dell'area di memorizzazione degli oggetti viene eliminato, non influisce sui dati nella tabella del database.

• Se si verificano errori, una pipeline di caricamento riesegue automaticamente l'operazione. I nuovi tentativi vengono tentati a ogni esecuzione successiva del job pianificato della pipeline.

• Nei casi in cui i dati in un file non sono conformi alla tabella di database, vengono contrassegnati come FAILED e possono essere rivisti per eseguire il debug e risolvere il problema.

  • Se un file non viene caricato, la pipeline non si arresta e continua a caricare gli altri file.

• Le pipeline di caricamento supportano più formati di file di input, tra cui JSON, CSV, XML, Avro, ORC e Parquet.

La migrazione da database non Oracle è uno dei possibili casi d'uso per una pipeline di caricamento. Quando è necessario eseguire la migrazione dei dati da un database non Oracle a Oracle Autonomous Database, è possibile estrarli e caricarli in Autonomous Database (il formato Oracle Data Pump non può essere utilizzato per le migrazioni da database non Oracle). Utilizzando un formato file generico, ad esempio CSV, per esportare i dati da un database non Oracle, è possibile salvare i dati nei file e caricarli nell'area di memorizzazione degli oggetti. Successivamente, creare una pipeline per caricare i dati in Autonomous Database. L'utilizzo di una pipeline di caricamento per caricare un set di file CSV di grandi dimensioni offre importanti vantaggi quali la tolleranza agli errori e le operazioni di ripresa e nuovo tentativo. Per una migrazione con un data set di grandi dimensioni, è possibile creare più pipeline, una per tabella per i file di database non Oracle, per caricare i dati in Autonomous Database.

Utilizzare una pipeline di esportazione per l'esportazione incrementale continua dei dati dal database all'area di memorizzazione degli oggetti. Una pipeline di esportazione identifica periodicamente i dati dei candidati e carica i dati nell'area di memorizzazione degli oggetti.

Sono disponibili tre opzioni della pipeline di esportazione (le opzioni di esportazione sono configurabili mediante gli attributi della pipeline):

• Esporta i risultati incrementali di una query nell'area di memorizzazione degli oggetti utilizzando una colonna data o indicatore orario come chiave per tenere traccia dei dati più recenti.

• Esporta i dati incrementali di una tabella nell'area di memorizzazione degli oggetti utilizzando una colonna data o indicatore orario come chiave per tenere traccia dei dati più recenti.

• Esportare i dati di una tabella nell'area di memorizzazione degli oggetti utilizzando una query per selezionare i dati senza un riferimento a una colonna data o indicatore orario (in modo che la pipeline esporta tutti i dati selezionati dalla query per ogni esecuzione dello scheduler).

Le pipeline di esportazione dispongono delle funzioni seguenti (alcune di queste sono configurabili mediante gli attributi della pipeline):

• I risultati vengono esportati in parallelo all'area di memorizzazione degli oggetti.

• In caso di errori, un job pipeline successivo ripete l'operazione di esportazione.

• Le pipeline di esportazione supportano più formati di file di esportazione, tra cui CSV, JSON, Parquet o XML.

Autonomous Database fornisce pipeline integrate per l'esportazione dei log nell'area di memorizzazione degli oggetti. Queste pipeline sono preconfigurate e possono essere avviate dall'utente ADMIN.

Le pipeline gestite da Oracle sono:

• ORA$AUDIT_EXPORT: questa pipeline esporta i log di audit del database nell'area di memorizzazione degli oggetti in formato JSON ed esegue ogni 15 minuti dopo l'avvio della pipeline (in base al valore dell'attributo interval).

• ORA$APEX_ACTIVITY_EXPORT: questa pipeline esporta il log attività dell'area di lavoro Oracle APEX nell'area di memorizzazione degli oggetti in formato JSON. Questa pipeline è preconfigurata con la query SQL per il recupero dei record di attività APEX ed è eseguita ogni 15 minuti dopo l'avvio della pipeline (in base al valore dell'attributo interval).

Le pipeline gestite da Oracle sono di proprietà dell'utente ADMIN e gli attributi delle pipeline gestite da Oracle possono essere modificati dall'utente ADMIN.

Per impostazione predefinita, le pipeline gestite da Oracle utilizzano OCI$RESOURCE_PRINCIPAL come credential_name.

Per ulteriori informazioni, vedere Usa pipeline gestite da Oracle.