Introduzione a Data Integration

Prima di creare un'area di lavoro Integrazione dati, esaminare i prerequisiti e l'elenco dei task di cui il cliente è responsabile.

Elenco di controllo responsabilità cliente

Nella tenancy è necessario disporre delle risorse e dei criteri minimi riportati di seguito. Se non si dispone dei diritti appropriati, chiedere all'amministratore di crearli automaticamente.

Informazioni preliminari

Prima di avviare l'impostazione del servizio Integrazione dati per l'uso, è necessario disporre dei seguenti elementi:

Un account Oracle Cloud Infrastructure con privilegi di amministratore
Accesso al servizio Data Integration

Elenco task cliente

In questa sezione vengono riepilogate le responsabilità dei clienti di Data Integration prima di impostare e utilizzare Data Integration per la prima volta.


Attività	descrizione;
Crea le risorse Oracle Cloud Infrastructure per le tue attività di Data Integration	Nel servizio Oracle Cloud Infrastructure Identity and Access Management (IAM) con i domini di Identity, creare i compartimenti, gli utenti e i gruppi di utenti. Gestione dei compartimenti Gestione degli utenti Gestione dei gruppi
Configurare i componenti di rete per le origini dati	Puoi impostare reti cloud virtuali (VCN) e subnet in Oracle Cloud Infrastructure Networking per Data Integration. Sono supportate solo le subnet regionali e i nomi host DNS devono essere utilizzati nelle subnet. A seconda della posizione delle origini dati in uso, potrebbe essere necessario creare altri oggetti di rete quali i gateway dei servizi, i gruppi di sicurezza di rete e i gateway NAT (Network Address Translation). Panoramica sul networking VCN e subnet Per le origini dati in una rete privata, creare una VCN con almeno una subnet regionale.
Creare criteri per accedere e utilizzare Data Integration	Nel servizio Oracle Cloud Infrastructure Identity and Access Management (IAM) con i domini di Identity, creare i criteri necessari che concedono a gruppi di utenti l'accesso appropriato alle risorse di Data Integration. Data Integration deve inoltre disporre dell'autorizzazione per gestire le reti virtuali e le subnet impostate per l'integrazione. Per riferimenti ed esempi, vedere Criteri di integrazione dati, nonché assicurarsi di comprendere la relazione tra Autorizzazioni e verbi.
Creare un'area di lavoro	Quando si crea un'area di lavoro in Data Integration, è possibile abilitare la rete privata impostata. Dopo aver creato un'area di lavoro, vedere Attività utente di integrazione dati standard come guida.

Vedere anche Sicurezza dei dati.

Elenco di controllo responsabilità condivise

Scopri come i task di gestione del piano di controllo e del piano dati per l'integrazione dei dati vengono condivisi tra Oracle e tu, il cliente.

In generale, il piano di controllo è responsabile del provisioning delle risorse OCI e della gestione delle operazioni sui metadati per ottenere, creare, aggiornare ed eliminare le aree di lavoro di Data Integration. Il piano dati è responsabile delle operazioni di progettazione e runtime relative ad asset dati, flussi di dati, pipeline, task e applicazioni in Data Integration.


Attività	Specificare gli utenti	descrizione;
Provisioning delle risorse dell'area di lavoro	Oracle e cliente	Oracle è responsabile del provisioning delle risorse Oracle Cloud Infrastructure per le aree di lavoro di Data Integration, incluse le istanze di computazione e la relativa connettività a una subnet (se fornita) tramite una VNIC secondaria. Il cliente è responsabile di: Impostazione anticipata delle risorse dell'infrastruttura, ad esempio creazione di un compartimento e di risorse di rete. Per creare le aree di lavoro di Data Integration necessarie, specificare le caratteristiche di configurazione appropriate. Per l'elenco delle responsabilità cliente per l'impostazione del servizio Integrazione dati prima del primo utilizzo, vedere Elenco di controllo responsabilità cliente.
Backup e ripristino di aree di lavoro e applicazioni	Oracle e cliente	Oracle esegue il backup continuo dei contenuti per eseguire il recupero in seguito a calamità dei metadati delle risorse del servizio Data Integration e solo il funzionamento del servizio. Tali backup includono i backup dell'area di lavoro del cliente, ma i backup non sono resi disponibili ai clienti. Il cliente è responsabile dell'esecuzione dei backup dei dati dell'applicazione copiando le applicazioni nella stessa area di lavoro, in un'altra area di lavoro o in un altro compartimento. Ciò è particolarmente importante per il disaster recovery tra più aree.
Applicazione di patch e aggiornamento del servizio	Oracle	Oracle è responsabile dell'applicazione di patch e dell'aggiornamento del servizio Data Integration e dei relativi componenti agente.
Ridimensionamento	Oracle	Oracle è responsabile del ridimensionamento dei piani di controllo e dati. Il cliente può richiedere il ridimensionamento delle risorse OCI nel piano dati per il calcolo degli agenti.
Monitoraggio stato	Oracle e cliente	Oracle è responsabile del monitoraggio dello stato delle risorse dell'area di lavoro e della loro disponibilità. L'utente, il cliente, è responsabile del monitoraggio dello stato e delle prestazioni di task e applicazioni a tutti i livelli, inclusa la disponibilità delle risorse dipendenti a cui viene fatto riferimento nel piano dati durante le esecuzioni dei task.
Sicurezza dell'applicazione	Oracle e cliente	Oracle garantisce che i dati memorizzati in OCI siano cifrati e garantisce che le connessioni a Data Integration richiedano la cifratura SSL. Tu, il cliente, sei responsabile della sicurezza delle applicazioni a tutti i livelli. Questa responsabilità include l'accesso alle risorse dell'area di lavoro, l'accesso di rete a tali risorse e l'accesso ai dati dipendenti.
Audit	Oracle e cliente	Oracle è responsabile della registrazione delle chiamate API REST effettuate alle risorse dell'area di lavoro e della disponibilità di tali log a scopo di audit. L'utente è responsabile della configurazione dell'accesso ai log di controllo nel servizio di log di controllo e dell'utilizzo dei log per controllare l'uso e monitorare l'attività all'interno della tenancy.
Avvisi e notifiche	Oracle e cliente	Oracle fornisce eventi e notifiche di servizio. L'utente è responsabile della configurazione di avvisi e notifiche per gli eventi di servizio e del monitoraggio degli avvisi che potrebbero essere di interesse.

Creazione delle risorse

Per creare risorse per le attività di Data Integration, procedere come segue.

Creare un compartimento nella tenancy per le attività di Data Integration.

Per ulteriori informazioni, vedere Gestione dei compartimenti.
Se le origini dati si trovano in una rete privata, creare una VCN con almeno una subnet nel compartimento.

Nota

La VCN e la subnet create qui sono quelle selezionate quando si crea un'area di lavoro. La subnet deve essere regionale e comprendere tutti i domini di disponibilità.

Se la subnet non è elencata, tornare indietro e verificare che sia stata creata come subnet regionale.

Per ulteriori informazioni, vedere VCN e subnet.
Creare un gruppo per gli utenti responsabili delle aree di lavoro, quindi aggiungere utenti al gruppo.

Prendere nota del nome del gruppo. I criteri per il gruppo vengono creati nella sezione successiva. Per ulteriori informazioni, vedere Gestione dei gruppi.

Creazione dei criteri

Per controllare l'accesso degli utenti non amministratori alle risorse e alle funzioni di Data Integration, è possibile creare gruppi in Oracle Cloud Infrastructure Identity and Access Management (IAM) con i domini di Identity. Quindi si scrivono i criteri IAM che forniscono ai gruppi l'accesso appropriato.

È possibile utilizzare i modelli di criteri di Data Integration in IAM Policy Builder per creare un criterio oppure immettere manualmente le istruzioni dei criteri nell'editor manuale. Per informazioni sull'utilizzo di Policy Builder e dei modelli di criteri, vedere Scrittura delle istruzioni dei criteri con Policy Builder.

Per comprendere la sintassi utilizzata per scrivere un'istruzione dei criteri, vedere Sintassi dei criteri. Assicurarsi di aver compreso la relazione tra Autorizzazioni e verbi.

È possibile creare la maggior parte dei criteri di integrazione dei dati a livello di tenancy o a livello di compartimento. Di seguito sono riportati alcuni esempi dei criteri che è possibile modificare per soddisfare le esigenze di accesso.

Per ulteriori esempi e riferimenti, vedere Criteri di integrazione dei dati.

Nota

Dopo aver aggiunto i componenti IAM, ad esempio i gruppi dinamici e le istruzioni dei criteri, non provare a eseguire immediatamente i task associati. I nuovi criteri IAM richiedono da cinque a 10 minuti per diventare effettivi.

Per aree di lavoro

Per creare e utilizzare le aree di lavoro

Creare spazi di lavoro

Questo criterio consente a un gruppo di creare aree di lavoro di Data Integration.

allow group <group-name> to manage dis-workspaces in compartment <compartment-name>

Gli utenti che dispongono dell'autorizzazione inspect possono elencare solo dis-workspaces. Gli utenti che dispongono dell'autorizzazione manage per dis-workspaces possono creare ed eliminare aree di lavoro. Gli utenti che dispongono dell'autorizzazione use possono eseguire attività di integrazione solo all'interno delle aree di lavoro. Visualizzare altri esempi per creare un criterio per requisiti specifici.

Controlla stato di creazione dell'area di lavoro

Questo criterio consente a un gruppo di controllare lo stato durante la creazione di un'area di lavoro.

allow group <group-name> to manage dis-work-requests in compartment <compartment-name>

Visualizza nomi utente

Questo criterio fornisce l'accesso a Integrazione dati per elencare i nomi degli utenti nel campo Autore creazione quando creano progetti, asset dati e applicazioni nell'area di lavoro.

allow service dataintegration to inspect users in tenancy

Limita gruppo a una singola area di lavoro

Dopo aver creato aree di lavoro, è possibile consentire a un gruppo specifico di gestire un'area di lavoro specifica e non un'altra area di lavoro:

allow group <group-name> to manage dis-workspaces in compartment <compartment-name> where target.workspace.id = '<workspace-ocid>'

Sposta compartimenti

Questo criterio fornisce l'accesso a Data Integration per spostare un'area di lavoro da un compartimento a un altro compartimento di destinazione.

allow service dataintegration to inspect compartments in compartment <target-compartment-name>

Sposta aree di lavoro

Questo criterio consente a un gruppo di spostare le aree di lavoro di Data Integration.

allow group <group-name> to manage dis-workspaces in compartment <source-compartment-name>

allow group <group-name> to manage dis-workspaces in compartment <target-compartment-name>

Tag

Questo criterio consente a un gruppo di gestire gli spazi di nomi tag e le tag nelle aree di lavoro di Data Integration.

allow group <group-name> to manage tag-namespaces in compartment <compartment-name>

Per aggiungere una tag definita, è necessario disporre dell'autorizzazione per utilizzare lo spazio di nomi tag. Per ulteriori informazioni sull'applicazione di tag, vedere Tag risorsa.

Cerca

Questi criteri consentono l'accesso a Data Integration per la ricerca all'interno delle aree di lavoro nella tenancy.

allow service dataintegration to {TENANCY_INSPECT} in tenancy

allow service dataintegration to {DIS_METADATA_INSPECT} in tenancy

Calcola dimensione subnet

Durante la creazione di un'area di lavoro per la quale è abilitata la rete privata, per verificare se la subnet dispone di indirizzi IP sufficienti da allocare, aggiungere il criterio seguente:

allow group <group_name> to inspect instance-family in compartment <compartment_name>

Per limitare l'autorizzazione a una chiamata API specifica, aggiungere il criterio seguente:

allow group <group_name> to inspect instance-family in compartment <compartment_name> where ALL {request.operation = 'ListVnicAttachments'}

Per abilitare la rete privata

L'integrazione dei dati può trovarsi in una tenancy diversa rispetto alle risorse dati. Per eseguire un task, Data Integration invia una richiesta alla tenancy. In cambio, è necessario concedere l'autorizzazione Data Integration per gestire le reti virtuali impostate per l'integrazione. Creare aree di lavoro di Data Integration nella stessa area della rete e accedere in modo sicuro alla rete tramite indirizzi IP privati. Senza un criterio per accettare questa richiesta, l'integrazione dei dati non riesce.

allow service dataintegration to use virtual-network-family in compartment <compartment-name>

Il criterio riportato di seguito concede a un gruppo l'autorizzazione per gestire le risorse di rete nel compartimento.

allow group <group-name> to manage virtual-network-family in compartment <compartment-name>

In alternativa, per utenti non amministratori:

allow group <group-name> to use virtual-network-family in compartment <compartment-name>

allow group <group-name> to inspect instance-family in compartment <compartment-name>

È possibile limitare le attività degli utenti all'interno della rete quando si assegna l'autorizzazione inspect per le VCN e le subnet all'interno del compartimento anziché manage. Gli utenti possono quindi visualizzare le reti VCN e le subnet esistenti e selezionarle durante la creazione di un'area di lavoro. Visualizzare altri esempi per creare un criterio per requisiti specifici.

Per asset dati

Storage degli oggetti

Creare questi criteri per consentire a Data Integration di accedere alle risorse di storage degli oggetti, ad esempio oggetti e bucket.

allow group <group-name> to use object-family in compartment <compartment-name>

allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

Se l'area di lavoro Integrazione dati e l'origine dati di storage degli oggetti si trovano in tenancy diverse, è necessario creare anche i criteri riportati di seguito per i compartimenti.

Nella tenancy dell'area di lavoro:


Endorse any-user to inspect compartments in tenancy <tenancy-name> where ALL {request.principal.type = 'disworkspace'}

Nella tenancy di storage degli oggetti:


Admit any-user of tenancy <tenancy-name> to inspect compartments in tenancy

Nota

Per utilizzare lo storage degli oggetti sono necessari diversi tipi di criteri (principal delle risorse e per conto di). I criteri necessari dipendono anche dal fatto che l'istanza di storage degli oggetti e l'istanza di Data Integration si trovino nella stessa tenancy o in tenancy diverse e dalla possibilità di creare i criteri a livello di compartimento o tenancy. Esamina altri esempi e le policy del blog in Oracle Cloud Infrastructure (OCI) Data Integration per identificare i criteri di cui hai bisogno.

Fusion Applications

Crea questi criteri per consentire a Data Integration di accedere a bucket e oggetti in Oracle Cloud Infrastructure Object Storage. I criteri sono necessari per posizionare nell'area intermedia i dati estratti, che richiedono una preautenticazione per completare le operazioni.

allow group <group-name> to use object-family in compartment <compartment-name>

allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}

Vault OCI

Creare questo criterio per utilizzare i segreti nel vault OCI per le informazioni riservate.

allow any-user to read secret-bundles in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

Il criterio riportato di seguito consente a un gruppo di utenti che non sono amministratori di utilizzare i segreti con Oracle Autonomous Data Warehouse e Oracle Autonomous Transaction Processing:

allow group <group-name> to read secret-bundles in compartment <compartment-name>

Autonomous Database

Creare questo criterio se si utilizza un database autonomo come destinazione. Gli Autonomous Database utilizzano lo storage degli oggetti per il posizionamento dei dati nell'area intermedia e richiedono la preautenticazione per completare le operazioni.

allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}

Creare questo criterio se si desidera che le credenziali del database autonomo vengano recuperate automaticamente durante la creazione di un asset dati del database autonomo.

allow group <group-name> to read autonomous-database-family in compartment <compartment-name>

Per pubblicazioni

Per pubblicare task in OCI Data Flow

Creare questi criteri per pubblicare i task di Data Integration da Data Integration nel servizio OCI Data Flow.

allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to read dataflow-private-endpoint in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow group <group-name> to read dataflow-application in compartment <compartment-name>

allow group <group-name> to manage dataflow-run in compartment <compartment-name>

Per consentire agli utenti non amministratori di pubblicare in OCI Data Flow utilizzando un endpoint privato, questo criterio è necessario per mostrare gli endpoint privati:

allow group <group-name> to inspect dataflow-private-endpoint in compartment <compartment-name>

Creazione di un'area di lavoro

Prima di iniziare a utilizzare Data Integration, è necessario creare un'area di lavoro per i progetti di integrazione dati.

Creare un'area di lavoro dopo aver soddisfatto i requisiti di connettività per Data Integration. Vedere Creazione delle risorse.

Per altre informazioni sulla rete, vedere gli argomenti riportati di seguito.

Configurare i componenti di rete per gli asset dati
Blog: Informazioni sulla configurazione della VCN per l'integrazione dei dati
Blog: Utilizzo di Analyzer percorso di rete (risolvere i problemi, verificare e convalidare)

Assicurarsi inoltre di disporre dei criteri necessari per la creazione delle aree di lavoro, come descritto nella sezione Creazione di criteri. Ad esempio, se si sta creando un'area di lavoro che utilizza le risorse della rete cloud virtuale (VCN), è necessario creare criteri per consentire a Data Integration l'accesso alla VCN nel compartimento.

1. Nella pagina della lista Aree di lavoro di Integrazione dati, selezionare Crea area di lavoro. Per assistenza nella ricerca della pagina elenco, vedere Accesso alle aree di lavoro.
2. Nel pannello Crea area di lavoro, immettere un nome e una descrizione facoltativa per l'area di lavoro.
3. Nella sezione Selezione di rete, selezionare Abilita rete privata per utilizzare una rete privata per connettersi alle origini dati. Quindi, fornire i valori indicati di seguito per utilizzare una rete privata.
  
  Scegliere una VCN in <Compartment_Name>: selezionare la VCN per le integrazioni dei dati.
  
  Scegliere una subnet in <Compartment_Name>: selezionare la subnet nella VCN selezionata per le integrazioni dei dati.
  
  IP del server DNS: (Opzionale) Immettere l'indirizzo IP del server DNS (Domain Name System) del server.
  
  Zona server DNS: (Opzionale) Se è stato immesso un indirizzo IP del server DNS, immettere la zona DNS del server.
  
  Dopo aver creato un'area di lavoro, non è possibile disabilitare la connessione di rete privata o modificare le selezioni del compartimento, della VCN o della subnet.
4. (Facoltativo) Nella sezione Tag, aggiungere tag per facilitare la ricerca delle risorse di Data Integration all'interno della tenancy.
  
  Per informazioni sulle tag, vedere Concetti dello spazio di nomi tag e tag.
5. Scegliere una delle opzioni riportate di seguito.
  
  Per creare l'area di lavoro, selezionare Crea.
  
  Nota
  
  Se non sono stati aggiunti i criteri richiesti, la creazione dell'area di lavoro non riesce. Nella casella Informazioni accesso non autorizzato visualizzata, selezionare Gestisci criteri per visualizzare i dettagli delle istruzioni dei criteri richieste. Specificare il nome gruppo e il compartimento corretti nelle istruzioni. Gli amministratori possono aggiungere i criteri selezionando Aggiungi criteri. Se non si è amministratori, selezionare Copia criteri, quindi inviarli a un amministratore da aggiungere.
  
  Viene nuovamente visualizzata la pagina Aree di lavoro. L'accesso all'area di lavoro potrebbe richiedere alcuni minuti. Quando lo stato è Attivo, è possibile selezionare l'area di lavoro dall'elenco.
  
  Per informazioni sulla navigazione e la ricerca in un'area di lavoro, vedere Navigazione in un'area di lavoro.
  
  Per creare l'area di lavoro in un secondo momento utilizzando Resource Manager e Terraform, selezionare Salva come stack per salvare la definizione della risorsa come configurazione Terraform.
  
  Per ulteriori informazioni sul salvataggio degli stack dalle definizioni delle risorse, vedere Creazione di uno stack da una pagina di creazione delle risorse.
Utilizzare l'area di lavoro per creare artifact in fase di progettazione quali asset dati, flussi di dati e task in uno o più progetti o cartelle. Per informazioni sull'uso dei progetti in un'area di lavoro, vedere Utilizzo di progetti e cartelle.
Utilizzare il comando oci data-integration workspace create e i parametri richiesti per creare un'area di lavoro.
oci data-integration workspace create [OPTIONS]
Per un elenco completo dei flag e delle opzioni variabili per i comandi CLI, vedere Command Line Reference.
Eseguire l'operazione CreateWorkspace per creare un'area di lavoro.

Componenti in una progettazione

Dopo aver creato gli asset dati per i sistemi dati di origine e destinazione, è possibile creare i processi di integrazione dei dati per l'estrazione, il caricamento e la trasformazione dei dati.

In Data Integration, per includere e trasformare i dati, è possibile creare task di Data Loader, flussi di dati, task di integrazione e altri task. Per orchestrare un set di task in sequenza o in parallelo, è necessario creare pipeline e task pipeline. È possibile utilizzare i task riportati di seguito come linea guida.


Attività	descrizione;
Creare un task di Data Loader	Creare un task di Data Loader dalla sezione Task di una pagina dei dettagli di un progetto o di una cartella. Un task di Data Loader prende i dati da un'origine, li trasforma e li carica in una destinazione.
Creare un flusso di dati	Creare un flusso di dati dalla sezione Flussi di dati di una pagina dei dettagli di un progetto o di una cartella.
Aggiungi operatori	In Progettazione flusso dati, creare il flusso logico dei dati dagli asset dati di origine agli asset dati di destinazione. Aggiungere operatori dati per specificare le origini dati di origine e di destinazione. Aggiungi operatori di modellazione come filtro e join per pulire, trasformare e arricchire i dati.
Aggiungi funzioni definite dall'utente	Crea e utilizza funzioni personalizzate.
Applica trasformazioni	Nella scheda Dati di un operatore in Progettazione flusso dati, applicare le trasformazioni per aggregare, pulire e modellare i dati.
Assegna parametri	Nella scheda Dettagli di un operatore del designer del flusso di dati, assegnare i parametri per esternalizzare e sostituire i valori. Utilizzando i parametri, diverse configurazioni di origini, destinazioni e trasformazioni possono essere riutilizzate in fase di progettazione e runtime.
Crea un task di integrazione	Dopo aver completato la progettazione di un flusso di dati, dalla sezione Task della pagina dei dettagli di un progetto o di una cartella, creare un task di integrazione che utilizza il flusso di dati. Il wrapping del flusso di dati in un task di integrazione consente di eseguire il flusso di dati ed è possibile scegliere i valori dei parametri che si desidera utilizzare in runtime.
Crea altri task	Se necessario, è possibile creare altri tipi di task dalla sezione Task di una pagina dei dettagli di un progetto o di una cartella.
Crea pipeline	Creare una pipeline dalla sezione Pipeline della pagina dei dettagli di un progetto o di una cartella. Nel designer pipeline, utilizzare gli operatori per aggiungere i task e le attività che si desidera orchestrare come set di processi in una sequenza o in parallelo. È inoltre possibile utilizzare i parametri per eseguire l'override dei valori in fase di progettazione e runtime.
Creare un task della pipeline	Dopo aver completato la progettazione di una pipeline, dalla sezione Task della pagina dei dettagli di un progetto o di una cartella, creare un task della pipeline che utilizza la pipeline. Il wrapping della pipeline in un task della pipeline consente di eseguire la pipeline ed è possibile scegliere i valori dei parametri che si desidera utilizzare in runtime.

Documentazione dell'infrastruttura Oracle Cloud