Pubblicazione in OCI Data Flow
Solo i task di integrazione e Data Loader in Data Integration possono essere pubblicati dal servizio Data Integration al servizio Oracle Cloud Infrastructure Data Flow.
Quando si pubblica un task in OCI Data Flow, viene creato un file JAR in OCI Object Storage e nel servizio Data Flow viene creata un'applicazione che punta al file JAR.
Dopo la pubblicazione, puoi eseguire l'applicazione in OCI Data Flow, dove puoi scegliere le forme di computazione e monitorare e diagnosticare le esecuzioni dei flussi di dati. Se al task sono assegnati parametri, l'applicazione OCI Data Flow viene creata utilizzando i valori dei parametri predefiniti. Non è tuttavia consentito immettere i valori dei parametri quando si esegue l'applicazione in OCI Data Flow.
Le pagine riportate di seguito descrivono come pubblicare un task in OCI Data Flow e i task specifici che è possibile eseguire dopo la pubblicazione.
- Pubblicazione di un task in OCI Data Flow
- Visualizzazione della cronologia di pubblicazione di OCI Data Flow per un task
- Visualizzazione dell'applicazione OCI Data Flow creata per un task
- Ripubblicazione di un task in OCI Data Flow
Impostazione e criteri richiesti
Prima di pubblicare un task nel servizio OCI Data Flow, assicurarsi di disporre degli elementi riportati di seguito.
-
Un asset dati di storage degli oggetti in cui pubblicare gli eseguibili
-
Un bucket nello storage degli oggetti per il file JAR
-
Autorizzazioni e criteri IAM pertinenti per accedere allo storage degli oggetti, come descritto in Esempi di criteri per abilitare l'accesso allo storage degli oggetti OCI.
-
Le autorizzazioni e i criteri IAM pertinenti:
allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
allow any-user to manage dataflow-run in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
allow group <group-name> to read dataflow-application in compartment <compartment-name>
allow group <group-name> to manage dataflow-run in compartment <compartment-name>
Endpoint privato
Per impostazione predefinita, l'applicazione OCI Data Flow viene creata con accesso a Internet pubblico. Puoi scegliere di pubblicare utilizzando un endpoint privato in OCI Data Flow. Ad esempio, se i task utilizzano origini dati ospitate in reti private, è possibile pubblicare in OCI Data Flow utilizzando un endpoint privato.
Per eseguire la pubblicazione in OCI Data Flow utilizzando un endpoint privato, assicurarsi di disporre anche degli elementi riportati di seguito.
-
Endpoint privato esistente in OCI Data Flow da utilizzare per l'applicazione. Vedere Creazione di un endpoint Privato.
Per i criteri necessari per utilizzare OCI Data Flow con endpoint privati, vedere Criteri degli endpoint privati.
-
Criterio necessario per la pubblicazione da OCI Data Integration nelle applicazioni OCI Data Flow abilitate dagli endpoint privati:
allow any-user to read dataflow-private-endpoint in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
-
Il criterio che consente a un gruppo di utenti che non sono amministratori di elencare gli endpoint privati esistenti a livello di compartimento (quando si pubblica da OCI Data Integration in OCI Data Flow):
allow group <group-name> to inspect dataflow-private-endpoint in compartment <compartment-name>
- Gli asset dati utilizzati nel task che si sta pubblicando in OCI Data Flow devono essere:
-
Configurato per utilizzare i segreti di OCI Vault che contengono le password per connettersi alle origini dati. Ciò è necessario per il passaggio sicuro delle credenziali tra i servizi OCI. Vedere Segreti di OCI Vault e wallet Oracle.
Il criterio necessario per utilizzare i segreti nel vault OCI:
allow any-user to read secret-bundles in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
Il criterio riportato di seguito consente a un gruppo di utenti che non sono amministratori di utilizzare i segreti con Oracle Autonomous Data Warehouse e Oracle Autonomous Transaction Processing:
allow group <group-name> to read secret-bundles in compartment <compartment-name>
-
Specificato utilizzando il nome dominio completamente qualificato (FQDN) per gli host del database. OCI Data Flow non consente connessioni tramite indirizzi IP diretti.
-
-
Le istruzioni dei criteri fornite in questo argomento sono solo esempi. Assicurarsi di scrivere criteri che soddisfino i propri requisiti.
-
I criteri cross-tenancy sono necessari se le risorse, ad esempio gli oggetti e i bucket di storage degli oggetti, e l'area di lavoro Integrazione dei dati si trovano in tenancy diverse. Consulta Esempi di criteri e il blog Policy in Oracle Cloud Infrastructure (OCI) Data Integration per identificare i criteri per le tue esigenze.
-
Dopo aver aggiunto i componenti IAM, ad esempio i gruppi dinamici e le istruzioni dei criteri, non provare a eseguire immediatamente i task associati. I nuovi criteri IAM richiedono da cinque a 10 minuti per diventare effettivi.