Elaborare i dati in blocco mediante l'integrazione dei dati OCI e i servizi Oracle Integration Cloud
Elabora o integra i dati in blocco da origini esterne a sistemi o applicazioni di destinazione.
Considerando questo scenario, si ricevono i dati in blocco da un'origine esterna (ad esempio clienti, fornitori, dipendenti, prodotti e così via). Prima di raggiungere i tuoi sistemi o le tue applicazioni finali, i dati devono essere orchestrati, arricchiti, combinati o organizzati. Per raggiungere questo obiettivo, è necessario eseguire l'integrazione con due o più applicazioni o servizi intermedi oppure applicare trasformazioni complesse ai dati. Questo processo può aggiungere attributi aggiuntivi ai dati dopo aver effettuato chiamate o orchestrazione con varie applicazioni di terze parti (in base a REST, SOAP e così via). Questi dati transazionali potrebbero anche richiedere trasformazioni complesse (JSON o XML), ricerche o riferimenti incrociati.
Questo scenario può essere facilmente implementato con due servizi cloud: OCI Data Integration (OCI DI) e Oracle Integration Cloud (OIC), in cui DI OCI soddisfa tutte le esigenze di integrazione dei dati o ETL (Extract, Transform, Load) e OIC risolve tutte le integrazioni delle applicazioni o la connettività di livello enterprise, indipendentemente dalle applicazioni che si stanno connettendo o dalla posizione in cui risiedono.
Architettura
Questa architettura di riferimento rappresenta un caso d'uso per utilizzare il servizio DI e OIC OCI per elaborare i dati in blocco.
Questa architettura di riferimento affronta inoltre le problematiche legate all'elaborazione dei file Apache Parquet, Apache Avro e Microsoft Excel in OIC attraverso OCI DI. Ad esempio, per elaborare i dati dei report finanziari (ad esempio, contabilità fornitori, contabilità clienti, GL, flussi di cassa, attività e passività, ricavi e così via) OCI DI converte questi formati di file in file CSV (Comma-Separated Value), che vengono poi elaborati da OIC.
Il diagramma riportato di seguito illustra questa architettura di riferimento.
oci-bulk-data-integrazione-architettura-diagramma-oracle.zip
Ecco una spiegazione dei passi illustrati nell'architettura di riferimento di cui sopra:
- Le origini esterne (ad esempio applicazioni personalizzate, applicazioni non Oracle, database Oracle in esecuzione su cloud di terze parti, servizi cloud di terze parti, database e applicazioni on premise) caricano o rilasciano il file di caricamento dei dati in blocco in un bucket dello storage degli oggetti OCI.
- Servizio di osservabilità e gestione OCI: il servizio Eventi OCI cerca un oggetto o un file caricato nel bucket di storage degli oggetti OCI.
- Il servizio Eventi OCI attiva un'azione per richiamare le funzioni OCI con un bucket e un nome file.
- Le funzioni OCI ricevono l'evento e richiamano la pipeline DI OCI con parametri di input: nome bucket e nome file.
- La pipeline DI OCI legge il file di caricamento dei dati in blocco dal bucket dello storage degli oggetti OCI e suddivide il singolo file di dati di grandi dimensioni in numerosi file più piccoli. Carica quindi i file suddivisi nel bucket di storage degli oggetti OCI.
- Un'altra istanza di un servizio Eventi OCI cerca i file suddivisi caricati nel bucket di storage degli oggetti OCI.
- Il servizio Eventi OCI attiva un'azione per richiamare le funzioni OCI con un nome bucket e per ciascun nome file.
- OCI Functions riceve l'evento e richiama il flusso di integrazione OIC con i parametri di input del nome del bucket e ogni nome file.
- L'integrazione OIC legge ogni file dal bucket di storage degli oggetti OCI.
- L'integrazione OIC, in base alle esigenze, orchestra e arricchisce i dati richiamandoli a una o più applicazioni o sistemi intermedi. Esegue poi trasformazioni complesse, ricerche, riferimenti incrociati e, infine, elabora i dati su sistemi o applicazioni a valle.
L'architettura è dotata dei componenti elencati di seguito.
- Area
Un'area Oracle Cloud Infrastructure è un'area geografica localizzata che contiene uno o più data center, definiti domini di disponibilità. Le regioni sono indipendenti da altre regioni e grandi distanze possono separarle (in tutti i paesi o anche in continenti).
- Integrazione dei dati
OCI Data Integration è un servizio multi-tenant completamente gestito che aiuta i data engineer e gli sviluppatori ETL (Extract, Transform and Load) con task ETL comuni quali l'inclusione di dati da una vasta gamma di asset dati, la pulizia, la trasformazione e la rimodellazione di tali dati e il caricamento efficiente di tali dati negli asset dati di destinazione.
- Oracle Integration Cloud
Con Oracle Integration Cloud hai il potere di integrare le tue applicazioni cloud e on premise, automatizzare i processi aziendali, ottenere informazioni dettagliate sui tuoi processi aziendali, sviluppare applicazioni visive, utilizzare un file server conforme a SFTP per memorizzare e recuperare i file e scambiare i documenti aziendali con un partner commerciale B2B.
- Eventi
OCI Events Service tiene traccia delle modifiche alle risorse utilizzando eventi conformi allo standard Cloud Native Computing Foundation (CNCF) CloudEvents. Gli sviluppatori possono rispondere ai cambiamenti in tempo reale attivando il codice con Funzioni, scrivendo in streaming o inviando avvisi tramite il servizio di notifiche.
- Funzioni
OCI Functions è una piattaforma serverless che consente agli sviluppatori di creare, eseguire e scalare le applicazioni senza gestire alcuna infrastruttura. Le funzioni si integrano con OCI, servizi di piattaforma e applicazioni SaaS. Poiché Functions è basato sul progetto Fn open source, gli sviluppatori possono creare applicazioni che possono essere facilmente trasferite in altri ambienti cloud e on premise. Il codice basato sulle funzioni in genere viene eseguito per brevi durate e i clienti pagano solo per le risorse utilizzate.
- Rete cloud virtuale (VCN) e subnet
Una VCN è una rete personalizzabile e definita dal software configurata in un'area Oracle Cloud Infrastructure. Analogamente alle reti di data center tradizionali, i VCN offrono il controllo completo sull'ambiente di rete. Una VCN può avere più blocchi CIDR non sovrapposti che puoi modificare dopo aver creato la VCN. Puoi segmentare una VCN nelle subnet che possono essere definite nell'area o in un dominio di disponibilità. Ogni subnet è composta da un intervallo contiguo di indirizzi che non si sovrappongono alle altre subnet nella VCN. Puoi modificare le dimensioni di una subnet dopo la creazione. Una subnet può essere pubblica o privata.
- Lista di sicurezza
Per ogni subnet, puoi creare regole di sicurezza che specifichino l'origine, la destinazione e il tipo di traffico che deve essere consentito all'interno e all'esterno della subnet.
- Tabella di instradamento
Le tabelle di instradamento virtuale contengono regole per instradare il traffico dalle subnet alle destinazioni esterne a una VCN, in genere tramite gateway.