Processe Dados em Massa Usando o OCI Data Integration e o Oracle Integration Cloud Services
Processe ou integre dados em massa de origens externas a sistemas ou aplicativos direcionados.
Considerando este cenário: Você recebe dados em massa de uma fonte externa (por exemplo, clientes, fornecedores, funcionários, produtos etc.). Antes de atingir seus sistemas ou aplicativos finais, os dados precisam ser orquestrados, enriquecidos, combinados ou organizados. Como parte do fluxo para fazer isso, você precisa integrar com dois ou mais aplicativos ou serviços intermediários ou aplicar transformações complexas aos dados. Esse processo pode adicionar atributos adicionais aos dados depois de fazer chamadas ou orquestrar com vários aplicativos de terceiros (com base em REST, SOAP etc.). Esses dados transacionais também podem precisar de transformações complexas (JSON ou XML), consultas ou referências cruzadas.
Esse cenário pode ser facilmente implementado com dois serviços de nuvem: OCI Data integration (OCI DI) e Oracle Integration Cloud (OIC), onde o OCI DI atende a todas as suas necessidades de integração de dados ou ETL (Extract, Transform, Load) e o OIC resolve toda a integração de aplicativos ou conectividade de nível empresarial, independentemente dos aplicativos que você está conectando ou onde residem.
Arquitetura
Essa arquitetura de referência representa um caso de uso para usar o OCI DI e o OIC Service para processar dados em massa.
Essa arquitetura de referência também aborda os desafios do processamento de arquivos Apache Parquet, Apache Avro e Microsoft Excel no OIC por meio do OCI DI. Por exemplo, para processar dados de relatórios financeiros (por exemplo, contas a pagar, contas a receber, GLs, fluxos de caixa, ativos e passivos, receita etc.) o OCI DI converte esses formatos de arquivo em arquivos CSV (valores separados por vírgulas), que são então processados pelo OIC.
O diagrama a seguir ilustra essa arquitetura de referência.
oci-bulk-data-integration-architecture-diagram-oracle.zip
Veja a seguir uma explicação das etapas mostradas na arquitetura de referência acima:
- Origens externas (por exemplo, aplicativos personalizados, aplicativos não Oracle, bancos de dados Oracle em execução em nuvens de terceiros, serviços de nuvem de terceiros, bancos de dados locais e aplicativos) fazem upload ou eliminam o arquivo de carregamento de dados em massa em um bucket do OCI Object Storage.
- Serviço OCI Observability & Management - O serviço OCI Events procura um objeto ou arquivo carregado no bucket do OCI Object Storage.
- O serviço OCI Events aciona uma ação para chamar as Funções do OCI com um bucket e um nome de arquivo.
- O OCI Functions recebe o evento e chama o pipeline do OCI DI com parâmetros de entrada: nome do bucket e nome do arquivo.
- O pipeline OCI DI lê o arquivo de carregamento de dados em massa do bucket do OCI Object Storage e divide o arquivo de dados único e grande em vários arquivos menores. Em seguida, faz upload dos arquivos divididos no bucket do OCI Object Storage.
- Outra instância de um serviço OCI Events procura arquivos divididos transferidos por upload para o bucket do OCI Object Storage.
- O serviço OCI Events aciona uma ação para chamar as Funções do OCI com um nome de bucket e para cada nome de arquivo.
- O OCI Functions recebe o evento e chama o fluxo de integração do OIC com os parâmetros de entrada do nome do bucket e cada nome de arquivo.
- A integração do OIC lê cada arquivo do bucket do OCI Object Storage.
- A integração do OIC, com base no requisito, orquestra e enriquece os dados fazendo chamadas para uma ou mais aplicações ou sistemas intermediários. Em seguida, ele executa transformações complexas, consultas, referências cruzadas etc. e, por fim, processa os dados para sistemas ou aplicativos downstream.
A arquitetura tem os seguintes componentes:
- Região
Uma região do Oracle Cloud Infrastructure é uma área geográfica localizada que contém um ou mais data centers, denominada domínios de disponibilidade. As regiões são independentes de outras regiões, e grandes distâncias podem separá-las (entre países ou mesmo continentes).
- Data Integration
O OCI Data Integration é um serviço multitenant totalmente gerenciado que ajuda engenheiros de dados e desenvolvedores de "extrair, transformar e carregar" (ETL) com tarefas ETL comuns, como ingestão de dados de uma variedade de ativos de dados, limpeza, transformação e remodelação desses dados e carregamento eficiente deles em ativos de dados de destino.
- Oracle Integration Cloud
Com o Oracle Integration Cloud, você tem o poder de integrar seus aplicativos na nuvem e locais, automatizar processos de negócios, obter informações sobre seus processos de negócios, desenvolver aplicativos visuais, usar um servidor de arquivos compatível com SFTP para armazenar e recuperar arquivos e trocar documentos comerciais com um parceiro comercial B2B.
- Eventos
O OCI Events Service rastreia alterações de recursos usando eventos que estão em conformidade com o padrão Cloud Native Computing Foundation (CNCF) CloudEvents. Os desenvolvedores podem responder a alterações em tempo real, acionando o código com o serviço Functions, gravando no Streaming ou enviando alertas usando o Notifications.
- Funções
O OCI Functions é uma plataforma sem servidor que permite aos desenvolvedores criar, executar e dimensionar aplicativos sem gerenciar qualquer infraestrutura. O Functions se integra com OCI, serviços de plataforma e aplicativos SaaS. Como o Functions se baseia no Fn Project de código aberto, os desenvolvedores podem criar aplicativos que podem ser facilmente portados para outros ambientes na nuvem e locais. O código baseado em Funções geralmente é executado por durações curtas, e os clientes pagam apenas pelos recursos que usam.
- Rede virtual na nuvem (VCN) e sub-redes
Uma VCN é uma rede personalizável definida por software que você configura em uma região do Oracle Cloud Infrastructure. Como as redes tradicionais de data center, as VCNs dão total controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos CIDR não sobrepostos que você pode alterar após criar a VCN. Você pode segmentar uma VCN em sub-redes, que podem ter escopo em uma região ou em um domínio de disponibilidade. Cada sub-rede consiste em um intervalo contíguo de endereços que não se sobrepõem às outras sub-redes na VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.
- Lista de segurança
Para cada sub-rede, você pode criar regras de segurança que especifiquem a origem, o destino e o tipo de tráfego que deve ser permitido dentro e fora da sub-rede.
- Tabela de roteamento
As tabelas de roteamento virtual contêm regras para rotear o tráfego de sub-redes para destinos fora de uma VCN, geralmente por meio de gateways.