Implante uma Plataforma ETL para Dados do Oracle Utilities no Oracle Cloud e no Azure

Depois de executar as aplicações Oracle Utilities Customer Cloud Service para automatizar as operações de atendimento ao cliente, faturamento e pagamento, a Gas South implementou uma plataforma de extração, transformação e carregamento de dados (ETL) na Oracle Cloud Infrastructure (OCI).

Fundada em 2006, a Gas South, com sede em Atlanta, fornece gás natural para mais de 425.000 clientes residenciais, comerciais e governamentais em 14 estados, incluindo Flórida, Nova Jersey, Ohio, Texas e Tennessee. Além de modernizar suas operações de atendimento ao cliente e faturamento em uma implementação multicloud na Oracle Cloud e no Microsoft Azure, a Gas South revitalizou recentemente sua missão de ser um combustível para o bem, devolvendo 5% de seus lucros anuais para ajudar crianças carentes, priorizando necessidades básicas, educação e saúde. A empresa doou mais de US$ 12 milhões para instituições de caridade desde 2006, incluindo US$ 3,2 milhões em 2022, seu maior ano de sempre para doações corporativas.

Em sua implementação na OCI, os dados de atendimento ao cliente e faturamento da Gas South são capturados dos aplicativos SaaS do utilitário, mantidos em um bucket do Oracle Cloud Infrastructure Object Storage, analisados em arquivos JSON, movidos pelo Oracle SOA Cloud Service e armazenados em um banco de dados de extração de dados generalizada (GDE). Os dados do aplicativo utilitário são então estruturados para análise e relatórios adicionais antes de serem acionados manualmente para passar por um túnel de shell seguro (SSH) para um mecanismo de integração Attunity Qlik que se conecta a um aplicativo Microsoft Power BI em execução em um SQL Server no Azure.

Os destaques dessa implantação incluem:

Os usuários são autenticados usando um túnel SSH, bastion host e chaves públicas/privadas antes de estabelecer conexão com o banco de dados de extração de dados generalizada (GDE) em uma rede virtual na nuvem (VCN) privada.
O serviço GDE é usado no momento para obter dados de atendimento ao cliente do aplicativo Oracle Utilities Customer Cloud Service SaaS e passá-los para um mecanismo de integração Attunity Qlik, que se conecta a um aplicativo de BI do Azure para análise e geração de relatórios.
Os logs de arquivamento são ativados no banco de dados Oracle na OCI para capturar atualizações de arquivos que são detectadas pelo Attunity Qlik e, em seguida, integradas ao Microsoft BI no Azure.

Arquitetura

A Gas South criou e implantou o Oracle SOA Cloud Service (SOACS) no Oracle Cloud Infrastructure (OCI), permitindo que a empresa de serviços públicos integre seu Oracle Utilities Customer Cloud Service (CCS) com seu portal de autoatendimento, sistema de resposta de voz interativa (IVR) e aplicativos móveis que precisam acessar os sistemas de pagamento e financeiros da Gas South.

Para analisar os dados gerados pelo CCS, a Gas South implantou um sistema de exportação de dados generalizada (GDE) para extrair dados do CCS e importá-los para o Microsoft Business Intelligence, que é hospedado no Microsoft Azure.

O diagrama abaixo mostra o fluxo de dados para o sistema de integração SOA.

Descrição da ilustraçãogas-south-data-flow.png

gas-south-data-flow-oracle.zip

A seguir, é descrito o fluxo de dados da integração SOA:

Um usuário acessa o portal da Gas South.
Os dados de faturamento do Oracle Utilities CCS (CCS) são gerados e enviados para o Oracle SOA Suite (SOA).
O SOA envia dados de faturamento para o sistema financeiro.
O SOA envia o faturamento para o portal de autoatendimento para revisão do usuário.
O usuário paga a fatura.
O pagamento é processado.
O SOA é atualizado com o pagamento para mostrar que a fatura foi paga.
O SOA atualiza o CCS para mostrar que a fatura foi paga.

O diagrama abaixo mostra o fluxo de dados para o sistema de exportação de dados.

Descrição da ilustraçãogas-south-data-flow-ccs.png

gas-south-data-flow-ccs-oracle.zip

Veja a seguir uma descrição do fluxo de dados do CCS para exportação e importação de dados:

O CCS inicia uma exportação de dados generalizada (GDE) a cada duas horas para exportar dados para o armazenamento de objetos.
Um script de interface de linha de comando (CLI) na VM do Oracle Base Database Service é iniciado para copiar, dividir e carregar os arquivos no banco de dados.
O Attunity Qlik está configurado para ler o Oracle Database para alterações de log.
Se ocorreram alterações, o Attunity Qlik extrai as alterações do Oracle Database
Os dados são enviados para o Azure SQL.
Os dados são acessados pelo Microsoft Business Intelligence.

O diagrama a seguir ilustra o diagrama de arquitetura de referência para Gas South.

Descrição da ilustração gas-south-architecture.png

gas-south-architecture-oracle.zip

O Gas South Portal, o IVR e o aplicativo móvel são hospedados no Microsoft Azure. Os sistemas financeiros do Microsoft Azure e do Gas South se conectam à rede virtual na nuvem (VCN) da OCI usando um gateway de internet. Os serviços SOA fornecem o middleware e o CCS, o Gas South Systems e os sistemas financeiros de terceiros servem como sistemas de origem e destino.

Um servidor de administração, dois servidores gerenciados e um servidor MFT (Managed File Transfer, Transferência de arquivos gerenciados) são implantados como parte do SOA. Ambos os servidores gerenciados são balanceados por carga por um balanceador de carga Oracle. O banco de dados é implantado com o Oracle Base Database Service.

Para a exportação de dados, o armazenamento de objetos é usado para armazenar os arquivos exportados do CCS. Um script no Oracle Base Database Service (banco de dados de preparação) é iniciado para copiar, dividir e carregar os arquivos no banco de dados. O Microsoft Attunity é usado para ler e extrair dados do banco de dados de preparação que é acessado pelo Microsoft Business Intelligence usando um túnel SSH. O Oracle Cloud Infrastructure Vault é usado para gerenciar chaves.

A Oracle forneceu as seguintes recomendações futuras de estado para a Gas South:

Explore a atualização para o SOACS Marketplace. A atualização para o SOACS Marketplace ajudará a Gas South a reduzir os custos administrativos e de manutenção de TI.
Explore as opções nativas da nuvem e Platform as a Service (PaaS) para o processo de transformação e carregamento dos dados do CCS para o Azure SQL, aproveitando as vantagens do Oracle Cloud Infrastructure Functions, Oracle Cloud Infrastructure Events, Oracle Cloud Infrastructure Data Integration e Oracle Integration.

O diagrama a seguir ilustra essa futura arquitetura de referência.

Uma descrição de gas-south-architecture-future.png tem a seguir

Descrição da ilustração gas-south-architecture-future.png

gas-south-architecture-future-oracle.zip

Um novo padrão de fluxo de dados resultará das alterações arquitetônicas:

Descrição da ilustraçãogas-south-data-flow-future.png

gas-south-data-flow-future-oracle.zip

Veja a seguir uma descrição do fluxo de dados do CCS para exportação e importação de dados:

O CCS inicia uma exportação de dados generalizada (GDE) a cada duas horas para exportar dados para o armazenamento de objetos.
Um evento no Oracle Cloud Infrastructure Events detecta a adição de arquivos de dados exportados no armazenamento de objetos.
O evento chama uma função.
Uma função no Oracle Cloud Infrastructure Functions chama o OCI Data Integration.
O OCI Data Integration armazena os arquivos processados no armazenamento de objetos.
O OCI Data Integration divide e armazena os arquivos processados no armazenamento de objetos.
Um evento no Oracle Cloud Infrastructure Events detecta a adição de arquivos de dados divididos no armazenamento de objetos.
O evento chama uma função.
Uma função lê os arquivos divididos do armazenamento de objetos.
Uma função chama o Oracle Integration.
Os dados são enviados para o Azure SQL e são acessados pelo Microsoft Business Intelligence.

A arquitetura tem os seguintes componentes:

Tenancy
Uma tenancy é uma partição segura e isolada que a Oracle configura no Oracle Cloud quando você se inscreve no OCI. Você pode criar, organizar e administrar seus recursos no OCI em sua tenancy. Uma tenancy é sinônimo de uma empresa ou organização. Normalmente, uma empresa terá uma única tenancy e refletirá sua estrutura organizacional dentro dessa tenancy. Uma única tenancy geralmente está associada a uma única assinatura, e uma única assinatura geralmente tem apenas uma tenancy.
Região da OCI
Uma região do OCI é uma área geográfica localizada que contém um ou mais data centers, hospedando domínios de disponibilidade. Regiões são independentes de outras regiões, e grandes distâncias podem separá-las (entre países ou mesmo continentes).
Domínio de disponibilidade
Domínios de disponibilidade são data centers stand-alone e independentes dentro de uma região. Os recursos físicos de cada domínio de disponibilidade são isolados dos recursos de outros domínios de disponibilidade, o que oferece tolerância a falhas. Os domínios de disponibilidade não compartilham infraestrutura como energia ou refrigeração ou a rede interna do domínio de disponibilidade. Portanto, uma falha em um domínio de disponibilidade não deve afetar os outros domínios de disponibilidade na região.
VCN (rede virtual na nuvem) e sub-redes
VCN (rede virtual na nuvem) é uma rede personalizável definida por software que você configura em uma região do OCI. Assim como as redes tradicionais do data center, as VCNs dão a você controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos de CIDR (Classless Inter-domain Routing) não sobrepostos que você pode alterar após criar a VCN. Você pode segmentar uma VCN em sub-redes, com escopo definido para uma região ou para um domínio de disponibilidade. Cada sub-rede consiste em um intervalo contíguo de endereços que não se sobrepõem a outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.
Tabela de roteamento
As tabelas de roteamento virtual contêm regras para rotear o tráfego de sub-redes para destinos fora de uma VCN, geralmente por meio de gateways.
Lista de segurança
Para cada sub-rede, você pode criar regras de segurança que especifiquem a origem, o destino e o tipo de tráfego permitido dentro e fora da sub-rede.
Gateway de internet
Um gateway de internet permite o tráfego entre as sub-redes públicas em uma VCN e a internet pública.
Gateway de serviço
Um gateway de serviço fornece acesso de uma VCN a outros serviços, como o Oracle Cloud Infrastructure Object Storage. O tráfego da VCN para o serviço Oracle atravessa a malha de rede Oracle e não atravessa a internet.
Balanceador de carga
O Oracle Cloud Infrastructure Load Balancer fornece distribuição automatizada de tráfego de um único ponto de entrada para vários servidores.
OCI Compute
Com o Oracle Cloud Infrastructure Compute, você pode provisionar e gerenciar hosts de computação na nuvem. Você pode iniciar instâncias de computação com formas que atendam aos seus requisitos de recursos para CPU, memória, largura de banda de rede e armazenamento. Depois de criar uma instância de computação, você poderá acessá-la com segurança, reiniciá-la, anexar e desanexar volumes e encerrá-la quando não precisar mais dela.
OCI Object Storage
O OCI Object Storage oferece acesso a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de banco de dados, dados analíticos e conteúdo avançado como imagens e vídeos. Você pode armazenar dados com segurança diretamente de aplicativos ou de dentro da plataforma de nuvem. Você pode dimensionar o armazenamento sem sofrer qualquer degradação no desempenho ou na confiabilidade de serviço.

Use armazenamento padrão para armazenamento "quente" que você precisa acessar com rapidez, rapidez e frequência. Use armazenamento de arquivo compactado para armazenamento "frio" que você retém por longos períodos de tempo e acesso raro.
OCI Vault
O Oracle Cloud Infrastructure Vault permite criar e gerenciar centralmente as chaves de criptografia que protegem seus dados e as credenciais secretas usadas para proteger o acesso aos seus recursos na nuvem. O gerenciamento de chaves padrão são chaves gerenciadas pela Oracle. Você também pode usar chaves gerenciadas pelo cliente que usam o OCI Vault. O OCI Vault oferece um conjunto avançado de APIs REST para gerenciar vaults e chaves.
Monitoramento do OCI
O Oracle Cloud Infrastructure Monitoring monitora ativa e passivamente seus recursos de nuvem e usa alarmes para notificá-lo quando as métricas atendem aos acionadores especificados.
Oracle Base Database Service
O Oracle Base Database Service é um serviço de banco de dados da Oracle Cloud Infrastructure (OCI) que permite criar, dimensionar e gerenciar bancos de dados Oracle com todos os recursos em máquinas virtuais. Um sistema de banco de dados de VM usa o armazenamento do OCI Block Volumes em vez do armazenamento local e pode executar o Oracle Real Application Clusters (Oracle RAC) para melhorar a disponibilidade.

Explorar Mais

Saiba mais sobre os recursos desta arquitetura e sobre arquiteturas relacionadas.

Confirmações

Authors: Robert Huie, Sasha Banks-Louie
Contributors: Oracle Team: Brad Goodwin, Cory Quinn, Santosh Dixit, Pradyumna Kodgi, Joseph Dominski, Mckenzie Holiday, Robert Lies
Gas South Team: John Stiles, Jose Figueroa, Smitha Viswambharan, Marshall Sutherland, Nadeem Fatmi, Michael Sallustio