Implante uma Plataforma ETL para Dados do Oracle Utilities no Oracle Cloud e no Azure
Depois de executar os aplicativos Oracle Utilities Customer Cloud Service para automatizar as operações de atendimento ao cliente, faturamento e pagamento, a Gas South implantou uma plataforma de extração, transformação e carregamento de dados (ETL) na Oracle Cloud Infrastructure (OCI).
Fundada em 2006, o Gas South, com sede em Atlanta, fornece gás natural a mais de 425.000 clientes residenciais, comerciais e governamentais em 14 estados, incluindo Flórida, Nova Jersey, Ohio, Texas e Tennessee. Além de modernizar suas operações de atendimento ao cliente e faturamento em uma implantação multicloud no Oracle Cloud e no Microsoft Azure, a Gas South recentemente revitalizou sua missão de ser um combustível para o bem, devolvendo 5% de seus lucros anuais para ajudar as crianças carentes, priorizando necessidades básicas, educação e saúde. A empresa doou mais de US$ 12 milhões para instituições de caridade desde 2006, incluindo US$ 3,2 milhões em 2022, seu maior ano para doações corporativas.
Em sua implantação no OCI, os dados de atendimento e faturamento ao cliente da Gas South são capturados dos aplicativos SaaS do utilitário, mantidos em um bucket do Oracle Cloud Infrastructure Object Storage, analisados em arquivos JSON, movidos pelo Oracle SOA Cloud Service e armazenados em um banco de dados de extração de dados (GDE) generalizada. Os dados do aplicativo utilitário são então estruturados para análise e geração de relatórios adicionais antes de serem acionados manualmente para passar por um túnel SSH (Secure Shell) para um mecanismo de integração Attunity Qlik que se conecta a um aplicativo Microsoft Power BI em execução em um SQL Server no Azure.
Destaques desta implantação incluem:
- Os usuários são autenticados usando um túnel SSH, bastion host e chaves públicas/privadas antes de estabelecer conexão com o banco de dados de extração de dados generalizada (GDE) em uma rede virtual na nuvem (VCN) privada.
- O serviço GDE é usado atualmente para obter dados de atendimento ao cliente do aplicativo Oracle Utilities Customer Cloud Service SaaS e passá-los para um mecanismo de integração Attunity Qlik, que se conecta a um aplicativo Azure BI para análise e geração de relatórios.
- Os logs de arquivamento são ativados no banco de dados Oracle no OCI para capturar atualizações de arquivo detectadas pelo Attunity Qlik e, em seguida, integradas ao Microsoft BI no Azure.
Arquitetura
A Gas South criou e implantou o Oracle SOA Cloud Service (SOACS) no Oracle Cloud Infrastructure (OCI), permitindo que a empresa de serviços públicos integre seu Oracle Utilities Customer Cloud Service (CCS) ao seu portal de autoatendimento, sistema de resposta de voz interativa (IVR) e aplicativos móveis que precisam acessar os sistemas de pagamento e financeiro da Gas South.
Para analisar os dados gerados pelo CCS, a Gas South implantou um sistema de exportação de dados generalizados (GDE) para extrair dados do CCS e importá-los para o Microsoft Business Intelligence, que é hospedado no Microsoft Azure.
O diagrama a seguir mostra o fluxo de dados do sistema de integração SOA.
gás-sul-fluxo de dados-oracle.zip
Veja a seguir a descrição do fluxo de dados da integração SOA:
- Um usuário acessa o portal da Gas South.
- Os dados de faturamento do Oracle Utilities CCS (CCS) são gerados e enviados ao Oracle SOA Suite (SOA).
- O SOA envia dados de faturamento para o sistema financeiro.
- O SOA envia o faturamento ao portal de autoatendimento para revisão do usuário.
- O usuário paga a fatura.
- O pagamento é processado.
- O SOA é atualizado com o pagamento para mostrar que a fatura foi paga.
- O SOA atualiza o CCS para mostrar que a fatura foi paga.
O diagrama abaixo mostra o fluxo de dados do sistema de exportação de dados.
gás-sul-data-flow-ccs-oracle.zip
O seguinte descreve o fluxo de dados do CCS para exportação e importação de dados:
- O CCS inicia uma exportação de dados generalizada (GDE) a cada duas horas para exportar dados para o armazenamento de objetos.
- Um script de interface de linha de comando (CLI) na VM do Oracle Base Database Service foi iniciado para copiar, dividir e carregar os arquivos no banco de dados.
- O Attunity Qlik está configurado para ler o Oracle Database para alterações de log.
- Se houver alterações, o Attunity Qlik extrairá as alterações do Oracle Database
- Os dados são enviados para o Azure SQL.
- Os dados são acessados pelo Microsoft Business Intelligence.
O diagrama a seguir ilustra o diagrama de arquitetura de referência para Gas South.
gás-arquitetura do sul-oracle.zip
O Gas South Portal, o IVR e o aplicativo móvel são hospedados no Microsoft Azure. Os sistemas financeiros Microsoft Azure e Gas South se conectam à rede virtual na nuvem (VCN) da OCI usando um gateway de internet. Os serviços SOA fornecem middleware e CCS, Gas South Systems e sistemas financeiros de terceiros servem como os sistemas de origem e destino.
Um servidor de administração, dois servidores gerenciados e um servidor de transferência de arquivos gerenciados (MFT) são implantados como parte do SOA. Ambos os servidores gerenciados são balanceados de carga por um balanceador de carga da Oracle. O banco de dados é implantado usando o Oracle Base Database Service.
Para a exportação de dados, o armazenamento de objetos é usado para armazenar os arquivos exportados do CCS. Um script no Oracle Base Database Service (banco de dados de preparação) é iniciado para copiar, dividir e carregar os arquivos no banco de dados. O Microsoft Attunity é usado para ler e extrair dados do banco de dados de preparação, que é acessado pelo Microsoft Business Intelligence usando um túnel SSH. O Oracle Cloud Infrastructure Vault é usado para gerenciar chaves.
A Oracle forneceu as seguintes recomendações de estado futuras para a Gas South:
- Explore a atualização para o SOACS Marketplace. A atualização para o SOACS Marketplace ajudará a Gas South a reduzir os custos administrativos e de manutenção de TI.
- Explore as opções nativas da nuvem e Platform as a Service (PaaS) para o processo de transformação e carregamento de dados do CCS para o Azure SQL, aproveitando o Oracle Cloud Infrastructure Functions, Oracle Cloud Infrastructure Events, Oracle Cloud Infrastructure Data Integration e Oracle Integration Cloud Service.
O diagrama a seguir ilustra essa arquitetura de referência futura.
gás-arquitetura do sul-futuro-oracle.zip
Um novo padrão de fluxo de dados resultará das alterações de arquitetura:
gás-sul-dados-fluxo-futuro-oracle.zip
O seguinte descreve o fluxo de dados do CCS para exportação e importação de dados:
- O CCS inicia uma exportação de dados generalizada (GDE) a cada duas horas para exportar dados para o armazenamento de objetos.
- Um evento no Oracle Cloud Infrastructure Events detecta a adição de arquivos de dados exportados no armazenamento de objetos.
- O evento chama uma função.
- Uma função no Oracle Cloud Infrastructure Functions chama o Oracle Cloud Infrastructure Data Integration.
- O Oracle Cloud Infrastructure Data Integration armazena os arquivos processados no armazenamento de objetos.
- O Oracle Cloud Infrastructure Data Integration divide e armazena os arquivos processados no armazenamento de objetos.
- Um evento no Oracle Cloud Infrastructure Events detecta a adição de arquivos de dados divididos no armazenamento de objetos.
- O evento chama uma função.
- Uma função lê os arquivos de divisão do armazenamento de objetos.
- Uma função chama o Oracle Integration Cloud Service.
- Os dados são enviados para o Azure SQL e acessados pelo Microsoft Business Intelligence.
A arquitetura tem os seguintes componentes:
- Tenancy
Uma tenancy é uma partição segura e isolada que a Oracle configura no Oracle Cloud quando você acessa o Oracle Cloud Infrastructure. Você pode criar, organizar e administrar seus recursos no Oracle Cloud em sua tenancy. Uma tenancy é sinônimo de empresa ou organização. Geralmente, uma empresa terá uma única tenancy e refletirá sua estrutura organizacional dentro dessa tenancy. Em geral, uma única tenancy é associada a uma única assinatura e, em geral, uma única assinatura só tem uma tenancy.
- Região
Uma região do Oracle Cloud Infrastructure é uma área geográfica localizada que contém um ou mais data centers, denominada domínios de disponibilidade. As regiões são independentes de outras regiões, e grandes distâncias podem separá-las (entre países ou até mesmo continentes).
- Domínio de disponibilidade
Domínios de disponibilidade são data centers stand-alone e independentes dentro de uma região. Os recursos físicos de cada domínio de disponibilidade são isolados dos recursos de outros domínios de disponibilidade, o que oferece tolerância a falhas. Os domínios de disponibilidade não compartilham infraestrutura como energia ou refrigeração ou a rede interna do domínio de disponibilidade. Portanto, provavelmente uma falha em um domínio de disponibilidade não afetará os outros domínios de disponibilidade da região.
- VCN (rede virtual na nuvem) e sub-redes
Uma VCN é uma rede personalizável e definida por software que você configura em uma região do Oracle Cloud Infrastructure. Como as redes tradicionais de data center, as VCNs oferecem total controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos CIDR não sobrepostos que você pode alterar após a criação da VCN. Você pode segmentar uma VCN em sub-redes, com escopo definido para uma região ou para um domínio de disponibilidade. Cada sub-rede consiste em um intervalo contíguo de endereços que não se sobrepõem a outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.
- Tabela de roteamento
As tabelas de roteamento virtual contêm regras para rotear o tráfego de sub-redes para destinos fora de uma VCN, geralmente por meio de gateways.
- Lista de segurança
Para cada sub-rede, você pode criar regras de segurança que especifiquem a origem, o destino e o tipo de tráfego que deve ser permitido dentro e fora da sub-rede.
- Gateway de internet
O gateway de internet permite tráfego entre as sub-redes públicas em uma VCN e a internet pública.
- Gateway de serviço
O gateway de serviço fornece acesso de uma VCN a outros serviços, como o Oracle Cloud Infrastructure Object Storage. O tráfego da VCN para o serviço Oracle passa pela malha da rede Oracle e nunca atravessa a internet.
- Balanceador de carga
O serviço Oracle Cloud Infrastructure Load Balancing fornece distribuição de tráfego automatizada de um único ponto de entrada para vários servidores no back-end.
- Computação
O serviço Oracle Cloud Infrastructure Compute permite provisionar e gerenciar hosts de computação na nuvem. Você pode iniciar instâncias de computação com formas que atendam aos seus requisitos de recursos para CPU, memória, largura de banda da rede e armazenamento. Depois de criar uma instância de computação, você pode acessá-la de forma segura, reiniciá-la, anexar e desconectar volumes e encerrá-la quando não precisar mais dela.
- Object Storage
O armazenamento de objetos oferece acesso rápido a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de bancos de dados, dados analíticos e conteúdo avançado, como imagens e vídeos. Você pode armazenar de forma segura e depois recuperar dados diretamente da internet ou de dentro da plataforma da nuvem. Você pode dimensionar o armazenamento de forma integrada sem prejudicar o desempenho ou a confiabilidade do serviço. Use o armazenamento padrão para armazenamento de acesso frequente que você precisa acessar de forma rápida, imediata e com frequência. Use o armazenamento de arquivos compactados para armazenamento "frio" que você mantém por longos períodos de tempo e raramente acessa.
- Vault
O Oracle Cloud Infrastructure Vault permite gerenciar centralmente as chaves de criptografia que protegem seus dados e as credenciais secretas usadas para proteger o acesso aos seus recursos na nuvem. Você pode usar o serviço Vault para criar e gerenciar vaults, chaves e segredos.
- Monitoring
O serviço Oracle Cloud Infrastructure Monitoring monitora de forma ativa e passiva seus recursos de nuvem usando métricas para monitorar recursos e alarmes para notificá-lo quando essas métricas atenderem aos acionadores especificados pelo alarme.
- Oracle Base Database Service
O Oracle Base Database Service é um serviço de banco de dados Oracle Cloud Infrastructure (OCI) que permite criar, escalar e gerenciar bancos de dados Oracle com todos os recursos em máquinas virtuais. Um sistema de banco de dados de VM usa o armazenamento do OCI Block Volumes em vez do armazenamento local e pode executar o Oracle Real Application Clusters (Oracle RAC) para melhorar a disponibilidade.
Seja Destaque na Criação e Implantação
Deseja mostrar o que você criou no Oracle Cloud Infrastructure? É importante compartilhar suas lições aprendidas, melhores práticas e arquiteturas de referência com nossa comunidade global de arquitetos de nuvem? Vamos ajudá-lo a começar.
- Faça download do modelo (PPTX)
Ilustre sua própria arquitetura de referência arrastando e soltando os ícones no quadro de fios de amostra.
- Veja o tutorial da arquitetura
Obtenha instruções passo a passo sobre como criar uma arquitetura de referência.
- Envie seu diagrama
Envie um e-mail com seu diagrama. Nossos arquitetos de nuvem verificarão seu diagrama e entrarão em contato com você para discutir sua arquitetura.
Explorar Mais
Saiba mais sobre os recursos desta arquitetura e sobre as arquiteturas relacionadas.
Aquisições
- Authors: Robert Huie, Sasha Banks-Louie
- Contributors: Brad Goodwin, Cory Quinn, Santosh Dixit, Pradyumna Kodgi, Joseph Dominski, Mckenzie Holiday, Robert LiesGas South Team: John Stiles, Jose Figueroa, Smitha Viswambharan, Marshall Sutherland, Arun Valliappan, Nadeem Fatmi, Michael Sallustio