Plataforma de Dados - Data Warehouse com Integração de E-Business

Os analistas precisam de uma maneira eficiente de consolidar dados de vários sistemas financeiros, planilhas e outras fontes de dados em uma fonte confiável, sustentável e otimizada para consulta.

Com o Oracle Autonomous Data Warehouse (ADW) e o Oracle Analytics Cloud, você pode carregar e otimizar dados do Oracle E-Business Suite e de outras fontes em um local centralizado de data warehouse para análise, de modo que os departamentos possam obter informações práticas.

Essa arquitetura de referência posiciona a solução de tecnologia no contexto de negócios geral:



Geralmente, as linhas de negócios não têm acesso oportuno ou eficiente aos dados e informações. Os analistas coletam os dados manualmente, trabalham com eles individualmente e depois compartilham cópias de arquivos por meio de servidores de e-mail ou arquivos. Os dados não são centralizados, portanto, é difícil garantir a precisão e a segurança dos dados. A análise pode levar muito tempo e os resultados não podem ser repetidos facilmente.

Um data mart é uma forma simples de um data warehouse que se concentra em um único assunto ou área funcional, como vendas, marketing ou finanças e que é geralmente criado e controlado por um único departamento dentro de uma organização. Considerando seu foco de um único sujeito, os data marts costumam extrair dados de apenas algumas fontes. As fontes podem incluir sistemas internos, um data warehouse central ou dados externos.

Data warehouses e data marts controlados podem fornecer informações ricas para usuários corporativos e oferecer com mais eficiência os principais indicadores de desempenho da organização sem depender muito dos recursos e da disponibilidade de TI.

Arquitetura

Essa arquitetura usa Transformações de Dados, um recurso incluído no Oracle Autonomous Data Warehouse, para carregar e otimizar dados de várias origens em um Autonomous Data Warehouse centralizado e, em seguida, usa o Oracle Analytics Cloud para analisar os dados e fornecer insights acionáveis.


A descrição de data-platform-ebs.png é exibida a seguir
Descrição da ilustração data-platform-ebs.png

data-platform-ebs-oracle.zip

A arquitetura se concentra nas seguintes divisões lógicas:

  • Processar, transformar

    Processa e refina os dados para uso em cada uma das camadas de dados da arquitetura.

  • Persistir, Curar, Criar

    Facilita o acesso e a navegação dos dados para mostrar a exibição de negócios atual. Para tecnologias relacionais, os dados podem ser lógicos ou estruturados fisicamente em formulários relacionais, longitudinais, dimensionais ou OLAP simples. Para dados não relacionais, essa camada contém um ou mais pools de dados, saída de um processo analítico ou dados otimizados para uma tarefa analítica específica.

  • Análise, Aprendizagem, Previsão

    Resume a exibição lógica de negócios dos dados para os consumidores. Essa abstração facilita abordagens ágeis de desenvolvimento, migração para a arquitetura de destino e fornecimento de uma única camada de relatórios de várias origens federadas.

O diagrama a seguir mostra um mapeamento da arquitetura acima para serviços fornecidos no Oracle Cloud Infrastructure usando as melhores práticas de segurança.



oci-adb-oac-arch-oracle.zip

A arquitetura apresenta os seguintes componentes:

  • Autonomous Data Warehouse

    O Oracle Autonomous Data Warehouse é um serviço de banco de dados independente, com autoproteção e autorreparo otimizado para cargas de trabalho de data warehouse. Não é necessário configurar ou gerenciar nenhum hardware ou instalar qualquer software. O Oracle Cloud Infrastructure trata da criação do banco de dados, bem como de backup, aplicação de patches, upgrade e ajuste do banco de dados.

  • Data Integration

    O Oracle Data Transforms é uma ferramenta de integração do Oracle Data Integrator (ODI) que pode ser implantada nas ações de banco de dados do Autonomous Database (Ferramentas de BD). Ele fornece uma solução totalmente unificada para criar, implantar e gerenciar data warehouses complexos ou como parte de arquiteturas centradas em dados em um ambiente de SOA ou de business intelligence. Além disso, ele combina todos os elementos de integração de dados, movimentação de dados, sincronização de dados, qualidade de dados e gerenciamento de dados para garantir que as informações sejam oportunas, precisas e consistentes em sistemas complexos.

  • Análise

    O Oracle Analytics Cloud é um serviço de nuvem pública escalável e seguro que capacita os analistas de negócios com recursos modernos de análise com autoatendimento, baseados em IA, para preparação de dados, visualização, relatórios empresariais, análise aumentada e geração e processamento de linguagem natural. Com o Oracle Analytics Cloud, você também obtém recursos flexíveis de gerenciamento de serviços, incluindo configuração rápida, dimensionamento e aplicação de patches fáceis, além de gerenciamento automatizado do ciclo de vida.

A arquitetura também inclui os seguintes componentes:

  • Região

    Uma região do Oracle Cloud Infrastructure é uma área geográfica localizada que contém um ou mais data centers, denominados domínios de disponibilidade. As regiões são independentes de outras regiões, e grandes distâncias podem separá-las (em países ou mesmo continentes).

  • Compartimento

    Os compartimentos são partições lógicas entre regiões em uma tenancy do Oracle Cloud Infrastructure. Use compartimentos para organizar seus recursos no Oracle Cloud, controlar o acesso aos recursos e definir cotas de uso. Para controlar o acesso aos recursos em um determinado compartimento, você define políticas que especificam quem pode acessar os recursos e quais ações eles podem executar.

  • Serviço IAM (Identity and Access Management)

    O Oracle Cloud Infrastructure Identity and Access Management (IAM) é o plano de controle de acesso do Oracle Cloud Infrastructure (OCI) e dos Aplicativos Oracle Cloud. A API do IAM e a interface do usuário permitem que você gerencie domínios de identidade e os recursos dentro do domínio de identidades. Cada domínio de identidade do OCI IAM representa uma solução de gerenciamento de acesso e identidade independente ou outra população de usuários.

  • Política

    Uma política do Oracle Cloud Infrastructure Identity and Access Management especifica quem pode acessar quais recursos e como. O acesso é concedido no nível do grupo e do compartimento, o que significa que você pode gravar uma política que dê a um grupo um tipo específico de acesso em um compartimento específico ou à tenancy.

  • Domínio de disponibilidade

    Os domínios de disponibilidade são data centers independentes e independentes dentro de uma região. Os recursos físicos de cada domínio de disponibilidade são isolados dos recursos de outros domínios de disponibilidade, que oferecem tolerância a falhas. Os domínios de disponibilidade não compartilham infraestrutura como energia ou refrigeração, ou a rede interna do domínio de disponibilidade. Desse modo, é pouco provável que uma falha em um domínio de disponibilidade afete os outros domínios de disponibilidade na região.

  • Rede virtual na nuvem (VCN) e sub-rede

    VCN é uma rede personalizável definida por software que você configura em uma região do Oracle Cloud Infrastructure. Assim como as redes tradicionais de data center, as VCNs oferecem total controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos CIDR não sobrepostos que você pode alterar após criar a VCN. Você pode segmentar uma VCN em sub-redes, que podem ter escopo em uma região ou em um domínio de disponibilidade. Cada sub-rede consiste em uma faixa contígua de endereços que não se sobrepõem às outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.

  • Gateway de Internet

    O gateway de internet permite o tráfego entre as sub-redes públicas em uma VCN e a internet pública.

  • VPN entre Sites

    A VPN Site a Site fornece conectividade IPSec VPN entre sua rede local e VCNs no Oracle Cloud Infrastructure. A suíte de protocolo IPSec criptografa o tráfego IP antes que os pacotes sejam transferidos da origem para o destino e decriptografa o tráfego quando ele chega.

  • Gateway de roteamento dinâmico (DRG)

    O DRG é um roteador virtual que fornece um caminho para tráfego de rede privada entre VCNs na mesma região, entre uma VCN e uma rede fora da região, como uma VCN em outra região do Oracle Cloud Infrastructure, uma rede local ou uma rede em outro provedor de nuvem.

  • Gateway NAT (Network Address Translation)

    Um gateway NAT permite que recursos privados em uma VCN acessem hosts na internet sem expor esses recursos a conexões de internet de entrada.

  • Gateway de serviço

    O gateway de serviço fornece acesso de uma VCN a outros serviços, como o Oracle Cloud Infrastructure Object Storage. O tráfego da VCN para o serviço Oracle percorre a malha de rede da Oracle e nunca atravessa a internet.

  • Tabela de roteamento

    As tabelas de roteamento virtual contêm regras para rotear o tráfego de sub-redes para destinos fora de uma VCN, geralmente por meio de gateways.

  • Lista de segurança

    Para cada sub-rede, você pode criar regras de segurança que especifiquem a origem, o destino e o tipo de tráfego que deve ser permitido dentro e fora da sub-rede.

  • Grupo de segurança de rede (NSG)

    O grupo de segurança de rede (NSG) atua como um firewall virtual para seus recursos de nuvem. Com o modelo de segurança de confiança zero do Oracle Cloud Infrastructure, todo o tráfego é negado e você pode controlar o tráfego de rede dentro de uma VCN. Um NSG consiste em um conjunto de regras de segurança de entrada e saída que se aplicam somente a um conjunto especificado de VNICs em uma única VCN.

  • Bastion host

    O bastion host é uma instância de computação que serve como ponto de entrada seguro e controlado para a topologia de fora da nuvem. O bastion host geralmente é provisionado em uma zona desmilitarizada (DMZ). Ele permite proteger recursos confidenciais colocando-os nas redes privadas que não podem ser acessadas diretamente de fora da nuvem. A topologia tem um único ponto de entrada conhecido que você pode monitorar e auditar regularmente. Portanto, você pode evitar expor os componentes mais confidenciais da topologia sem comprometer o acesso a eles.

  • Object Storage

    O armazenamento de objetos fornece acesso rápido a grandes volumes de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de bancos de dados, dados analíticos e conteúdo avançado, como imagens e vídeos. Você pode armazenar de forma segura e depois recuperar dados diretamente da internet ou de dentro da plataforma da nuvem. Você pode escalar o armazenamento de forma integrada sem experimentar qualquer degradação no desempenho ou na confiabilidade do serviço. Use o armazenamento padrão para armazenamento "quente" que você precisa acessar de forma rápida, imediata e frequente. Use o armazenamento de arquivos compactados para armazenamento "frio" que você mantém por longos períodos de tempo e raramente acessa.

Recomendações

Use as seguintes recomendações como ponto de partida para carregar e otimizar dados do Oracle E-Business Suite e de outras fontes em um local de data warehouse centralizado para análise.

Seus requisitos podem ser diferentes da arquitetura descrita aqui.

  • Refinery de Dados

    Com Transformações de Dados, um serviço incorporado do Oracle Autonomous Data Warehouse, você pode criar mapeamentos entre suas origens e destinos de dados para refinar e limpar os dados usando métodos ETL e E-LT.

  • Integração de dados para suporte ao EBS

    Os módulos de conhecimento no Oracle E-Business Suite ajudam a extrair dados de aplicativos de negócios e integrá-los ao data warehouse com mapeamentos regulares de um Oracle Database.

  • Oracle Analytics Cloud

    Antes de conectar o Oracle Analytics Cloud ao Oracle Autonomous Data Warehouse, peça ao administrador de banco de dados que adicione o endereço IP (ou intervalo de endereços) da sua instância do Oracle Analytics Cloud à lista de endereços aprovados. O administrador do banco de dados deve adicionar uma regra de segurança que permita o tráfego TCP/IP do Oracle Analytics Cloud para o banco de dados.

Considerações

Ao carregar e otimizar dados do Oracle E-Business Suite e de outras fontes em um local centralizado de data warehouse para análise, considere as seguintes opções de implementação.

Orientação Refinery de Dados Plataforma de Persistência de Dados Acesso e Interpretação
Recomendado Ferramentas do Oracle Autonomous Data Warehouse Oracle Autonomous Data Warehouse Oracle Analytics Cloud
Outras Opções Oracle Data Integrator Oracle Exadata Database Service  
Motivo O Oracle Autonomous Data Warehouse inclui um conjunto fácil de usar e integrado de recursos para ingestão e refinamento de dados. Essas ferramentas podem ser encontradas no menu Ações do BD. O Oracle Autonomous Data Warehouse é um banco de dados fácil de usar e totalmente autônomo que tem escala elástica, oferece rápido desempenho de consultas e não requer administração de banco de dados. Ele também oferece acesso direto aos dados do armazenamento de objetos por meio de tabelas externas. O Oracle Analytics Cloud é totalmente gerenciado e estreitamente integrado com a Camada de Dados Curated (Oracle Autonomous Data Warehouse).

Implantar

O código Terraform para esta arquitetura de referência está disponível no GitHub. Você pode extrair o código para o Oracle Cloud Infrastructure Resource Manager com um único clique, criar a pilha e implantá-lo. Como alternativa, você pode fazer download do código do GitHub para seu computador, personalizar o código e implantar a arquitetura usando a CLI do Terraform.

  • Implante usando o Oracle Cloud Infrastructure Resource Manager:
    1. Clique em Implante no Oracle Cloud

      Se você ainda não estiver conectado, informe a tenancy e as credenciais do usuário.

    2. Revise e aceite os termos e condições.
    3. Selecione a região na qual você deseja implantar a pilha.
    4. Siga os prompts na tela e as instruções para criar a pilha.
    5. Após criar a pilha, clique em Ações do Terraform e selecione Planejar.
    6. Aguarde a conclusão do job e revise o plano.

      Para fazer qualquer alteração, retorne à página Detalhes da Pilha, clique em Editar Pilha e faça as alterações necessárias. Em seguida, execute a ação Planejar novamente.

    7. Se nenhuma outra alteração for necessária, retorne à página Detalhes da Pilha, clique em Ações do Terraform e selecione Aplicar.
  • Implante usando a CLI do Terraform:
    1. Vá para GitHub.
    2. Siga as instruções no documento README.

Alterar Log

Esse log lista apenas as alterações significativas: