Plataforma de Dados - Data Warehouse departamental para Linha de Negócios (LOB)
Use o Oracle Autonomous Data Warehouse e o Oracle Analytics Cloud para carregar e otimizar dados do Oracle E-Business Suite, planilhas, terceiros e outras fontes em um data warehouse centralizado para que os departamentos possam analisar os dados e obter insights acionáveis.
Esta arquitetura de referência posiciona a solução tecnológica dentro do contexto de negócios geral:
As linhas de negócios geralmente não têm acesso oportuno ou eficiente a dados e informações. Os analistas coletam os dados manualmente, trabalham com eles individualmente e, em seguida, compartilham cópias de arquivos por meio de servidores de e-mail ou arquivos. Os dados não são centralizados, portanto, é difícil garantir a precisão e a segurança dos dados. A análise pode levar muito tempo e os resultados não são facilmente repetíveis.
Um data warehouse departamental é uma forma simples de um data warehouse que é focado em um único assunto ou área funcional, como vendas, marketing ou finanças, e geralmente é construído e controlado por um único departamento dentro de uma organização. Em razão do foco individual, os data warehouses departamentais costumam extrair dados de apenas algumas fontes. As fontes podem incluir sistemas internos, um data warehouse central ou dados externos.
Os data warehouses corporativos e departamentais controlados podem fornecer informações valiosas aos usuários corporativos e fornecer com mais eficiência os principais indicadores de desempenho da organização sem depender fortemente dos recursos e disponibilidade de TI.
Arquitetura
Essa arquitetura usa o Oracle Autonomous Data Warehouse para carregar e otimizar dados de vários sistemas financeiros, planilhas e outras origens de dados em um data warehouse centralizado e, em seguida, usa o Oracle Analytics Cloud para analisar os dados e fornecer insights acionáveis.
Essa arquitetura suporta vários casos de uso. O caminho mais direto fornece um método simples para adquirir, transformar e carregar dados no data warehouse usando ferramentas incorporadas no Oracle Autonomous Data Warehouse (ADW). Outros caminhos suportam cenários que usam um data lake ou cenários que têm requisitos mais complexos de extração, transformação e carga (ETL).
Descrição da ilustração data-platform-ebs.png
plataforma de dados-ebs-oracle.zip
A arquitetura se concentra nas seguintes divisões lógicas:
- Ingestão, Transformação, Conexão
Insere e refina os dados para uso em cada uma das camadas de dados da arquitetura.
- Persistir, Curar, Criar
Facilita o acesso e a navegação dos dados para mostrar a exibição de negócios atual. Para tecnologias relacionais, os dados podem ser lógicos ou fisicamente estruturados em formas relacionais, longitudinais, dimensionais ou OLAP simples. Para dados não relacionais, essa camada contém um ou mais pools de dados, saída de um processo analítico ou dados otimizados para uma tarefa analítica específica.
- Analise, Aprenda, Preveja
Resume a view de negócios lógica dos dados para os consumidores. Essa abstração facilita abordagens ágeis para o desenvolvimento, migração para a arquitetura de destino e o fornecimento de uma única camada de relatórios de várias fontes federadas.
O diagrama a seguir mostra um mapeamento da arquitetura para serviços fornecidos no Oracle Cloud Infrastructure com segurança básica.
oci-adb-oac-arch-public-oracle.zip
A arquitetura apresenta os seguintes componentes:
- Autonomous Data Warehouse
O Oracle Autonomous Data Warehouse é um serviço de banco de dados autônomo, autosseguro e autorreparável que é otimizado para cargas de trabalho do data warehouse. Você não precisa configurar ou gerenciar nenhum hardware ou instalar nenhum software. O Oracle Cloud Infrastructure trata da criação do banco de dados, bem como do backup, aplicação de patches, upgrade e ajuste do banco de dados.
- Dados Analíticos
O Oracle Analytics Cloud é um serviço de nuvem pública escalável e seguro que oferece um conjunto completo de recursos para explorar e executar análises colaborativas para você, para seu grupo de trabalho e para sua empresa.
Com o Oracle Analytics Cloud, você também obtém recursos flexíveis de gerenciamento de serviço, incluindo configuração rápida, dimensionamento e aplicação de patches fáceis e gerenciamento automatizado do ciclo de vida.
- Integração de dados
O Oracle Autonomous Data Warehouse inclui ferramentas para adquirir, carregar e transformar dados de muitos cenários departamentais.
Para casos de uso avançados, você pode usar o Oracle Cloud Infrastructure Data Integration, um serviço de nuvem nativo totalmente gerenciado, sem servidor que o ajuda com tarefas comuns de extração, carregamento e transformação (ETL), como ingestão de dados de diferentes origens, limpeza, transformação e remodelação desses dados, e depois carregá-los de forma eficiente para origens de dados de destino no Oracle Cloud Infrastructure.
- Região
Uma região do Oracle Cloud Infrastructure é uma área geográfica localizada que contém um ou mais data centers, denominada domínios de disponibilidade. As regiões são independentes de outras regiões, e grandes distâncias podem separá-las (entre países ou até mesmo continentes).
- Compartimento
Os compartimentos são partições lógicas entre regiões em uma tenancy do Oracle Cloud Infrastructure. Use compartimentos para organizar seus recursos no Oracle Cloud, controlar o acesso aos recursos e definir cotas de uso. Para controlar o acesso aos recursos em um determinado compartimento, você define políticas que especificam quem pode acessar os recursos e quais ações eles podem executar.
- Serviço IAM (Identity and Access Management)
O Oracle Cloud Infrastructure Identity and Access Management (IAM) é o plano de controle de acesso do Oracle Cloud Infrastructure (OCI) e dos Aplicativos Oracle Cloud. A API do IAM e a interface do usuário permitem que você gerencie domínios de identidades e os recursos dentro do domínio de identidades. Cada domínio de identidades do OCI IAM representa uma solução de gerenciamento de identidades e acesso independente ou outra população de usuários.
- Política
Uma política do Oracle Cloud Infrastructure Identity and Access Management especifica quem pode acessar quais recursos e como. O acesso é concedido no nível de grupo e compartimento. Isso significa que você pode gravar uma política que dá a um grupo um tipo específico de acesso em um compartimento específico ou à tenancy.
- Domínio de disponibilidade
Os domínios de disponibilidade são data centers independentes e independentes dentro de uma região. Os recursos físicos em cada domínio de disponibilidade são isolados dos recursos dos outros domínios de disponibilidade, o que oferece tolerância a falhas. Os domínios de disponibilidade não compartilham infraestrutura como energia ou resfriamento, ou a rede interna do domínio de disponibilidade. Portanto, provavelmente uma falha em um domínio de disponibilidade não afetará os outros domínios de disponibilidade da região.
- Rede virtual na nuvem (VCN) e sub-rede
Uma VCN é uma rede personalizável e definida por software que você configura em uma região do Oracle Cloud Infrastructure. Como as redes tradicionais de data center, as VCNs oferecem total controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos CIDR não sobrepostos que você pode alterar após criar a VCN. Você pode segmentar uma VCN em sub-redes, que podem ter escopo em uma região ou em um domínio de disponibilidade. Cada sub-rede consiste em um intervalo ininterrupto de endereços que não se sobrepõem às outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.
- Lista de segurança
Para cada sub-rede, você pode criar regras de segurança que especifiquem a origem, o destino e o tipo de tráfego que deve ser permitido dentro e fora da sub-rede.
- Tabela de roteamento
As tabelas de roteamento virtual contêm regras para rotear o tráfego de sub-redes para destinos fora de uma VCN, geralmente por meio de gateways.
- Gateway de Internet
O gateway de internet permite tráfego entre as sub-redes públicas em uma VCN e a internet pública.
- VPN entre Sites
A VPN Site a Site fornece conectividade IPSec VPN entre sua rede local e VCNs no Oracle Cloud Infrastructure. A suíte de protocolos IPSec criptografará o tráfego IP antes que os pacotes sejam transferidos da origem para o destino e decriptografará o tráfego quando ele chegar.
- Gateway de roteamento dinâmico (DRG)
O DRG é um roteador virtual que fornece um caminho para o tráfego de rede privada entre VCNs na mesma região, entre uma VCN e uma rede fora da região, como uma VCN em outra região do Oracle Cloud Infrastructure, uma rede local ou uma rede em outro provedor de nuvem.
- Gateway NAT (Network Address Translation)
Um gateway NAT permite que recursos privados em uma VCN acessem hosts na internet, sem expor esses recursos a conexões de internet de entrada.
- Gateway de serviço
O gateway de serviço fornece acesso de uma VCN a outros serviços, como o Oracle Cloud Infrastructure Object Storage. O tráfego da VCN para o serviço Oracle passa pela malha da rede Oracle e nunca atravessa a internet.
- Grupo de segurança de rede (NSG)
O grupo de segurança de rede (NSG) atua como um firewall virtual para seus recursos de nuvem. Com o modelo de segurança de confiança zero do Oracle Cloud Infrastructure, todo o tráfego é negado, e você pode controlar o tráfego de rede dentro de uma VCN. Um NSG consiste em um conjunto de regras de segurança de entrada e saída que se aplicam somente a um conjunto especificado de VNICs em uma única VCN.
- Object Storage
O armazenamento de objetos oferece acesso rápido a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de bancos de dados, dados analíticos e conteúdo avançado, como imagens e vídeos. Você pode armazenar de forma segura e depois recuperar dados diretamente da internet ou de dentro da plataforma da nuvem. Você pode dimensionar o armazenamento de forma integrada sem prejudicar o desempenho ou a confiabilidade do serviço. Use o armazenamento padrão para armazenamento de acesso frequente que você precisa acessar de forma rápida, imediata e com frequência. Use o armazenamento de arquivos compactados para armazenamento "frio" que você mantém por longos períodos de tempo e raramente acessa.
Recomendações
Use as recomendações a seguir como ponto de partida para carregar e otimizar dados de várias origens de arquivo simples em um local centralizado de data warehouse para análise.
Seus requisitos podem ser diferentes da arquitetura descrita aqui.
- Data Refinery
As Ferramentas do Autonomous Database são incorporadas no Oracle Autonomous Data Warehouse e fornecem a capacidade de carregar, transformar, catalogar, obter insights e até mesmo desenvolver modelos de negócios de forma simples e direta. Essas ferramentas podem ser encontradas no menu Database Actions.
- Oracle Analytics Cloud
Antes de conectar o Oracle Analytics Cloud ao Oracle Autonomous Data Warehouse, faça com que um administrador de banco de dados adicione o endereço IP (ou intervalo de endereços) da sua instância do Oracle Analytics Cloud à lista de endereços permitidos. O administrador do banco de dados deve adicionar uma regra de segurança que permita o tráfego TCP/IP do Oracle Analytics Cloud para o banco de dados.
Considerações
Ao carregar e otimizar dados de várias origens de arquivo sem formatação em um local centralizado de data warehouse para análise, considere essas opções de implementação.
| Orientação | Data Refinery | Plataforma de Persistência de Dados | Acesso e Interpretação |
|---|---|---|---|
| Recomendado | Ferramentas do Oracle Autonomous Database (Database Actions) | Oracle Autonomous Data Warehouse | Oracle Analytics Cloud |
| Outras Opções | Integração de Dados do Oracle Cloud Infrastructure | Oracle Exadata Database Service | |
| Razão | O Oracle Autonomous Data Warehouse é um banco de dados fácil de usar e totalmente autônomo que oferece acesso direto e ingestão de uma variedade de origens de dados, como arquivos CSV e origens de dados relacionais. | O Oracle Autonomous Data Warehouse é um banco de dados totalmente autônomo e fácil de usar que é dimensionado de forma elástica, oferece desempenho rápido de consulta e não requer administração do banco de dados. Ele também oferece acesso direto aos dados do armazenamento de objetos por meio de tabelas externas. | O Oracle Analytics Cloud é totalmente gerenciado e totalmente integrado à camada de dados curada (Oracle Autonomous Data Warehouse). |
Implantar
O código Terraform desta arquitetura de referência está disponível no GitHub. Você pode extrair o código para o Oracle Cloud Infrastructure Resource Manager com um único clique, criar a pilha e implantá-la. Como alternativa, você pode fazer download do código do GitHub para o seu computador, personalizar o código e implantar a arquitetura usando a CLI (Interface de Linha de Comandos) do Terraform.
- Implante usando o Oracle Cloud Infrastructure Resource Manager:
- Clique em
Se você ainda não tiver efetuado sign-in, informe as credenciais da tenancy e do usuário.
- Analise e aceite os termos e as condições.
- Selecione a região onde você deseja disponibilizar a pilha.
- Siga os prompts na tela e as instruções para criar a pilha.
- Depois de criar a pilha, clique em Ações do Terraform e selecione Plano.
- Aguarde a conclusão do job e, em seguida, revise o plano.
Para fazer alterações, retorne à página Detalhes da Pilha, clique em Editar Pilha e faça as alterações necessárias. Em seguida, execute a ação do Plano novamente.
- Se não forem necessárias mais alterações, retorne à página Detalhes da Pilha, clique em Ações do Terraform e selecione Aplicar.
- Clique em
- Implante usando o código Terraform no GitHub:
- Vá para GitHub.
- Clonar ou fazer download do repositório para seu computador local.
- Siga as instruções no documento
README.
Explore Mais
Saiba mais sobre arquiteturas relacionadas e sobre as funcionalidades desta arquitetura.
Log de Alterações
Este log lista apenas as alterações significativas:
| Junho de 20, 2023 | Atualizou a seção Implantar para remover a solução completa e as pequenas opções de implantação da solução. |
| 8 de dezembro de 2022 |
|
| 10 de fevereiro de 2022 | Atualizou a seção Implantar e incluiu links para implantar solução completa e solução pequena. |
| 12 de novembro de 2021 | Opção adicionada para fazer download de versões editáveis (.SVG e .DRAWIO) do diagrama de arquitetura. |
| 17 de março de 2021 |
|
| 11 de dezembro de 2020 | Atualizou a seção Implantar para implantar a pilha no GitHub diretamente no Oracle Cloud Infrastructure Resource Manager com um único clique. |
| 21 de setembro de 2020 | A seção Implantar foi atualizada para incluir um link para o Oracle Cloud Infrastructure Resource Manager como origem para a pilha do Terraform. |
| Junho de 29, 2020 | O link GitHub foi atualizado na seção Implantar para apontar para a pasta de casos de uso específica na pasta do projeto. |