Faça análises de dados multicloud com a plataforma de dados moderna da Oracle
As organizações podem criar um data warehouse empresarial para armazenar dados ativos e arquivados em um local.
Os dados são gerados como resultado de processos de negócios concluídos, operações executadas ou produtos vendidos. Devido a fontes de dados heterogêneas, as organizações querem adotar uma abordagem simplificada para criar um armazenamento de dados centralizado - um balcão único para todas as suas necessidades de análise de dados. Devido à variedade de fontes, como dados reportados por usuários, fabricantes, distribuidores, parceiros e fornecedores terceirizados, juntamente com pedidos de varejo diários e feedback dos clientes, o objetivo é fazer um repositório de data warehouse empresarial centralizado que foi extraído e analisado por funções de negócios para criar visibilidade de negócios de ponta a ponta e responder com informações orientadas por dados.
As organizações querem aproveitar as informações e tomar decisões baseadas em dados para administrar seus negócios de forma mais eficiente. Essa solução de análise de dados multicloud permite que as organizações executem análises com eficiência usando um data warehouse central na plataforma de dados moderna da Oracle com integrações a várias origens de dados, como Oracle Fusion Cloud Enterprise Resource Planning, Microsoft Azure SQL Server (SQL Server), Salesforce, eBay e Google Analytics.
Os benefícios incluem:
- Um pipeline unificado de análise de dados
Acesso simplificado a todos os dados entre nuvens e instalações locais, incluindo dados armazenados em bancos de dados e armazenamentos de objetos.
- Facilidade de integração
Integre dados de sistemas diferentes: federar, orquestrar, sincronizar e combinar dados. Integre quaisquer dados, qualquer formato, qualquer API, a qualquer velocidade, com qualquer aplicativo ou com qualquer dispositivo. Tudo isso ao mesmo tempo que permite colaboração segura, honrando regras de segurança e sem escrever nenhum código.
- Análise de alto desempenho
O acesso rápido aos dados usando ferramentas de consulta permite decisões rápidas e um melhor atendimento ao cliente.
- Recursos avançados de análise
Ative técnicas avançadas de análise, como data e mineração de texto, aprendizado de máquina, previsão, análise de sentimento, análise de rede e cluster, análise de gráfico, processamento de eventos complexos e redes neurais.
- Plataforma única
Uma plataforma única baseada em nuvem para aumentar a colaboração entre equipes, melhorar a execução e o tempo de comercialização e acelerar a inovação.
- Custo, segurança e disponibilidade
As organizações querem reduzir os gastos de capital (CapEx) e os custos operacionais (OpEx), mas também desejam ter uma boa combinação de custo versus desempenho com segurança e disponibilidade.
Arquitetura
Essa arquitetura de referência mostra um pipeline de análise de dados multinuvem empresarial que extrai e formata dados de diferentes origens, os move para o data warehouse empresarial na OCI (Oracle Cloud Infrastructure) e os analisa usando o Oracle Analytics Cloud (OAC).
Os dados são integrados de várias origens usando o Oracle Integration e os serviços de integração da OCI. As origens de dados mostradas são Salesforce, eBay, SQL Server, Oracle Fusion Cloud Service e Google Analytics, mas a solução se aplica a qualquer origem de dados que aceite chamadas de API ou conexões de banco de dados. Os serviços de integração da OCI conectam qualquer aplicativo e origem de dados para automatizar processos de ponta a ponta e centralizar o gerenciamento. A ampla gama de integrações, com adaptadores predefinidos e personalização de baixo código, simplifica a migração para a nuvem e simplifica as operações multicloud.
O Oracle Integration (OIC) conecta quaisquer aplicativos, dados e serviços, incluindo Salesforce e eBay, Oracle Fusion Cloud Service e ecossistemas parceiros para comunicações business-to-business (B2B). Os dados são integrados de origens variadas usando os serviços do Oracle Integration. Depois que os dados estiverem disponíveis em todas as diferentes origens na camada de preparação, os dados serão limpos, padronizados, mesclados e transformados usando o serviço Data Integration. O ADW armazena a camada intermediária, os dados de referência e a camada analítica. O OAC está sendo usado como uma ferramenta analítica para gerar painéis, relatórios, KPIs e permitir a análise de autoatendimento em toda a organização. Conectores pré-criados do OAC podem ser usados para replicar e mesclar dados do Google Analytics.
oci-multicloud-data-analytics-diagram-oracle.zip
Integração da origem de dados:
- Integração com o Google Analytics
O usuário usa o conector de dados incorporado do Google Analytics do OAC, criando uma conexão com o Google Drive ou o Google Analytics. A conexão precisa usar os URIs de redirecionamento autorizados pelo Google juntamente com o segredo do cliente e o nome da view do Google Analytics. Quando autorizado, você está pronto para ler a transformação e criar painéis no OAC.
- Integração do Salesforce
O adaptador do Salesforce permite que os usuários criem uma integração bidirecional simplificada com Salesforce.com. Ele permite a descoberta de objetos de negócios e operações e fornece um mapeamento fácil de e para objetos de negócios Salesforce.com. O OIC cria um workflow que cria uma conexão com o adaptador do Salesforce e, em seguida, extrai os dados para o ADW.
- Integração do Microsoft Azure SQL Server
A integração de dados do SQL Server com o ADW é obtida usando o serviço Data Integration. Ele cria um pipeline de dados do SQL Server para o ADW, especifica o ativo de dados de origem e, em seguida, configura transformações para limpar e processar os dados conforme eles são carregados no ativo de dados de destino. Para executar um conjunto específico de processos em sequência, crie um pipeline. A criação do design de um pipeline é semelhante à criação de um fluxo de dados, em que você usa operadores para adicionar as tarefas e atividades desejadas. Depois de criar um pipeline, você cria uma tarefa que o utiliza. Depois de criar tarefas, publique-as no aplicativo padrão ou no seu próprio aplicativo. Os aplicativos executam tarefas e monitoram o andamento e o status. Também é possível programar tarefas para execuções automatizadas.
- Alimentação de dados manual (arquivos simples)
O Oracle Cloud Infrastructure Object Storage é usado como um armazenamento de arquivos de negócios, no qual usuários comerciais e operacionais estavam fazendo upload dos arquivos de alimentação de dados manuais, como destinos, previsões, marcadores mensais do cliente e métricas provisórias de alinhamento da força de trabalho. Depois que os arquivos de dados estiverem disponíveis nos buckets do Oracle Cloud Infrastructure Object Storage, eles serão selecionados automaticamente para processamento usando o serviço Data Integration.
- Integração do Oracle Fusion Service
O OCI Data Integration usa o Oracle Business Intelligence Cloud Connector (BICC) para permitir conexões com o Fusion Applications como origens de dados. Você usa um ativo de dados do Fusion Applications como origem para extrair dados do Fusion Applications, como uma nuvem ERP ou HCM. O OCI Data Integration carrega os dados extraídos em um local de armazenamento externo predefinido que é configurado no BICC. Nós carregamos os dados do Fusion Applications para o Oracle Cloud Infrastructure Object Storage no formato Parquet e, em seguida, para a camada intermediária do ADW.
A arquitetura tem os seguintes componentes:
- Locação
Uma tenancy é uma partição segura e isolada que a Oracle configura no Oracle Cloud quando você acessa o Oracle Cloud Infrastructure. Você pode criar, organizar e administrar seus recursos no Oracle Cloud em sua tenancy. Uma tenancy é sinônimo de empresa ou organização. Geralmente, uma empresa terá uma única tenancy e refletirá sua estrutura organizacional dentro dessa tenancy. Em geral, uma única tenancy é associada a uma única assinatura e, em geral, uma única assinatura só tem uma tenancy.
- Região
Uma região do Oracle Cloud Infrastructure é uma área geográfica localizada que contém um ou mais data centers, denominada domínios de disponibilidade. As regiões são independentes de outras regiões, e grandes distâncias podem separá-las (entre países ou até mesmo continentes).
- Compartimento
Os compartimentos são partições lógicas entre regiões em uma tenancy do Oracle Cloud Infrastructure. Use compartimentos para organizar seus recursos no Oracle Cloud, controlar o acesso aos recursos e definir cotas de uso. Para controlar o acesso aos recursos em um determinado compartimento, você define políticas que especificam quem pode acessar os recursos e quais ações eles podem executar.
- Autonomous Database
O Oracle Autonomous Database é um ambiente de banco de dados pré-configurado totalmente gerenciado que você pode usar para cargas de trabalho de processamento de transações e data warehousing. Você não precisa configurar nem gerenciar nenhum hardware, nem instalar nenhum software. O Oracle Cloud Infrastructure trata da criação do banco de dados, bem como do backup, aplicação de patches, upgrade e ajuste do banco de dados.
- Análise
O Oracle Analytics Cloud é um serviço de nuvem pública escalável e seguro que capacita os analistas de negócios com recursos modernos de análise com autoatendimento para preparação de dados, visualização, relatórios empresariais, análise aumentada e geração e processamento de linguagem natural. Com o Oracle Analytics Cloud, você também obtém recursos flexíveis de gerenciamento de serviços, incluindo configuração rápida, dimensionamento e aplicação de patches fáceis e gerenciamento automatizado do ciclo de vida.
- Object Storage
O armazenamento de objetos oferece acesso rápido a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de bancos de dados, dados analíticos e conteúdo avançado, como imagens e vídeos. Você pode armazenar de forma segura e depois recuperar dados diretamente da internet ou de dentro da plataforma da nuvem. Você pode dimensionar o armazenamento de forma integrada sem prejudicar o desempenho ou a confiabilidade do serviço. Use o armazenamento padrão para armazenamento de acesso frequente que você precisa acessar de forma rápida, imediata e com frequência. Use o armazenamento de arquivos compactados para armazenamento "frio" que você mantém por longos períodos de tempo e raramente acessa.
- Domínios de disponibilidade
Domínios de disponibilidade são data centers stand-alone e independentes dentro de uma região. Os recursos físicos de cada domínio de disponibilidade são isolados dos recursos de outros domínios de disponibilidade, o que oferece tolerância a falhas. Os domínios de disponibilidade não compartilham infraestrutura como energia ou refrigeração ou a rede interna do domínio de disponibilidade. Portanto, provavelmente uma falha em um domínio de disponibilidade não afetará os outros domínios de disponibilidade da região.
- Rede virtual na nuvem (VCN) e sub-redes
Uma VCN é uma rede personalizável e definida por software que você configura em uma região do Oracle Cloud Infrastructure. Como as redes tradicionais de data center, as VCNs oferecem total controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos CIDR não sobrepostos que você pode alterar após a criação da VCN. Você pode segmentar uma VCN em sub-redes, com escopo definido para uma região ou para um domínio de disponibilidade. Cada sub-rede consiste em um intervalo contíguo de endereços que não se sobrepõem a outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.
- Serviços de integração do OCI
Os serviços de integração da OCI conectam qualquer aplicativo e origem de dados para automatizar processos de ponta a ponta e centralizar o gerenciamento. A ampla gama de integrações, com adaptadores predefinidos e personalização de baixo código, simplifica a migração para a nuvem e simplifica as operações multicloud.
- Integração de Aplicativos do OCI
O OCI Application Integration oferece conectividade predefinida a aplicativos locais e SaaS, modelos de automação de processos prontos para execução e um construtor visual de baixo código para desenvolvimento de aplicativos web e móveis. Ele oferece acesso nativo a eventos no Oracle Cloud ERP, HCM e CX. Conecte silos analíticos específicos de aplicativo para simplificar a requisição ao recebimento, o recrutamento ao pagamento, o lead à fatura e outros processos críticos, fornecendo aos seus líderes de TI e de negócios visibilidade de ponta a ponta.
- Data Integration
O Oracle Cloud Infrastructure Data Integration é um serviço totalmente gerenciado, sem servidor e nativo da nuvem que extrai, carrega, transforma, limpa e modifica dados de uma variedade de origens de dados nos serviços do Oracle Cloud Infrastructure de destino, como o Autonomous Data Warehouse e o Oracle Cloud Infrastructure Object Storage. O ETL (extract transform load) utiliza o processamento de expansão totalmente gerenciado no Spark e o ELT (extract load transform) utiliza recursos completos de push-down SQL do Autonomous Data Warehouse para minimizar a movimentação de dados e melhorar o tempo de valorização dos dados recém-incorporados. Os usuários criam processos de integração de dados usando uma interface de usuário intuitiva e sem código que otimiza os fluxos de integração para gerar o mecanismo e a orquestração mais eficientes, alocando e dimensionando automaticamente o ambiente de execução. O Oracle Cloud Infrastructure Data Integration fornece exploração interativa e preparação de dados e ajuda os engenheiros de dados a proteger-se contra divergência de esquema definindo regras para lidar com alterações de esquema.