Saiba Mais sobre o Carregamento Automatizado de um Data Mart para Análise Avançada de Linha de Negócios
O uso do Oracle Functions e do Oracle Cloud Infrastructure Events para automatizar o carregamento do data mart Oracle Autonomous JSON Database torna o processo eficiente e repetível.
Arquitetura para Carregamento Automatizado de um Data Mart para Análise Avançada de Linha de Negócios
Usando um padrão arquitetônico relativamente simples, você pode carregar e otimizar dados de várias origens de arquivo simples em um local de banco de dados centralizado para que as equipes de linha de negócios possam executar análises de planejamento e orçamento em conjuntos de dados específicos independentemente de outras equipes.
Os dados exportados de um banco de dados ou aplicativo são armazenados em arquivos simples como valores separados por vírgulas (CSV) e submetidos a upload para um bucket no armazenamento de objetos. A automação de eventos detecta o novo objeto e inicia uma função associada para processar o arquivo, carregar os dados no Oracle Autonomous JSON Database usando os serviços REST e, em seguida, mover o arquivo para outro bucket para fins de rastreamento. O serviço de log fornece uma visão sobre a execução do workflow e o banco de dados disponibiliza os dados para análise.
-
Oracle Cloud Infrastructure: Os dados são transformados e armazenados usando serviços provisionados no Oracle Cloud Infrastructure.
-
Oracle Functions: O Oracle Functions é uma plataforma FaaS (functions-as-a-service) totalmente gerenciada, altamente escalável e sob demanda, desenvolvida com base no Oracle Cloud Infrastructure de nível empresarial e com o mecanismo de código-fonte aberto do Fn Project.
Com o Oracle Functions, você pode implantar seu código, chamá-lo diretamente ou acioná-lo em resposta a eventos e ser cobrado apenas pelos recursos consumidos durante a execução.
O Oracle Functions é nativo do contêiner. Cada função é uma imagem Docker totalmente independente que é armazenada no Registro Docker do OCIR e extraída, implantada e chamada quando você chama sua função.
-
Oracle Event Services: O Oracle Cloud Infrastructure Events é um serviço totalmente gerenciado que elimina a complexidade de rastrear alterações manualmente nos recursos da nuvem e respondê-las em tempo quase real com funções, notificações e streaming.
-
Oracle Autonomous JSON Database: O Oracle Autonomous JSON Database é um serviço de banco de dados de documentos na nuvem que facilita o desenvolvimento de aplicativos centrados em JSON.
-
Oracle Analytics Desktop: Este software de análise disponível gratuitamente fornece a narrativa de dados com visualização, análise hipotética e colaboração de seu desktop.
Antes de Começar
Antes de começar, considere as seguintes opções de segurança e conectividade:
Segurança de Dados
Para certificar-se de que os dados estejam seguros quando eles se movem entre sistemas, a arquitetura usa as seguintes estratégias.
-
A transferência de dados de um centro de dados do cliente para o Oracle Cloud usa uma VPN ou Oracle Cloud Infrastructure FastConnect.
-
O acesso SQL usa nome do usuário e senha para autenticação.
- O Oracle Autonomous JSON Database pode controlar o acesso usando uma ACL (network access control list). Usando uma lista de controle de acesso, um banco de dados específico só aceita conexões de endereços especificados na lista de controle de acesso e rejeita todas as outras conexões do cliente. Por padrão, quando não há listas de controle de acesso à rede especificadas, o banco de dados é acessível a partir de qualquer endereço IP.
Conectividade do Banco de Dados
Há três maneiras diferentes de se conectar ao Oracle Autonomous JSON Database.
-
A maioria das organizações protege redes e dispositivos em uma rede usando um firewall. Um firewall controla o tráfego de rede de entrada e saída usando regras que permitem o uso de determinadas portas e o acesso a determinados computadores (ou, mais especificamente, endereços IP ou nomes de host). Um firewall separa as redes internas e a internet pública.
O Oracle Autonomous JSON Database pode ser acessado usando a internet pública. Para acessar o Oracle Autonomous JSON Database por trás de um firewall, o firewall deve permitir o uso da porta especificada na conexão de banco de dados ao estabelecer conexão com os servidores na conexão. O número da porta default para Oracle Autonomous JSON Database é 1522.
-
O Oracle Cloud Infrastructure FastConnect fornece uma maneira fácil de conectar sua rede local ao Oracle Autonomous JSON Database usando o FastConnect Public Peering. O Oracle Cloud Infrastructure FastConnect oferece opções de largura de banda mais altas e uma experiência de rede mais confiável e consistente do que as conexões baseadas na Internet. Sem o Oracle Cloud Infrastructure FastConnect, o tráfego destinado a endereços IP públicos é roteado pela internet.
-
O Oracle Autonomous JSON Database suporta acesso privado de recursos do Oracle Cloud Infrastructure em uma rede virtual na nuvem (VCN) usando um dos dois métodos:
-
Ponto final privado
-
Gateway de serviço
Com qualquer opção de acesso privado, o tráfego permanece na rede Oracle Cloud Infrastructure e não atravessa a internet. No entanto, se você usar um gateway de serviço, as solicitações para o serviço usarão um ponto final público para o serviço.
Se não quiser usar um ponto final público, você poderá usar um ponto final privado no seu VCN. Um ponto final privado é representado como um endereço IP privado dentro de uma sub-rede na sua VCN. O ponto final privado só está disponível com o Oracle Autonomous JSON Database na infraestrutura compartilhada do Exadata.
Tanto o gateway de serviço quanto o ponto final privado permitem conectividade com a Oracle Autonomous JSON Database de endereços IP privados em sub-redes privadas sem a necessidade de um gateway de internet na sua VCN. Depois de configurar um gateway de serviço ou ponto final privado, não há etapas especiais necessárias para estabelecer conexão com o Oracle Autonomous JSON Database.
-
Sobre Serviços Necessários para Carregamento Automatizado de um Data Mart para Análise Avançada de Linha de Negócios
-
Oracle Autonomous JSON Database
-
Oracle Cloud Infrastructure Object Storage
-
Oracle Functions
-
Oracle Cloud Infrastructure Events
Consulte Saiba como obter os serviços do Oracle Cloud for Oracle Solutions para obter os serviços de nuvem de que você precisa.
Além disso, ele utiliza as seguintes tecnologias:
-
Oracle Functions: A função em si é gravada no Python.
Para desenvolver funções localmente ou em uma instância de computação no Oracle Cloud Infrastructure, você também precisará instalar a plataforma de desenvolvimento do Fn Project no GitHub.
-
Docker: Funções executadas como contêineres Docker no Oracle Cloud Infrastructure. Este documento pressupõe que você desenvolva funções em um sistema Linux local que tenha o Docker versão 17.10.0 ou posterior instalado. Para obter informações sobre como instalar o Docker no Linux, consulte Oracle Container Runtime para o Docker User 's Guide.
-
Oracle SQL Developer Web: O Oracle SQL Developer Web é uma interface baseada em browser do Oracle SQL Developer, que oferece um subconjunto dos recursos disponíveis na versão desktop. O Oracle SQL Developer Web fornece um ambiente de desenvolvimento e uma interface de administração de banco de dados para o Oracle Database no Oracle Public Cloud.
Você também pode fazer download e instalar o cliente Oracle SQL Developer completo a partir do seguinte local, aceitando o contrato de licença e clicando no link Fazer Download associado ao seu sistema operacional:
-
Oracle Analytics Desktop: fornece exploração e visualização avançadas de dados pessoais em um download simples do desktop. O Oracle Analytics Desktop é a ferramenta perfeita para a exploração rápida de dados de amostra de várias origens ou para análise e investigação rápidas de seus próprios conjuntos de dados locais.
Faça download e instale o Oracle Analytics Desktop clicando no link Fazer Download no seguinte local: