Carregar
Você aprenderá sobre três opções de arquitetura e armazenamento intermediário para carregar dados do Oracle Cloud ERP no Snowflake.
Carregar Dados no Snowflake Usando Baixo Código
Essa arquitetura usa o OCI GoldenGate e o Oracle Data Transforms como as principais ferramentas de integração de dados. Use essa opção se você já estiver usando essas ferramentas e tiver pelo menos um banco de dados Oracle em execução na OCI que possa ser usado como preparação para o Snowflake.
migrar-fa-snowflake-goldengate-data-int-oracle.zip
A opção usa o Oracle Data Transforms e o OCI GoldenGate como principais ferramentas de extração e replicação. Os dados são carregados primeiro em uma área de preparação dos bancos de dados Oracle e depois no Snowflake. O conector GoldenGate-Snowflake tem diferentes opções de configuração. Essa arquitetura usa a configuração padrão. Os dados são atualizados no destino a cada 30 segundos. É em tempo real na origem, mas quase em tempo real no destino.
Siga o blog OCI GoldenGate Data Transforms extraindo dados do Oracle Fusion ERP para configurar o Oracle Data Transforms para extrair dados do Oracle Cloud ERP. No OCI GoldenGate, você precisa criar duas implantações. A primeira para a tecnologia Oracle em que uma extração é configurada para a lista de tabelas criadas pelo Oracle Data Transforms. A segunda implantação é para tecnologias de Big Data nas quais o Snowflake está incluído.
Revise este blog para Usar OCI GoldenGate para Snowflake Initial Load e Real-time Data Sync para configurar implantações e o processo de extração e replicação para Snowflake.
Essa arquitetura suporta os seguintes componentes:
- Oracle Autonomous Data Warehouse
O Oracle Autonomous Data Warehouse é um serviço de banco de dados autônomo, autoprotegido e autorreparável, otimizado para cargas de trabalho de data warehousing. Você não precisa configurar nem gerenciar nenhum hardware, nem instalar nenhum software. A OCI lida com a criação, o backup, a aplicação de patches, o upgrade e o ajuste do banco de dados.
- OCI Object Storage
O OCI Object Storage oferece acesso a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de banco de dados, dados analíticos e conteúdo avançado como imagens e vídeos. Você pode armazenar dados com segurança diretamente de aplicativos ou de dentro da plataforma de nuvem. Você pode dimensionar o armazenamento sem sofrer qualquer degradação no desempenho ou na confiabilidade de serviço.
Use o armazenamento padrão para armazenamento de acesso frequente que você precisa para acessar de forma rápida, imediata e com frequência. Use o armazenamento de arquivos compactados para armazenamento "frio" que você mantém por longos períodos de tempo e raramente acessa.
- Oracle Data Transforms
O Oracle Data Transforms permite projetar transformações gráficas de dados na forma de cargas de dados, fluxos de dados e fluxos de trabalho sem exigir que você escreva qualquer código. As Cargas de Dados fornecem uma maneira conveniente de carregar dados no Oracle Autonomous Database. Os fluxos de dados definem como os dados são movidos e transformados entre sistemas diferentes, enquanto os fluxos de trabalho definem a sequência na qual os fluxos de dados são executados.
- OCI GoldenGate
O Oracle Cloud Infrastructure GoldenGate é um serviço gerenciado que fornece uma plataforma de malha de dados em tempo real, replicação para manter os dados altamente disponíveis e análise em tempo real. Você pode projetar, executar e monitorar suas soluções de replicação de dados e streaming de dados sem alocar ou gerenciar ambientes de computação.
Carregar Dados no Snowflake Usando o Spark
Essa arquitetura usa o Spark (Data Flow) para ler dados do OCI Object Storage, seguido pela API Python do Snowflake para carregar os dados no Snowflake.
Depois que você configurar os jobs do BICC, os arquivos ZIP ficarão no OCI Object Storage. Essa arquitetura de referência usa duas ferramentas diferentes. Data Science para desenvolvimento e teste. O serviço Data Flow como uma ferramenta Spark para executar o código e carregar os dados do OCI Object Storage para o Snowflake. O spark usa um driver JDBC que pode ser submetido a download na documentação do Snowflake.
migrar-fa-snowflake-spark-object-storage-oracle.zip
Essa arquitetura suporta os seguintes componentes:
- Data Science
O Oracle Cloud Infrastructure Data Science é uma plataforma totalmente gerenciada e serverless que as equipes de ciência de dados podem usar para criar, treinar e gerenciar modelos de machine learning (ML) na OCI. Ele pode ser facilmente integrado a outros serviços da OCI, como Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage e muito mais. Você pode criar e avaliar modelos de machine learning de alta qualidade que aumentam a flexibilidade dos negócios, colocando os dados confiáveis da empresa para funcionar rapidamente e pode oferecer suporte a objetivos de negócios orientados por dados com implementação mais fácil de modelos de ML. O serviço Data Science permite que cientistas de dados e engenheiros de machine learning usem pacotes do Repositório Anaconda gratuitamente.
- OCI Object Storage
O OCI Object Storage oferece acesso a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de banco de dados, dados analíticos e conteúdo avançado como imagens e vídeos. Você pode armazenar dados com segurança diretamente de aplicativos ou de dentro da plataforma de nuvem. Você pode dimensionar o armazenamento sem sofrer qualquer degradação no desempenho ou na confiabilidade de serviço.
Use o armazenamento padrão para armazenamento de acesso frequente que você precisa para acessar de forma rápida, imediata e com frequência. Use o armazenamento de arquivos compactados para armazenamento "frio" que você mantém por longos períodos de tempo e raramente acessa.
- OCI Data Flow
O Oracle Cloud Infrastructure Data Flow é um serviço Apache Spark totalmente gerenciado que executa tarefas de processamento em conjuntos de informações extremamente grandes — sem infraestrutura para implementar ou gerenciar. O serviço Data Flow é um programa visual que representa o fluxo de dados dos ativos de dados de origem, como um banco de dados ou arquivo simples, para ativos de dados de destino, como um Data Lake ou Data Warehouse. O designer de interface do usuário intuitivo do OCI Data Integration é aberto quando você cria, exibe ou edita um fluxo de dados.
Carregar Dados no Armazenamento na Nuvem e Copiar no Snowflake
Essa arquitetura usa várias APIs de armazenamento em nuvem com Python para copiar os dados do OCI Object Storage para outros provedores de nuvem, como AWS S3, Google Cloud Storage ou Azure Blob Storage.
Primeiro, instale e configure o armazenamento em nuvem relevante para sua organização:
- Carregue dados no Amazon S3 e copie para o Snowflake:
O processo lê os arquivos ZIP do OCI Object Storage e extrai o conteúdo no Amazon S3 de destino. Depois que os arquivos forem copiados, você poderá usar o comando
COPY INTOSnowflake para carregar os dados em tabelas. - Carregue dados no Google Cloud Storage e copie para o Snowflake:
- Instalar o Google Cloud SDK
- Configuração do Google Cloud Storage para integração de armazenamento Snowflake
COPY INTOSnowflake para carregar os dados em tabelas. - Carregue dados no Armazenamento de Blob do Azure e copie para o Snowflake: Configuração de contêiner do Azure para integração de armazenamento do Snowflake. O processo lê os arquivos ZIP do OCI Object Storage e extrai o conteúdo no Azure Blob Storage de destino. Depois que os arquivos forem copiados, você poderá usar o comando
COPY INTOSnowflake para carregar os dados em tabelas.
migrar-fa-snowflake-third-party-storage-oracle.zip
Essa arquitetura suporta os seguintes componentes:
- Data Science
O Oracle Cloud Infrastructure Data Science é uma plataforma totalmente gerenciada e serverless que as equipes de ciência de dados podem usar para criar, treinar e gerenciar modelos de machine learning (ML) na OCI. Ele pode ser facilmente integrado a outros serviços da OCI, como Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage e muito mais. Você pode criar e avaliar modelos de machine learning de alta qualidade que aumentam a flexibilidade dos negócios, colocando os dados confiáveis da empresa para funcionar rapidamente e pode oferecer suporte a objetivos de negócios orientados por dados com implementação mais fácil de modelos de ML. O serviço Data Science permite que cientistas de dados e engenheiros de machine learning usem pacotes do Repositório Anaconda gratuitamente.
- OCI Object Storage
O OCI Object Storage oferece acesso a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de banco de dados, dados analíticos e conteúdo avançado como imagens e vídeos. Você pode armazenar dados com segurança diretamente de aplicativos ou de dentro da plataforma de nuvem. Você pode dimensionar o armazenamento sem sofrer qualquer degradação no desempenho ou na confiabilidade de serviço.
Use o armazenamento padrão para armazenamento de acesso frequente que você precisa para acessar de forma rápida, imediata e com frequência. Use o armazenamento de arquivos compactados para armazenamento "frio" que você mantém por longos períodos de tempo e raramente acessa.