Observação:

Crie a Replicação de Dados do Fusion SaaS no Oracle Autonomous Data Warehouse usando o OCI Data Integration

Introdução

O Oracle Cloud Infrastructure Data Integration é um serviço totalmente gerenciado e multilocatário que ajuda engenheiros e desenvolvedores de dados com tarefas de movimentação e carregamento de dados. Com tecnologia dos processos ETL (extrair, transformar e carregar) do Spark ou ELT (extrair, carregar e transformar), um grande volume de dados pode ser ingerido de uma variedade de ativos de dados; limpo, transformado e remodelado; e carregado com eficiência nos ativos de dados de destino da OCI (Oracle Cloud Infrastructure).

Há duas ferramentas que podem ser usadas para exportar dados em massa do Oracle Fusion Cloud ERP (Oracle Cloud ERP): Oracle Business Intelligence Publisher (BI Publisher) e Oracle Business Intelligence Cloud Connector (BICC).

Objetivo

Pré-requisitos

Tarefa 1: Provisionar Conectividade de Rede

Para configurar o OCI Data Integration, precisamos provisionar os componentes de rede primeiro.

Ao criar componentes de rede, você tem duas opções, dependendo do seu caso de uso, para ativar o espaço de trabalho de integração de dados.

  1. Faça log-in na Console do OCI, navegue até Rede e Redes Virtuais na Nuvem.

    Criar uma Configuração de VCN

  2. Selecione o compartimento no qual você deseja seus recursos e clique em Iniciar Assistente de VCN.

    Fazer Upload de Objetos

  3. Selecione Criar VCN com Conectividade de Internet. Isso aumentará todos os recursos relacionados necessários para que a sua VCN se conecte à internet.

    Fazer Upload de Objetos

    Fazer Upload de Objetos

    Essa configuração de VCN criará automaticamente sub-rede pública e privada para você com gateway de internet para conectividade com a internet externa. Sua VCN será semelhante a:

    Fazer Upload de Objetos

    As tabelas de roteamento para sub-redes públicas e privadas são criadas automaticamente. Se você estiver criando seus recursos na sub-rede privada, certifique-se de que uma rota para Todos os Serviços no Oracle Services Network seja adicionada à sua tabela de roteamento.

    Fazer Upload de Objetos

Se você tiver recursos na sub-rede privada e tiver preocupações sobre segurança, consulte Noções Básicas sobre a Configuração da VCN para o Oracle Cloud Infrastructure (OCI) Data Integration.

Tarefa 2: Criar Bucket do OCI Object Storage

  1. Vá para a Console do OCI, navegue até Storage, Buckets e clique em Create Bucket.

    Fazer Upload de Objetos

    Fazer Upload de Objetos

    Seu bucket foi criado.

    Fazer Upload de Objetos

Tarefa 3: Conectar-se ao Autonomous Database

Supondo que você já tenha provisionado o ADW, na Console do OCI,

  1. Vá para a Console do OCI, navegue até Oracle Databases e Autonomous Data Warehouse.

    Fazer Upload de Objetos

  2. Em Compartimento, selecione seu ADW.

    Fazer Upload de Objetos

  3. Clique em Conexão do banco de dados para fazer download da wallet.

    Fazer Upload de Objetos

    Fazer Upload de Objetos

  4. Clique em Fazer Download e salve-o no sistema local.

    Fazer Upload de Objetos

Tarefa 4: Provisionar o OCI Data Integration

Para criar a integração de dados, você precisa ter determinadas políticas.

  1. Vá para a Console do OCI, navegue até Identidade e Segurança e Políticas.

    Fazer Upload de Objetos

  2. No compartimento raiz, clique em Criar Política, selecione Mostrar editor manual e adicione as políticas a seguir.

    • Para criar um espaço de trabalho de integração de dados e exibir usuários:

      allow group <group-name> to manage dis-workspaces in compartment <compartment-name>
      
      allow group <group-name> to manage dis-work-requests in compartment <compartment-name>
      
      allow service dataintegration to inspect users in tenancy
      
    • Ativar acesso privado no espaço de trabalho:

      allow service dataintegration to use virtual-network-family in compartment <compartment-name>
      
      allow group <group-name> to manage virtual-network-family in compartment <compartment-name>
      
    • Para o OCI Object Storage necessário para banco de dados autônomo e Oracle Fusion Applications:

      allow group <group-name> to use object-family in compartment <compartment-name>
      
      allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>’}
      
      allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>’}
      
      allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}
      
    • Para o banco de dados autônomo:

      allow group <group-name> to read autonomous-database-family in compartment <compartment-name>
      

    Fazer Upload de Objetos

  3. Clique em Criar. Quando todas as políticas estiverem em vigor, vá para o serviço Data Integration para criar espaço de trabalho.

  4. Vá para a Console do OCI, navegue até Analytics & AI e Data Integration.

    Fazer Upload de Objetos

  5. Selecione Espaços de Trabalho, selecione seu compartimento e selecione Criar Espaço de Trabalho.

    Fazer Upload de Objetos

  6. Informe o Nome do espaço de trabalho e selecione Ativar Rede privada como Seleção de rede.

    Fazer Upload de Objetos

  7. Clique em Criar.

Tarefa 5: Extrair Dados do Oracle Fusion Cloud ERP para o ADW

Tarefa 5.1: Conectar Bucket do OCI ao BICC

Agora, criaremos uma conexão no BICC, que é o componente do Oracle Fusion Applications, que permite interagir e extrair dados de diferentes aplicativos.

Conectaremos o BICC ao armazenamento externo, que é o bucket da OCI, no nosso caso. O bucket do OCI atua como uma área de preparação na qual todos os arquivos extraídos do BICC serão armazenados antes de serem extraídos para o ADW por meio do OCI Data Integration.

  1. Informe o URL do seu BICC, que está no seguinte formato: https://fa-eqgj-dev11-saasfademo1.ds-fa.oraclepdemos.com/biacm.

    Fazer Upload de Objetos

    Você será direcionado para a Console do BICC.

    Fazer Upload de Objetos

  2. No painel direito, selecione Configurar Armazenamento Externo.

    Fazer Upload de Objetos

  3. Clique em Conexão do OCI Object Storage e em + para adicionar uma nova conexão do OCI Object Storage e você será direcionado para a nova console de conexão.

    Fazer Upload de Objetos

    Fazer Upload de Objetos

  4. Na seção Parâmetros do OCI, especifique as seguintes informações.

    • Nome: Informe um nome para a sua conexão de armazenamento.

    • Host: O host será um dos seguintes, dependendo da sua região.

      • objectstorage.ap-mumbai-1.oraclecloud.com

      • objectstorage.ap-seoul-1.oraclecloud.com

      • objectstorage.ap-sydney-1.oraclecloud.com

      • objectstorage.ap-tokyo-1.oraclecloud.com

      • objectstorage.ca-toronto-1.oraclecloud.com

      • objectstorage.eu-frankfurt-1.oraclecloud.com

      • objectstorage.eu-zurich-1.oraclecloud.com

      • objectstorage.sa-saopaulo-1.oraclecloud.com

      • objectstorage.uk-london-1.oraclecloud.com

      • objectstorage.us-ashburn-1.oraclecloud.com

      • objectstorage.us-phoenix-1.oraclecloud.com

      Observação: Para obter outros parâmetros necessários, vá para a Console do OCI.

    • OCID da tenancy: Digite o OCID da tenancy.

      Fazer Upload de Objetos

      Fazer Upload de Objetos

    • Namespace: Informe o namespace.

      Fazer Upload de Objetos

    • OCID do Usuário: Vá para a Console do OCI, clique no seu nome de usuário e copie o OCID.

      Fazer Upload de Objetos

      Fazer Upload de Objetos

    • Nome do bucket: Informe o nome do bucket do OCI Object Storage criado na seção Pré-requisito.

    Fazer Upload de Objetos

    Fazer Upload de Objetos

  5. Clique em Gerar Chave de Assinatura de API. Isso gerará a Impressão Digital e Exportar Chave Pública para exportar a chave pública no sistema local.

    Fazer Upload de Objetos

    Fazer Upload de Objetos

  6. Vá até a Console do OCI. Na página Detalhes do Usuário, clique em Chaves de API, Adicionar Chave de API e cole o arquivo oci_api_key.

    Fazer Upload de Objetos

    Fazer Upload de Objetos

  7. Clique em Escolher Arquivo de Chave Pública e selecione o arquivo baixado na última etapa.

    Fazer Upload de Objetos

    Isso gerará a Impressão Digital e adicionará essa impressão digital à lista de chaves de API para seu usuário. Você verá que a impressão digital criada é igual à gerada na Console do BICC.

    Fazer Upload de Objetos

  8. Vá para a Console do BICC e selecione Testar Conexão.

    Fazer Upload de Objetos

  9. Ele fornecerá uma mensagem de conexão Bem-sucedida. Clique em Ok e salve a conexão.

    Fazer Upload de Objetos

Depois que a conexão com o bucket do OCI Object Storage for estabelecida na Console do BICC, criaremos as conexões no serviço OCI Data Integration.

Tarefa 5.2: Criar Conexões no OCI Data Integration

  1. Vá para a Console do OCI, navegue até Analytics & AI e Data Integration.

    Fazer Upload de Objetos

  2. Clique em Espaços de Trabalho, selecione o compartimento e o espaço de trabalho de integração de dados criados na Tarefa 4.

    Fazer Upload de Objetos

  3. Na Console do OCI Data Integration, crie os ativos de dados.

    Em nosso ativo de dados, nosso sistema de origem é a conexão BICC e a conexão de destino é ADW. Para criar um ativo de dados do ADW, o pré-requisito é criar um Ativo de Dados do OCI Object Storage também. Então, criaremos 3 ativos de dados.

    • BICC
    • OCI Object Storage
    • ADW

    Clique em Criar ativo de dados.

    Fazer Upload de Objetos

  4. Na lista de origens de dados, selecione o conector do Fusion Apps – BICC.

    Fazer Upload de Objetos

    1. Na seção Informações Gerais, insira as informações a seguir.

      • Nome: Digite um nome (por exemplo, ERP_CloudConn).

      • Tipo: Selecione Oracle Fusion Applications.

      • Host do Oracle fusion applications: este é o link para seu ambiente do Fusion (por exemplo, fa-eqgj-dev11-saasfademo1.ds-fa.oraclepdemos.com).

      Fazer Upload de Objetos

    2. Na seção Informações de Conexão Padrão, digite as informações a seguir e Testar Conexão.

      • Tipo: Selecione Oracle BI Cloud Connector.

      • Nome do usuário: Informe o nome do usuário do BICC.

      • Selecione Usar senha.

      • Senha: Informe a senha do BICC.

      • Configuração padrão de armazenamento externo do BICC: Selecione a conexão de armazenamento externo criada na Console do BICC.

      Fazer Upload de Objetos

  5. Quando o status da conexão for Com Êxito, clique em Criar.

    Fazer Upload de Objetos

  6. Em Selecionar tipo de ativo de Dados, selecione OCI Object Storage.

    Fazer Upload de Objetos

    Informe o Nome da conexão (ObjectStorageConn). Você observará que os demais campos são preenchidos automaticamente em sua tenancy do OCI Data Integration. Deixe o restante dos campos como estão e clique em Testar Conexão.

    Fazer Upload de Objetos

    Fazer Upload de Objetos

  7. Após uma conexão bem-sucedida, clique em Criar.

    Observação: Certifique-se de adicionar as políticas mencionadas nos pré-requisitos deste documento antes de criar conexão com o OCI Object Storage e o ADW no OCI Data Integration.

  8. Clique em Criar Ativo de Dados. Em Selecionar tipo de ativo de Dados, selecione Oracle ADW.

    Fazer Upload de Objetos

    1. Em Informações gerais, digite as seguintes informações.

      • Nome: Informe ADWTarget.

      • Tipo: Selecione Oracle Autonomous Data Warehouse.

      • Selecione Fazer Upload da Wallet.

      • Arquivo de wallet: Selecione o arquivo de wallet baixado nas etapas iniciais de download da conexão de banco de dados do ADW.

      • Senha da wallet (Opcional): Adicione a senha da wallet.

      Fazer Upload de Objetos

    2. Em Informações de Conexão Padrão, digite as informações a seguir.

      • Nome de Usuário: Informe admin.

      • Selecione Usar Senha.

      • Senha: Digite a senha do usuário administrador do ADW.

      • Alias de TNS: Selecione entre as opções alta, média e baixa disponíveis.

      Fazer Upload de Objetos

    3. Em Local de preparação padrão, digite as seguintes informações.

      • Ativo de dados do Object Storage: Selecione o ativo de dados (ObjectStorageConn) criado nas etapas anteriores.

      • Conexão: Selecione Conexão padrão.

      • Compartimento: Na lista de compartimentos, selecione o compartimento no qual reside o bucket do OCI Object Storage.

      • Bucket: Selecione o bucket que foi conectado ao BICC.

      Fazer Upload de Objetos

  9. Clique em Testar conexão para testar a conexão e, após a conexão Bem-sucedida, clique em Criar.

    Fazer Upload de Objetos

  10. Vá para a Console do OCI Data Integration e selecione Ativos de Dados.

    Fazer Upload de Objetos

  11. Nos Ativos de dados, veremos nossos três ativos de dados criados. Uma para BICC, uma para OCI Object Storage e outra para ADW.

    Fazer Upload de Objetos

Tarefa 5.3: Criar Fluxo de Dados

No OCI Data Integration, temos duas opções: uma é criar uma Tarefa do Carregador de Dados e a outra é criar um Data Flow.

Neste tutorial, criaremos um fluxo de dados. No OCI Data Integration, primeiro criaremos um projeto que atuará como um contêiner para recursos de design-time, como tarefas ou fluxos de dados e pipelines.

  1. Na Console do OCI Data Integration, selecione Projetos.

    Fazer Upload de Objetos

  2. Selecione Criar novo.

    Fazer Upload de Objetos

    Fazer Upload de Objetos

  3. Na página de detalhes do Projeto, clique em Fluxos de dados e selecione Criar fluxo de dados.

    Fazer Upload de Objetos

  4. Na página Fluxo de dados, você pode alterar o nome.

    Fazer Upload de Objetos

  5. Na página Operadores, arraste e solte a Origem na tela. Os detalhes da propriedade do conector de origem serão abertos na parte inferior.

    Fazer Upload de Objetos

  6. Em Propriedades, digite as seguintes informações.

    • Identificador: Digite ERP_Financial.

    • Ativo de Dados: Selecione o ativo de dados ERP criado no OCI Data Integration.

      Fazer Upload de Objetos

    • Conexão: Selecione Conexão padrão.

      Fazer Upload de Objetos

    • Esquema: Selecione Esquema financeiro.

      Fazer Upload de Objetos

    • Entidade de dados: Selecione Exibir Tudo e Tipo será FscmTopModelAM.FinExtractAM.ArBiccExtractAM.CustomerProfileClassExtractPVO e clique em Enter.

      Clique na caixa de seleção do perfil do cliente Objetos de Exibição Pública (PVO) e Selecionar.

      Fazer Upload de Objetos

      Selecione Estratégia de Extração como Completa. No caso de carregamentos incrementais, você pode selecionar Incremental.

      A data de extração inicial é opcional, portanto, deixe-a como está. Caso contrário, quando necessário para programar o vínculo de extração, você poderá fazê-lo neste campo.

    • Armazenamento de configuração Externa do BICC: Selecione o nome da conexão de armazenamento externo criada na Console do BICC.

      Fazer Upload de Objetos

      Fazer Upload de Objetos

      No final, você verá todos os campos selecionados para sua tabela de origem.

      Fazer Upload de Objetos

  7. Na página Operadores, arraste e solte o conector de Destino na tela.

    Fazer Upload de Objetos

  8. Em Propriedades, digite as seguintes informações.

    • Identificador: Digite ERPCustomerDetail.

    • Selecione Criar nova entidade de dados.

    • Ativo de Dados: Selecione o ativo de dados ADW criado no OCI Data Integration.

    • Conexão: Selecione Conexão padrão.

    • Esquema: Selecione Exibir Tudo e Admin.

    • Entidade de Dados: Como estamos criando uma nova entidade de dados no ADW de destino, nomeie a nova tabela que precisa ser criada.

      Fazer Upload de Objetos

    • Local de preparação: Selecione usar local de preparação padrão.

      Fazer Upload de Objetos

    • Estratégia de Integração: Selecione Inserir.

      Fazer Upload de Objetos

  9. Vá para a tela, conecte o operador de origem (ERP_Financial) com o operador de destino (ERPCustomerData).

    Fazer Upload de Objetos

  10. Clique em Validar.

    Fazer Upload de Objetos

  11. Após a validação, clique em Criar e Fechar.

    Fazer Upload de Objetos

    Uma vez concluído, podemos ver o fluxo de dados em nosso projeto.

    Fazer Upload de Objetos

  12. Em seguida, crie uma tarefa de Integração.

    As tarefas de integração no OCI Data Integration permitem que você pegue seu design de fluxo de dados e selecione os valores de parâmetro que deseja usar no runtime. Com a ajuda de tarefas de integração, você pode criar várias tarefas com configurações distintas para o mesmo fluxo de dados.

    Na pasta Projeto, navegue até Tarefas, Criar Tarefa e Integração.

    Fazer Upload de Objetos

  13. Na página Criar tarefa de integração, digite as seguintes informações.

    • Nome: Informe o nome da tarefa.
    • Projeto ou pasta: Selecione o nome do projeto ou pasta.
    • Selecione o fluxo de dados que foi criado do ERP para o ADW.

    Fazer Upload de Objetos

  14. Depois que a validação tiver sido Com Êxito, clique em Criar e Fechar.

    Fazer Upload de Objetos

  15. Na página do projeto, você verá um fluxo de dados e uma tarefa é criada.

    Fazer Upload de Objetos

  16. Para publicar a tarefa, precisamos criar um Aplicativo.

    Aplicativo é um contêiner para tarefas publicadas, fluxos de dados e suas dependências. Você pode executar tarefas publicadas em um aplicativo para teste ou implantá-las em produção.

    Vá para a Console do OCI Data Integration, navegue até Aplicativos e selecione Criar Aplicativo, Criar novo.

    Fazer Upload de Objetos

    Fazer Upload de Objetos

  17. Selecione Criar Aplicativo em branco, digite um Nome e clique em Criar.

    Fazer Upload de Objetos

    Fazer Upload de Objetos

  18. Vá para Projetos e selecione a pasta do projeto.

  19. Clique em Tarefas, selecione sua tarefa de integração e clique em Publicar no aplicativo.

    Fazer Upload de Objetos

  20. Selecione Nome do aplicativo e clique em Publicar.

    Fazer Upload de Objetos

  21. Vá para a Console do OCI Data Integration, selecione Aplicativos e clique no seu aplicativo.

    Fazer Upload de Objetos

  22. Na página de detalhes do Aplicativo, clique em Tarefas e você poderá ver a tarefa de integração.

    Fazer Upload de Objetos

  23. Clique nos três pontos.

    Fazer Upload de Objetos

  24. Clique em Executar. Para programar a execução posteriormente, você pode selecionar Programar.

    Veremos nossa tarefa em execução na pasta Execuções do aplicativo.

    Fazer Upload de Objetos

    Fazer Upload de Objetos

  25. Após a execução ter sido bem sucedida, iremos ao nosso ADW para verificar.

Vá para a Console do OCI, navegue até Oracle Database e Autonomous Data Warehouse. Selecione sua instância ADW.

![Upload Objects](./images/Picture90.png "image")

![Upload Objects](./images/Picture91.png "image")
  1. Na página Detalhes do Autonomous Database, selecione SQL no menu drop-down Ações do banco de dados.

    Fazer Upload de Objetos

    No editor de SQL, você verá no usuário ADMIN que a tabela que criamos em nosso fluxo de dados foi criada.

    Fazer Upload de Objetos

  2. Execute esta instrução na Planilha SQL.

    select * from ADMIN.ERPCUSTOMERDATA;
    

    Ele mostrará todos os dados do seu arquivo de dados do aplicativo ERP financeiro.

    Fazer Upload de Objetos

  3. Além do ADW, se formos para nosso bucket do OCI Object Storage, encontraremos nossos dados de arquivo extraídos em nosso bucket agindo como o local de preparação.

    Fazer Upload de Objetos

Isso conclui a extração de dados do Oracle Fusion Cloud ERP para o ADW usando o OCI Data Integration.

Próximas Etapas

Você viu um caso de uso simples de como mover os dados do Oracle Fusion Cloud ERP para o ADW usando o serviço OCI Data Integration. Você pode personalizar o plano de migração para atender aos requisitos do seu aplicativo. Para obter mais detalhes, consulte a documentação do OCI Data Integration Service na seção Links Relacionados.

Confirmações

Mais Recursos de Aprendizagem

Explore outros laboratórios em docs.oracle.com/learn ou acesse mais conteúdo de aprendizado gratuito no canal Oracle Learning YouTube. Além disso, visite education.oracle.com/learning-explorer para se tornar um Oracle Learning Explorer.

Para obter a documentação do produto, visite o Oracle Help Center.