Replicar Dados do Autonomous Transaction Processing para o Azure Synapse Analytics

Esse início rápido demonstra como configurar uma replicação de dados do Autonomous Transaction Processing para o Azure Synapse Database usando o OCI GoldenGate.

Antes de começar

Para concluir este início rápido com sucesso, você deve ter o seguinte:

  • Espaço de Trabalho do Azure Synapse
  • Contêiner de Armazenamento do Azure associado ao Espaço de Trabalho do Azure Synapse
  • Credencial com Escopo do Banco de Dados do Azure Synapse para conceder permissões ao pool de SQL para acessar a Conta de Armazenamento
  • Existência da tabela de destino: As tabelas de destino devem existir no banco de dados Synapse antes da replicação. Como GoldenGate usa a Instrução SQL de Mesclagem, a tabela de destino deve ser uma tabela distribuída por hash.
  • Conexão do OCI GoldenGate Azure Data Lake Storage designada à implantação. Se ele não existir, crie uma conexão de Armazenamento do Azure Data Lake e designe à implantação.

Configuração do ambiente: Autonomous Transaction Processing

Se você ainda não tiver um banco de dados de origem configurado para replicação, poderá seguir estas etapas para carregar um esquema de amostra a ser usado para esse início rápido. Esse início rápido usa o Autonomous Transaction Processing para o banco de dados de origem.

Para configurar o Autonomous Database de origem:

  1. Faça download e descompacte o esquema de banco de dados de amostra.
  2. Na console do Oracle Cloud, selecione a instância do Autonomous Transaction Processing (ATP) na página Autonomous Databases para exibir seus detalhes e acessar o Database Actions.
  3. Desbloqueie o usuário GGADMIN:
    1. Clique em Ações do banco de dados e, em seguida, clique em Usuários do Banco de Dados.
    2. Localize GGADMIN e clique em seu menu de reticências (três pontos) e selecione Editar.
    3. No painel Editar Usuário, informe a senha GGADMIN, confirme a senha e desmarque A conta está Bloqueada.
    4. Clique em Aplicar Alterações.
  4. Carregue os dados e o esquema de amostra de origem:
    1. No menu do Database Actions, em Desenvolvimento, selecione SQL.
    2. Copie e cole o script de OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql na planilha SQL.
    3. Clique em Executar Script. A guia Saída do Script exibe mensagens de confirmação.
    4. Limpe a planilha SQL e copie e cole o script SQL de OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.

      Dica:

      Talvez seja necessário executar cada instrução separadamente para que a ferramenta SQL execute os scripts com sucesso.
    5. Para verificar se as tabelas foram criadas com sucesso, feche a janela SQL e reabra-a novamente. Na guia Navegador, procure o esquema SRC_OCIGGLL e selecione tabelas em suas respectivas listas drop-down.
  5. Ative o registro em log complementar:
    1. Desmarque a Planilha SQL.
    2. Informe a seguinte instrução e clique em Executar Instrução:
      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

Configuração do ambiente: Azure Synapse

  1. Abra o Azure Synapse Workspace.
  2. Clique em Novo e, em seguida, em Script de SQL.
  3. Estabeleça conexão com o pool de sql e selecione o banco de dados.
  4. Digite o seguinte comando para criar uma Criptografia de Chave Mestre:
    CREATE MASTER KEY ENCRYPTION BY PASSWORD='<password>';
  5. Use o seguinte comando para criar a Credencial com Escopo do Banco de Dados:
    Certifique-se de substituir os placeholders <storage-account-name> e <storage-account-access-key> por seus valores reais.
    CREATE DATABASE SCOPED CREDENTIAL <credential name>
    WITH
    IDENTITY='<storage-account-name>',
    SECRET='<storage-account-access-key>';
  6. Executar o script de criação de tabela:
    CREATE TABLE [dbo].[SRC_CUSTOMER] (
       CUSTID         NUMERIC(10) NOTNULL,
       DEAR           NUMERIC(1),
       LAST_NAME      VARCHAR(50),
       FIRST_NAME     VARCHAR(50),
       ADDRESS        VARCHAR(100),
       CITY_ID        NUMERIC(10),
       PHONE          VARCHAR(50),
       AGE            NUMERIC(3),
       SALES_PERS_ID  NUMERIC(10),
       constraint PK_SRC_CUSTOMER primarykeyNONCLUSTERED (CUSTID) NOT ENFORCED
    )
    WITH(DISTRIBUTION=HASH ([CUSTID]), HEAP ) GO
  7. Verifique se a tabela dbo.SRC_Customer foi criada.

Tarefa 2: Adicionar o Extract

  1. Na página Implantações, selecione a implantação do Autonomous Transaction Processing de origem.
  2. Na página de detalhes da implantação, clique em Iniciar Console.
  3. Faça log-in com o nome de usuário e a senha do administrador da implantação de origem.
  4. Adicionar informações de transação.
  5. Adicione um Extract..

Tarefa 3: Adicionar e executar o Distribution Path

  1. Se estiver usando o armazenamento de credenciais GoldenGate, crie um usuário para o Caminho de Distribuição na implantação do Big Data de destino; caso contrário, pule para a Etapa 3.
  2. Na console de implantação GoldenGate do ATP de origem, adicione uma Conexão de Caminho para o usuário criado na Etapa 1.
    1. Na console de implantação GoldenGate do ATP de origem, clique em Conexões de Caminho na navegação esquerda.
    2. Clique em Adicionar Conexão de Caminho (ícone de mais) e conclua o seguinte:
      1. Para Alias da Credencial, digite GGSNetwork.
      2. Para ID do Usuário, digite o nome do usuário criado na Etapa 1.
      3. Digite a senha do usuário duas vezes para verificação.
    3. Clique em Enviar.

      A conexão de caminho aparece na lista Conexões de Caminho.

  3. Na console de implantação ATP de origem, adicione um Caminho de Distribuição com os seguintes valores:
    1. Na página Opções de Origem:
      • Para Extract de Origem, selecione o processo de Extract criado na Tarefa 2.
      • Para Nome da Trilha, digite um nome de dois caracteres, como E1.
    2. Na página Opções de Destino:
      • Para Host de Destino, informe o domínio do host da implantação de destino.
      • Para Número da Porta, digite 443.
      • Para Nome da Trilha, digite um nome de dois caracteres, como E1.
      • Para Alias, informe o Alias da Credencial criado na Etapa 2.
  4. Na console de implantação do Big Data de destino, verifique o Receiver Path criado como resultado do Distribution Path.
    1. Na console de implantação do Big Data de destino, clique em Receiver Service.
    2. Verifique os detalhes do caminho. Esse caminho foi criado como resultado do Distribution Path criado na etapa anterior.

Tarefa 4: Adicionar e executar o Replicat

  1. Na console de implantação do Big Data de destino, clique em Administrator Service e, em seguida, clique em Adicionar Replicat (ícone de mais).
  2. Adicione um Replicat com os seguintes valores:
    1. Na página Informações de Replicat, no tipo Replicat, selecione Classic Replicat, digite um Nome de Processo e clique em Próximo.
    2. Na página Opções de Replicação:
      • Para Nome, digite o nome da Trilha da Tarefa 2.
      • Para Domínio, selecione um domínio.
      • Para Alias, selecione a conexão do Azure Synapse Analytics criada na Tarefa 1.
      • Para Tabela de Checkpoint, selecione a tabela de checkpoint criada para a implantação de destino.
    3. Na página Parâmetros Replicat, substitua MAP *.*, TARGET *.*; por:
      MAP SRC_OCIGGLL.SRC_CUSTOMER, TARGET dbo.SRC_CUSTOMER;
    4. Clique em Criar e Executar.
Você retornará à página Visão Geral, na qual poderá revisar os detalhes de Replicat.

Tarefa 5: Verificar a replicação

Execute algumas atualizações na instância do Autonomous Transaction Processing de origem para verificar a replicação no Azure Data Lake Storage.
  1. Na console do Oracle Cloud, abra o menu de navegação, selecione Oracle Database e, em seguida, selecione Autonomous Transaction Processing.
  2. Na lista de instâncias do Autonomous Transaction Processing, selecione sua instância de origem para exibir os detalhes dela.
  3. Na página de detalhes do banco de dados, clique em Database Actions.

    Observação:

    Você deverá ter feito log-in automaticamente. Caso contrário, faça log-in com as credenciais do banco de dados.
  4. Na página inicial Database Actions, selecione SQL.
  5. Informe o seguinte na planilha e clique em Executar Script.
  6. Na console de implantação do OCI GoldenGate de origem, selecione o nome Extract e clique em Estatísticas. Verifique se SRC_OCIGGLL.SRC_CUSTOMER tem 7 inserções.
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1001,0,'Brendt','Paul','10 Jasper Blvd.',107,'(212) 555 2146',19,10);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1002,0,'McCarthy','Robin','27 Pasadena Drive',11,'(214) 555 3075',29,11);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1003,0,'Travis','Peter','7835 Hartford Drive',12,'(510) 555 4448',34,12);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1004,0,'Larson','Joe','87 Carmel Blvd.',13,'(213) 555 5095',45,13);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1005,0,'Goldschmidt','Tony','91 Torre drive',14,'(619) 555 6529',55,20);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1006,0,'Baker','William','2890 Grant Avenue',15,'(312) 555 7040',64,21);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1007,0,'Swenson','Jack','64 Imagination Drive',19,'(202) 555 8125',74,22)
  7. Na console de implantação GoldenGate do Big Data OCI de destino, selecione o nome Replicat e clique em Estatísticas. Verifique se SRC_OCIGGLL.SRC_CUSTOMER tem 7 inserções.
  8. Na console do Azure, navegue até a Console do espaço de trabalho do Azure Synapse. Execute Select * em dbo.SRC_CUSTOMER e verifique se SRC_OCIGGLL.SRC_CUSTOMER tem 7 inserções.

Tarefa 6: Monitorar e manter processos

  1. Monitorar o desempenho.
  2. Gerenciar arquivos de Trilha.