Replicar dados de HeatWave para o Amazon Kinesis

Saiba como usar o OCI GoldenGate para replicar dados de HeatWave para o Amazon Kinesis.

Antes de começar

Para concluir este início rápido com sucesso, você deve ter:

Configuração do ambiente: HeatWave

Para configurar o ambiente para esse Início Rápido:
  1. Faça download do script de dados de amostra e, em seguida, execute o script no banco de dados HeatWave para criar o banco de dados e carregar os dados.
  2. Crie um usuário ggadmin usando o script a seguir. Lembre-se de substituir <ggadmin-password> por uma senha válida:
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. Abra port 3306, por meio do qual o OCI GoldenGate pode estabelecer conexão.
    1. Na console do Oracle Cloud, localize a sub-rede que o banco de dados HeatWave usa.
    2. Na lista de segurança da sub-rede, crie uma regra de Entrada para port TCP/3306.

Tarefa 1: Criar os recursos do OCI GoldenGate

  1. Crie uma implantação MySQL para o banco de dados de origem HeatWave.
  2. Crie uma implantação de Big Data para o destino do Amazon Kinesis.
  3. Crie uma conexão com o Banco de Dados Heatwave de origem.
  4. Conecte-se ao Amazon Kinesis.
  5. Crie uma conexão com GoldenGate e designe essa conexão à implantação MySQL de origem.
  6. Designe a conexão de origem à implantação do MySQL de origem.
  7. Designe a conexão de destino à implantação de Big Data de destino.

Tarefa 2: Criar o Extract

  1. Na página Implantações, selecione a implantação do MySQL criada na Tarefa 1.
  2. Na página de detalhes da implantação, clique em Iniciar Console.
  3. Acesse a console de implantação do MySQL de origem usando as credenciais de Administrador especificadas quando você criou a implantação na Tarefa 1.
  4. Adicione um Change Data Capture Extract com os seguintes valores:
    • Tipo de Extract: Change Data Capture Extract
    • Nome do Processo: ECDC
    • Extract Trail Nome: C1
    • Arquivo de Parâmetro: Substitua MAP *.*, TARGET *.*; por TABLE SRC_OCIGGLL.*;

Tarefa 3: Criar o Distribution Path para a implantação do Big Data de destino

  1. Se estiver usando o armazenamento de credenciais do IAM, prossiga com a Etapa 3. Se estiver usando o armazenamento de credenciais GoldenGate, crie um usuário com o qual a origem GoldenGate use para estabelecer conexão com o destino GoldenGate.
    1. Na página Implantações, selecione a implantação do Big Data de destino.
    2. Na página de detalhes da implantação, clique em Iniciar Console e faça log-in como o usuário administrador.
    3. No menu de navegação da console de implantação, clique em Administração de Usuários.
    4. Clique em Adicionar Novo Usuário (ícone de mais), preencha os campos da seguinte forma e clique em Submeter:
      • Para Nome do Usuário, digite ggsnet.
      • Para Atribuição, selecione Operador.
      • Digite a senha duas vezes para verificação.
  2. Na console de implantação MySQL de origem, crie um Path Connection para o usuário criado na etapa anterior.
    1. Abra o menu de navegação e clique em Path Connection.
    2. Clique em Adicionar Path Connection (ícone de mais), preencha os campos a seguir e clique em Submeter:
      • Para Alias da Credencial, digite dpuser.
      • Para ID do Usuário, digite ggsnet
      • Para Senha, digite a mesma senha usada na etapa anterior.
  3. Na console de implantação MySQL de origem adicione um Distribution Path com os seguintes valores:
    1. Na página Opções de Origem:
      • Para Origem Extract, selecione o Extract criado na Tarefa 2.
      • Para Nome da Trilha, digite um nome de dois caracteres, como C1.
    2. Na página Opções de Destino:
      • Para Host de Destino, informe o domínio do host da implantação de destino.
      • Para Port Number, digite 443.
      • Para Nome da Trilha, digite um nome de dois caracteres, como C1.
      • Para Alias, informe o Alias da Credencial criado na Etapa 2.
  4. Na console de implantação do Big Data do OCI de destino GoldenGate, verifique o Receiver path criado como resultado do Distribution Path:
    1. Clique em Receiver Service.
    2. Verifique os detalhes de Receiver path.

Tarefa 4: Adicionar um Replicat para o Amazon Kinesis

  1. Na implantação do Big Data, clique em Administration Service e, em seguida, clique em Adicionar Replicat (ícone de mais).
  2. Adicione um Replicat com os seguintes valores:
    • Para o tipo Replicat, selecione Classic Replicat
    • Para Nome do Processo, informe um nome.
    • Para Nome da Trilha de Destino, informe o nome da Trilha da Tarefa 2.
    • Para Destino, selecione Amazon Kinesis.
    • Para Aliases Disponíveis para o Amazon Kinesis, selecione seu alias na lista drop-down.
    • Na página Arquivo de Propriedades, edite os campos marcados como #TODO:
      • gg.handler.kinesis.region: forneça a região AWS (Amazon Web Services) para o stream do Kinesis de destino.
      • gg.handler.kinesis.streamMappingTemplate: por padrão, ele é definido como ${tableName}, que mapeará os streams com base no nome da tabela de origem. Se quiser mapear para um fluxo de dados existente, você pode fornecer nomes de fluxo estático ou pode usar Palavras-chave de modelo para atribuir nomes de fluxo dinamicamente.

Tarefa 5: Verificar a Replicação de Dados de HeatWave para o Amazon Kinesis

Execute atualizações no banco de dados de origem HeatWave para verificar a replicação no Amazon Kinesis.
  1. No OCI Bastion, crie uma sessão de encaminhamento de porta SSH usando o IP MySQL e o port 3306. Adicione a chave SSH pública.
  2. Conecte-se ao MySQL no Cloud Shell usando sua chave privada e o port 3306.
  3. Após a conexão bem-sucedida, execute o seguinte comando:
    mysqlsh admin@localhost:3306 --sql
  4. Execute o seguinte script para fazer inserções no banco de dados HeatWave:
    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;
  5. Na console de implantação do MySQL de origem, selecione o nome Change Data Capture Extract (CDCEXT) e clique em Estatísticas. Verifique se SRC_OCIGGLL.SRC_CITY tem 10 inserções.
  6. Na console de implantação do Big Data de destino, selecione o Nome Replicat e clique em Estatísticas. Verifique se SRC_OCIGGLL.SRC_CITY tem 10 inserções.
  7. No Amazon Kinesis, você pode verificar as mensagens no stream de dados/visualizador de dados de destino.