Enviar Dados do HeatWave para Hubs de Eventos do Azure

Saiba como usar o OCI GoldenGate para replicar dados de HeatWave para Azure Event Hubs.

Antes de começar

Para concluir esse início rápido com sucesso, você deve ter:

  • O OCI Bastion, para estabelecer conexão com o Banco de Dados HeatWave, carregar o banco de dados de amostra e executar inserções.
  • Um Banco de Dados HeatWave para servir como o banco de dados de origem.
  • Um namespace dos Hubs de Eventos do Azure e um hub de eventos criados

    Observação:

    O Kafka Surface não está ativado na Camada Básica dos Hubs de Eventos do Azure. O nível Padrão ou Premium é obrigatório.

Configuração do ambiente: HeatWave

Para configurar o ambiente para esse Início Rápido:
  1. Faça download do script de dados de amostra e, em seguida, execute o script no banco de dados HeatWave para criar o banco de dados e carregar os dados.
  2. Crie um usuário ggadmin usando o script a seguir. Lembre-se de substituir <ggadmin-password> por uma senha válida:
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. Abra port 3306, por meio do qual o OCI GoldenGate pode estabelecer conexão.
    1. Na console do Oracle Cloud, localize a sub-rede que o banco de dados HeatWave usa.
    2. Na lista de segurança da sub-rede, crie uma regra de Entrada para port TCP/3306.

Tarefa 1: Criar os recursos do OCI GoldenGate

  1. Crie uma implantação MySQL para o banco de dados de origem HeatWave.
  2. Crie uma implantação do Big Data para os Hubs de Eventos do Azure de destino.
  3. Crie uma conexão com o Banco de Dados Heatwave MySQL de origem.
  4. Crie uma conexão do Azure Event Hubs.
  5. Crie uma conexão com GoldenGate e designe essa conexão à implantação MySQL de origem.
  6. Designe a conexão de origem à implantação do MySQL de origem.
  7. Designe a conexão de destino à implantação de Big Data de destino.

Tarefa 2: Criar o Extract

  1. Na página Implantações, selecione a implantação do MySQL criada na Tarefa 1.
  2. Na página de detalhes da implantação, clique em Iniciar Console.
  3. Acesse a console de implantação do MySQL de origem usando as credenciais de Administrador especificadas quando você criou a implantação na Tarefa 1.
  4. Adicione um Change Data Capture Extract com os seguintes valores:
    • Tipo de Extract: Change Data Capture Extract
    • Nome do Processo: ECDC
    • Extract Trail Nome: C1
    • Arquivo de Parâmetro: Substitua MAP *.*, TARGET *.*; por TABLE SRC_OCIGGLL.*;

Tarefa 3: Criar o Distribution Path para a implantação do Big Data de destino

  1. Se estiver usando o armazenamento de credenciais do IAM, prossiga com a Etapa 3. Se estiver usando o armazenamento de credenciais GoldenGate, crie um usuário com o qual a origem GoldenGate use para estabelecer conexão com o destino GoldenGate.
    1. Na página Implantações, selecione a implantação do Big Data de destino.
    2. Na página de detalhes da implantação, clique em Iniciar Console e faça log-in como o usuário administrador.
    3. No menu de navegação da console de implantação, clique em Administração de Usuários.
    4. Clique em Adicionar Novo Usuário (ícone de mais), preencha os campos da seguinte forma e clique em Submeter:
      • Para Nome do Usuário, digite ggsnet.
      • Para Atribuição, selecione Operador.
      • Digite a senha duas vezes para verificação.
  2. Na console de implantação MySQL de origem, crie um Path Connection para o usuário criado na etapa anterior.
    1. Abra o menu de navegação e clique em Path Connection.
    2. Clique em Adicionar Path Connection (ícone de mais), preencha os campos a seguir e clique em Submeter:
      • Para Alias da Credencial, digite dpuser.
      • Para ID do Usuário, digite ggsnet
      • Para Senha, digite a mesma senha usada na etapa anterior.
  3. Na console de implantação MySQL de origem adicione um Distribution Path com os seguintes valores:
    1. Na página Opções de Origem:
      • Para Origem Extract, selecione o Extract criado na Tarefa 2.
      • Para Nome da Trilha, digite um nome de dois caracteres, como C1.
    2. Na página Opções de Destino:
      • Para Host de Destino, informe o domínio do host da implantação de destino.
      • Para Port Number, digite 443.
      • Para Nome da Trilha, digite um nome de dois caracteres, como C1.
      • Para Alias, informe o Alias da Credencial criado na Etapa 2.
  4. Na console de implantação do Big Data do OCI de destino GoldenGate, verifique o Receiver path criado como resultado do Distribution Path:
    1. Clique em Receiver Service.
    2. Verifique os detalhes de Receiver path.

Tarefa 4: Adicionar um Replicat para Azure Event Hubs

  1. Na implantação do Big Data, clique em Administrator Service e, em seguida, clique em Adicionar Replicat (ícone de mais).
  2. Adicione um Replicat com os seguintes valores:
    1. Na página Informações de Replicat, em tipo Replicat, selecione Classic Replicat e informe um Nome de Processo.
    2. Na página Opções Replicat:
      • Para Nome da Trilha, digite o nome da Trilha da Tarefa 2.
      • Para Destino, selecione um Azure Event Hubs.
      • Para Alias, selecione a conexão do Azure Event Hubs criada na Tarefa 1.
    3. Na página Parâmetros Replicat, deixe o padrão.
    4. Na página Arquivo de Propriedades, forneça um nome de tópico para topicMappingTemplate.
    5. Clique em Criar e Executar.

Tarefa 5: Verificar a Replicação de Dados de HeatWave para Azure Event Hubs

Execute atualizações no banco de dados de origem HeatWave para verificar a replicação nos Hubs de Eventos do Azure.
  1. No OCI Bastion, crie uma sessão de encaminhamento de porta SSH usando o IP MySQL e o port 3306. Adicione a chave SSH pública.
  2. Conecte-se ao MySQL no Cloud Shell usando sua chave privada e o port 3306.
  3. Após a conexão bem-sucedida, execute o seguinte comando:
    mysqlsh admin@localhost:3306 --sql
  4. Execute o seguinte script para fazer inserções no banco de dados HeatWave:
    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;
  5. Na console de implantação do MySQL de origem, selecione o nome do Change Data Capture Extract e clique em Estatísticas. Verifique se SRC_OCIGGLL.SRC_CITY tem 10 inserções.
  6. Na console de implantação do Big Data de destino, selecione o nome Replicat e clique em Estatísticas. Verifique se SRC_OCIGGLL.SRC_CITY tem 10 inserções.
  7. Em Hubs de Eventos do Azure, você pode verificar as estatísticas da mensagem.