Enviar Dados do HeatWave para Hubs de Eventos do Azure

Saiba como usar o OCI GoldenGate para replicar dados do HeatWave para Hubs de Eventos do Azure.

Antes de começar

Para concluir este início rápido com sucesso, você deve ter o seguinte:

• Bastion do OCI, para estabelecer conexão com o HeatWave Database, carregue o banco de dados de amostra e execute as inserções.

• Um Banco de Dados HeatWave para servir como banco de dados de origem.

• Um namespace do Azure Event Hubs e um hub de eventos criados

  Observação: O Kafka Surface não está ativado na Camada Básica do Hub de Eventos do Azure. O nível Padrão ou Premium é obrigatório.

Configuração do ambiente: HeatWave

Para configurar o ambiente para esse Início Rápido:

1. Faça download do script dos dados de amostra e, em seguida, execute o script no banco de Dados HeatWave para criar o banco de Dados e carregar os dados.

2. Crie um usuário ggadmin usando o script a seguir. Lembre-se de substituir o <ggadmin-password> por uma senha válida:

   CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
   GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';

3. Abra o port 3306, por meio do qual o OCI GoldenGate pode se conectar.

   1. Na console do Oracle Cloud, localize a sub-rede que o banco de dados HeatWave usa.

   2. Na lista de segurança da sub-rede, crie uma regra de Entrada para a port TCP/3306.

Tarefa 1: Criar os recursos do OCI GoldenGate

1. Crie uma implantação do MySQL para o banco de dados HeatWave de origem.

2. Crie uma implantação de Big Data para os Hubs de Eventos do Azure de destino.

3. Crie uma conexão com o Banco de Dados MySQL Heatwave de origem.

4. Crie uma conexão do Hubs de Eventos do Azure.

5. Crie uma conexão com o GoldenGate e atribua essa conexão à implantação do MySQL de origem.

6. Atribua a conexão de fonte à implantação do MySQL de fonte.

7. Designe a relação de destino à implantação de Big Data de destino.

Tarefa 2: Criar o Processo de Extract

1. Na página Implantações, selecione a implantação do MySQL criada na Tarefa 1.

2. Na página de detalhes da implantação, selecione Iniciar Console.

3. Acesse a console de implantação do MySQL de origem usando as credenciais de Administrador especificadas quando você criou a implantação na Tarefa 1.

4. Adicionar um Extract de Captura de Dados de Alteração com os seguintes valores:

   • Tipo de Extração: Extração de Captura de Dados de Alteração

   • Nome do Processo: ECDC

   • Nome da Trilha de Extração: C1

   • Arquivo de Parâmetro: Substitua MAP *.*, TARGET *.*; por TABLE SRC_OCIGGLL.*;

Tarefa 3: Criar o Caminho de Distribuição para a implantação do Big Data de destino

1. Se estiver usando o armazenamento de credenciais do IAM, prossiga na Etapa 3. Se estiver usando o armazenamento de credenciais do GoldenGate, crie um usuário com o qual o GoldenGate de origem use para estabelecer conexão com o GoldenGate de destino.

   1. Na página Implantações, selecione a implantação do Big Data de destino.

   2. Na página de detalhes da implantação, selecione Iniciar Console e, em seguida, faça log-in como usuário administrador.

   3. No menu de navegação da console de implantação, selecione Administração de Usuários.

   4. Selecione Adicionar Novo Usuário (ícone de adição), preencha os campos da seguinte forma e selecione Submeter:

      • Para Username, informe ggsnet.

      • Para Atribuição, selecione Operador.

      • Digite a senha duas vezes para verificação.

2. No console do MySQL de origem, crie uma Conexão de Caminho para o usuário criado na etapa anterior.

   1. Abra o menu de navegação. Em seguida, selecione Conexão de Caminho.

   2. Selecione Adicionar Conexão de Caminho (ícone de mais), preencha os campos da seguinte forma e selecione Submeter:

      • Para Alias da Credencial, informe dpuser.

      • Para User ID, informe ggsnet

      • Para Senha, informe a mesma senha usada na etapa anterior.

3. No console de implantação do MySQL de origem, adicione um Caminho de Distribuição com os seguintes valores:

   1. Na página Opções de Origem:

      • Para Extração de Origem, selecione a Extração criada na Tarefa 2.

      • Para Nome da Trilha, informe um Nome de dois caracteres, como C1

   2. Na página Opções de Destino:

      • Para Host do Destino, informe o domínio do host da implantação do destino.

      • Para o Número de Porta, informe 443.

      • Para Nome da Trilha, informe um Nome de dois caracteres, como C1

      • Para Alias, informe o Alias da Credencial criado na Etapa 2.

4. Na console de implantação do OCI GoldenGate Big Data de destino, verifique o caminho do Receptor criado como resultado do Caminho de Distribuição:

   1. Selecione Serviço do Recebedor.

   2. Verifique os detalhes do caminho do Receptor.

Tarefa 4: Adicionar um processo de Replicat para Hubs de Eventos do Azure

1. Na implantação do Big Data, selecione Serviço do Administrador e Adicionar Replicat (ícone de mais).

2. Adicione aReplicat com os seguintes valores:

   1. Na página Informações do Replicat, em Tipo de Replicat, selecione Replicat Clássico e informe um Nome de Processo.

   2. Na página Opções de Replicat:

      • Para Nome da Trilha, informe o nome da Trilha da Tarefa 2.

      • Para Destino, selecione um Hub de Eventos do Azure.

      • Para Alias, selecione a conexão de Hubs de Eventos do Azure criada na Tarefa 1.

   3. Na página Parâmetros de Replicação, deixe o padrão.

   4. Na página Arquivo de Propriedades, forneça um nome de tópico para topicMappingTemplate.

   5. Selecione Criar e Executar.

Tarefa 5: Verificar Replicação de Dados do HeatWave para Hubs de Eventos do Azure

Execute atualizações no banco de dados HeatWave de origem para verificar a replicação para Hubs de Eventos do Azure.

1. No OCI Bastion, crie uma sessão de encaminhamento de porta SSH usando o MySQL IP e o port 3306. Adicione a chave SSH pública.

2. Estabeleça conexão com o MySQL no Cloud Shell usando sua chave privada e o port 3306.

3. Após a conexão bem-sucedida, execute o seguinte comando:

   mysqlsh admin@localhost:3306 --sql

4. Execute o seguinte script para executar inserções no banco de dados HeatWave:

   use SRC_OCIGGLL;
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
   commit;

5. Na console da implantação do MySQL de origem, selecione o nome da Extração da Captura de Dados de Alteração e, em seguida, selecione Estatísticas. Verifique se o SRC_OCIGGLL.SRC_CITY tem 10 inserções.

6. Na console de implantação do Big Data de destino, selecione o nome do processo Replicat e, em seguida, selecione Estatísticas. Verifique se o SRC_OCIGGLL.SRC_CITY tem 10 inserções.

7. Nos Hubs de Eventos do Azure, você pode verificar as estatísticas da mensagem.