Replicar dados do HeatWave para o Amazon Kinesis

Saiba como usar o OCI GoldenGate para replicar dados do HeatWave para o Amazon Kinesis.

Antes de começar

Para concluir com sucesso esse início rápido, você deve ter:

OCI Bastion, para estabelecer conexão com o HeatWave, carregar o banco de dados de amostra e executar inserções.
Um banco de dados HeatWave para servir como banco de dados de origem.
Chave e segredo de acesso do Amazon S3
Políticas do IAM para o Amazon Kinesis

Configuração do ambiente: HeatWave

Para configurar o ambiente para esse Início Rápido:

Faça download do script dos dados de amostra e, em seguida, execute o script no HeatWave no banco de Dados do OCI para criar o banco de Dados e carregar os dados.

Crie um usuário ggadmin usando o script a seguir. Lembre-se de substituir o <ggadmin-password> por uma senha válida:

CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';

Abra o port 3306, por meio do qual o OCI GoldenGate pode se conectar.
1. Na console do Oracle Cloud, localize a sub-rede que o HeatWave no banco de dados do OCI usa.
2. Na lista de segurança da sub-rede, crie uma regra de Entrada para a port TCP/3306.

Tarefa 1: Criar os recursos do OCI GoldenGate

Crie uma implantação do MySQL para o banco de dados HeatWave de origem.
Crie uma implantação de Big Data para o destino do Amazon Kinesis.
Crie uma conexão com o Banco de Dados do Heatwave de origem.
Estabeleça conexão com o Amazon Kinesis.
Crie uma conexão com o GoldenGate e atribua essa conexão à implantação do MySQL de origem.
Atribua a conexão de fonte à implantação do MySQL de fonte.
Designe a relação de destino à implantação de Big Data de destino.

Tarefa 2: Criar o Processo de Extract

Na página Implantações, selecione a implantação do MySQL criada na Tarefa 1.
Na página de detalhes da implantação, selecione Iniciar Console.
Acesse a console de implantação do MySQL de origem usando as credenciais de Administrador especificadas quando você criou a implantação na Tarefa 1.
Adicionar um Extract de Captura de Dados de Alteração com os seguintes valores:
- Tipo de Extração: Extração de Captura de Dados de Alteração
- Nome do Processo: ECDC
- Nome da Trilha de Extração: C1
- Arquivo de Parâmetro: Substitua MAP *.*, TARGET *.*; por TABLE SRC_OCIGGLL.*;

Tarefa 3: Criar o Caminho de Distribuição para a implantação do Big Data de destino

Se estiver usando o armazenamento de credenciais do IAM, prossiga na Etapa 3. Se estiver usando o armazenamento de credenciais do GoldenGate, crie um usuário com o qual o GoldenGate de origem use para estabelecer conexão com o GoldenGate de destino.
1. Na página Implantações, selecione a implantação do Big Data de destino.
2. Na página de detalhes da implantação, selecione Iniciar Console e, em seguida, faça log-in como usuário administrador.
3. No menu de navegação da console de implantação, selecione Administração de Usuários.
4. Selecione Adicionar Novo Usuário (ícone de adição), preencha os campos da seguinte forma e selecione Submeter:
  - Para Username, informe ggsnet.
  - Para Atribuição, selecione Operador.
  - Digite a senha duas vezes para verificação.
No console do MySQL de origem, crie uma Conexão de Caminho para o usuário criado na etapa anterior.
1. Abra o menu de navegação. Em seguida, selecione Conexão de Caminho.
2. Selecione Adicionar Conexão de Caminho (ícone de mais), preencha os campos da seguinte forma e selecione Submeter:
  - Para Alias da Credencial, informe dpuser.
  - Para User ID, informe ggsnet
  - Para Senha, informe a mesma senha usada na etapa anterior.
No console de implantação do MySQL de origem, adicione um Caminho de Distribuição com os seguintes valores:
1. Na página Opções de Origem:
  - Para Extração de Origem, selecione a Extração criada na Tarefa 2.
  - Para Nome da Trilha, informe um Nome de dois caracteres, como C1
2. Na página Opções de Destino:
  - Para Host do Destino, informe o domínio do host da implantação do destino.
  - Para o Número de Porta, informe 443.
  - Para Nome da Trilha, informe um Nome de dois caracteres, como C1
  - Para Alias, informe o Alias da Credencial criado na Etapa 2.
Na console de implantação do OCI GoldenGate Big Data de destino, verifique o caminho do Receptor criado como resultado do Caminho de Distribuição:
1. Selecione Serviço do Recebedor.
2. Verifique os detalhes do caminho do Receptor.

Tarefa 4: Adicionar uma Replicação para o Amazon Kinesis

Na implantação do Big Data, selecione Replicatos e, em seguida, selecione Adicionar Replicat (ícone de mais).
Adicionar uma Replicação com os seguintes valores:
- Para o tipo Replicat, selecione Replicat Clássico
- Para Nome do Processo, informe um nome.
- Para Nome da Trilha de Destino, informe o nome da Trilha da Tarefa 2.
- Para Destino, selecione Amazon Kinesis.
- Para Alias Disponíveis para o Amazon Kinesis, selecione seu alias no menu suspenso.
- Na página Arquivo de Propriedades, edite os campos marcados como #TODO:
  - gg.handler.kinesis.region: forneça a região AWS (Amazon Web Services) para o fluxo do Kinesis de destino.
  - gg.handler.kinesis.streamMappingTemplate: por padrão, é definido como ${tableName}, que mapeará os streams com base no nome da tabela de origem. Se quiser mapear para um fluxo de dados existente, você poderá fornecer nomes de fluxos estáticos ou poderá usar Palavras-chave do Modelo para designar nomes de fluxos dinamicamente.

Tarefa 5: Verificar a Replicação de Dados do HeatWave para o Amazon Kinesis

Execute atualizações no banco de dados HeatWave de origem para verificar a replicação no Amazon Kinesis.

No OCI Bastion, crie uma sessão de encaminhamento de porta SSH usando o MySQL IP e o port 3306. Adicione a chave SSH pública.
Estabeleça conexão com o MySQL no Cloud Shell usando sua chave privada e o port 3306.
Após a conexão bem-sucedida, execute o seguinte comando:
```
mysqlsh admin@localhost:3306 --sql
```

Execute o seguinte script para executar inserções no banco de dados HeatWave:

use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;

Na console da implantação do MySQL de origem, selecione o nome da Extração da Captura de Dados de Alteração (ECDC) e, em seguida, selecione Estatísticas. Verifique se o SRC_OCIGGLL.SRC_CITY tem 10 inserções.
Na console de implantação do Big Data de destino, selecione o Nome do Replicat e, em seguida, selecione Estatísticas. Verifique se o SRC_OCIGGLL.SRC_CITY tem 10 inserções.
No Amazon Kinesis, você pode verificar as mensagens no visualizador de fluxo de dados/dados de destino.