Replicar dados do HeatWave no OCI para o Autonomous AI Lakehouse

Saiba como usar o OCI GoldenGate para replicar dados do HeatWave na OCI para o Autonomous AI Lakehouse.

Antes de começar

Para concluir este início rápido com sucesso, você deve ter o seguinte:

Configuração do ambiente: HeatWave no OCI

Para configurar o ambiente para esse Início Rápido:

  1. Faça download do script dos dados de amostra e, em seguida, execute o script no HeatWave no banco de Dados do OCI para criar o banco de Dados e carregar os dados.

  2. Crie um usuário ggadmin usando o script a seguir. Lembre-se de substituir o <ggadmin-password> por uma senha válida:

    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';

  3. Abra o port 3306, por meio do qual o OCI GoldenGate pode se conectar.

    1. Na console do Oracle Cloud, localize a sub-rede que o HeatWave no banco de dados do OCI usa.

    2. Na lista de segurança da sub-rede, crie uma regra de Entrada para a port TCP/3306.

  4. Faça download dos scripts de esquema de destino e, em seguida, execute os scripts na instância do Autonomous AI Lakehouse para criar o esquema e tabelas. Você pode usar a ferramenta SQL do Autonomous AI Lakehouse Database Actions para executar os scripts:

    1. Na console do Oracle Cloud, abra a página de detalhes do banco de dados do Autonomous AI Lakehouse e selecione Database Actions.

    2. No Database Actions, em Development, selecione SQL.

    3. Na ferramenta SQL, copie e cole o script de OCIGGLL_OCIGGS_SETUP_USERS_ADW.sql na planilha SQL e selecione Executar Script. Se a execução for bem-sucedida, a guia Saída do Script exibirá mensagens de confirmação.

    4. Limpe a planilha SQL e copie e cole somente os scripts Criar Tabela de OCIGGLL_OCIGGS_SRC_MIRROR_USER_SEED_DATA.sql. Os dados serão carregados em uma tarefa posterior.

      Dica: Talvez você precise executar cada instrução Criar Tabela separadamente para que a ferramenta SQL execute os scripts com sucesso.

    5. Para verificar se as tabelas foram criadas com sucesso, feche a janela SQL e reabra-a novamente. Na guia Navegador, procure o esquema SRC_OCIGGLL e selecione as tabelas em suas respectivas listas drop-down.

Tarefa 1: Criar os recursos do OCI GoldenGate

Este exemplo de início rápido exige implantações e conexões para a origem e o destino.

  1. Crie uma implantação para o banco de dados HeatWave de origem no OCI.

  2. Crie uma implantação para o Autonomous AI Lakehouse de destino.

  3. Crie uma conexão com o HeatWave de origem no banco de dados OCI.

  4. Crie uma conexão para o Autonomous AI Lakehouse de destino.

  5. Crie uma conexão com o GoldenGate e atribua essa conexão à implantação do MySQL de origem.

  6. Atribua a conexão de fonte à implantação do MySQL de fonte.

  7. Atribua a conexão de destino à implantação do Oracle de alvo.

Tarefa 2: Criar os processos de Extract

  1. Na página Implantações, selecione a implantação do MySQL criada na Tarefa 1.

  2. Na página de detalhes da implantação, selecione Iniciar Console.

  3. Acesse a console de implantação do MySQL de origem usando as credenciais de Administrador especificadas quando você criou a implantação na Tarefa 1.

  4. No menu de navegação, selecione Conexões de BD.

  5. Verifique as credenciais do HeatWave na conexão do OCI. Anote o Domínio e o Alias.

  6. Adicione e execute um Extract de Captura de Dados de Alteração com os seguintes valores:

    • Para Tipo de Extração, selecione Alterar Captura de Dados.

    • Para Nome do Processo, informe um nome para o processo de Extração.

    • Em Domínio, selecione o domínio.

    • Em Alias, selecione o alias.

    • Para Nome da Trilha de Extração, informe um nome para o arquivo da Trilha.

    • Na página Arquivo de Parâmetros, adicione o seguinte:

      TABLE SRC_OCIGGLL.*;

  7. Adicione e execute um Extract de Carga Inicial com os seguintes valores:

    • Para Tipo de Extração, selecione Extração de Carga Inicial.

    • Para Nome do Processo, informe um nome.

    • Na página Arquivo de Parâmetros, adicione o seguinte:

      TABLE SRC_OCIGGLL.*;

Tarefa 3: Criar o Caminho de Distribuição para uma Extração de Carga Inicial

  1. Na página Implantações, selecione a implantação do Autonomous AI Database de destino.

  2. Na página de detalhes da implantação, selecione Iniciar Console e, em seguida, faça log-in como usuário administrador.

  3. Se estiver usando o armazenamento de credenciais do IAM, prossiga para a etapa Criar um Caminho de Distribuição. Se estiver usando o armazenamento de credenciais do GoldenGate, crie um usuário com o qual o GoldenGate de origem use para estabelecer conexão com o GoldenGate de destino.

    1. No menu de navegação, selecione Administração de Usuários.

    2. Selecione Adicionar Novo Usuário (ícone de adição), preencha os campos da seguinte forma e selecione Submeter:

      • Para Username, informe ggsnet.

      • Para Atribuição, selecione Operador.

      • Digite a senha duas vezes para verificação.

  4. No console do MySQL de origem, crie uma Conexão de Caminho para o usuário criado na etapa anterior.

    1. No menu de navegação, selecione Conexões de Caminho.

    2. Selecione Adicionar Conexão de Caminho (ícone de mais), preencha os campos da seguinte forma e selecione Submeter:

      • Para o Alias de Credencial, digite dpuser.

      • Para ID do Usuário, digite ggsnet

      • Para Senha, digite a mesma senha usada na etapa anterior.

  5. Criar um Caminho de Distribuição.

    1. Na barra de menus do serviço, selecione Serviço de Distribuição e, em seguida, selecione Adicionar Caminho de Distribuição (ícone de mais).

    2. Preencha o formulário Adicionar Caminho da seguinte forma:

      • Na página Informações do Caminho:

        1. Para Nome do Caminho, informe um nome para este caminho.

        2. Selecione Próximo.

      • Na página Opções de Origem:

        1. Para Extração de Origem, deixe em branco.

        2. Para Nome da Trilha, informe o nome de trilha de Extração da Carga Inicial (I1).

        3. Selecione Próximo.

      • Na página Opções de Destino:

        1. Para Destino, selecione wss.

        2. Para o Host do Destino, informe o URL da implantação do destino, sem https:// ou qualquer barra à esquerda.

        3. Para o Número de Porta, informe 443.

        4. Para Nome da Trilha, informe I1.

        5. Para Método de Autenticação de Destino, selecione Alias de ID de Usuário.

        6. Para Domínio, informe o nome do domínio criado na etapa anterior.

        7. Para Alias, informe o alias criado na etapa anterior (dpuser).

        8. Selecione Próximo.

    3. Selecione Criar e Executar.

    Você retorna à página Serviço de Distribuição, na qual pode revisar o caminho criado.

  6. Verifique o Caminho de Distribuição:

    1. Selecione Serviço do Recebedor.

    2. Verifique os detalhes do Caminho de Distribuição.

Tarefa 4: Adicionar um Processo de Replicat para o Processo de Extract da Carga Inicial

  1. Na console de implantação do OCI GoldenGate de destino, adicione uma tabela de checkpoint.

    1. Abra o menu de navegação, em seguida, selecione Conexões de BD.

    2. Selecione Estabelecer Conexão com o banco de dados.

    3. No menu de navegação, selecione Checkpoint.

    4. Na página Checkpoint, selecione Adicionar Checkpoint(ícone de mais).

    5. Para Tabela de Checkpoint, informe SRCMIRROR_OCIGGLL.CHECKTABLE.

    6. Selecione Enviar.

      Dica: A tela não será atualizada no envio. Para confirmar que a tabela de checkpoint foi adicionada, informe o SRCMIRROR_OCIGGLL.CHECKTABLE no campo de pesquisa e selecione Pesquisar.

  2. Adicione o processo de Replicat:

    1. Selecione Serviço do Administrador e, em seguida, selecione Adicionar Replicat (ícone de mais).

    2. Na página Adicionar Replicat, preencha os campos de formulário a seguir e selecione Próximo.

      • Para o tipo Replicat, selecione Replicação Não Integrada.

      • Para Nome do Processo, informe um nome, como RIL.

    3. Na página Opções de Replicat, preencha os seguintes campos de formulário e selecione Próximo:

      • Para Nome, informe o nome da Trilhas da Tarefa 2 (I1).

      • Para Domínio, selecione o domínio da conexão do Autonomous AI Database.

      • Para Alias, selecione o alias da conexão do Autonomous AI Database.

      • Para Tabela de Checkpoint, selecione a tabela de Checkpoint que você criou na Etapa 1.

    4. Na página Opções Gerenciadas, deixe os campos como estão e selecione Próximo.

    5. Na página Parâmetros de Replicação, adicione o seguinte mapeamento e selecione Criar e executar:

      MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;

    Você retornará à página Visão Geral, na qual poderá revisar os detalhes do processo de Replicat.

  3. Selecione o processo de Replicat (RIL) e exiba seus Detalhes.

  4. Selecione Estatísticas e verifique o número de Inserções. Atualize a página.

    • Se o número de Inserções não for alterado, todos os registros da Carga Inicial serão carregados e você poderá interromper o Replicat (RIL)

    • Se o número de Inserções continuar a aumentar, mantenha a atualização da página até que os registros de Carga Inicial sejam todos carregados antes de continuar.

Tarefa 5: Verificar a carga inicial

  1. Na console do Oracle Cloud, abra o serviço Database Actions na página detalhes de banco de dados do Autonomous AI Lakehouse.

  2. No Database Actions, em Development, selecione SQL.

  3. Na ferramenta SQL, informe cada uma das seguintes instruções na planilha e selecione Executar Instrução:

    SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CITY;
SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CUSTOMER;

A saída deve retornar os dados que foram carregados nas tabelas do banco de dados de destino como resultado da Carga Inicial.

Tarefa 6: Criar um Caminho de Distribuição para uma Captura de Dados de Alteração

  1. Na console de implantação de origem, selecione Serviço de Distribuição.

  2. Selecione Adicionar Caminho de Distribuição.

  3. Preencha o formulário Adicionar Caminho da seguinte forma:

    1. Na página Informações do Caminho:

      1. Para Nome do Caminho, informe um nome.

      2. Selecione Próximo.

    2. Na página Opções de Origem:

      1. Para Extração de Origem, selecione a Extração da Captura de Dados de Alteração (ECDC).

      2. Para Nome da Trilha, selecione o arquivo da trilha de Captura de Dados de Alteração (C1).

      3. Selecione Próximo.

    3. Na página Opções de Destino:

      1. Para Destino, selecione wss.

      2. Para Host de Destino, informe o URL da console de implantação de destino (você pode encontrar isso na página de detalhes da implantação, sem https:// ou qualquer barra à direita).

      3. Para o Número de Porta, informe 443.

      4. Para Nome da Trilha, informe C1.

      5. Para Método de Autenticação de Destino, selecione Alias de ID de Usuário.

      6. Em Domínio, digite o nome do domínio.

      7. Para Alias, informe o alias.

    4. Selecione Criar Caminho e Executar.

  4. Na console da implantação de destino, selecione Serviço do Receptor e verifique o caminho do Receptor criado.

Tarefa 7: Adicionar um processo de Replicat para Captura de Dados de Alteração

  1. Adicione a Replicação com os seguintes valores:

    1. Na página Informações do Replicat:

      • Para Tipo de Replicat, selecione Replicat Coordenado.

      • Para Nome do Processo, informe um nome, como RCDC.

    2. Na página Opções de Replicat:

      • Para Trilha de Replicat, informe o nome da Trilha da Tarefa 2 (C1).

      • Para Domínio, selecione o domínio da conexão do Autonomous AI Database.

      • Para Apelido, informe o Apelido da Credencial.

      • Para Tabela de Checkpoint, selecione a tabela de Checkpoint que você criou.

    3. Na página Parâmetros de Replicação, adicione o seguinte mapeamento e selecione Criar e executar:

      MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;

  2. Na página Visão Geral do Serviço de Administração, selecione o processo Replicat da Carga Inicial (RIL) e exiba seus Detalhes.

  3. Selecione Estatísticas e verifique o número de Inserções. Atualize a página.

    • Se o número de Inserções não for alterado, todos os registros da Carga Inicial terão sido carregados e você poderá interromper o processo de Replicat (RIL)

    • Se o número de Inserções continuar a aumentar, mantenha a atualização da página até que os registros de Carga Inicial sejam todos carregados antes de continuar.

  4. Retorne à página Visão Geral do Serviço de Administração e inicie o RCDC (Coordinated Replicat).

  5. Depois de iniciar o Replicat Coordenado, revise seus Detalhes e Estatísticas para exibir o número de Inserções.

Tarefa 8: Verificar Captura de Dados de Alteração

Execute atualizações no banco de dados de origem do HeatWave no OCI para verificar a replicação para o Autonomous AI Lakehouse.

  1. No OCI Bastion, crie uma sessão de encaminhamento de porta SSH usando o IP do MySQL e a porta 3306. Adicione a chave SSH pública.

  2. Conecte-se ao MySQL no Cloud Shell usando sua chave privada e a porta 3306.

  3. Após a conexão bem-sucedida, execute o seguinte comando:

    mysqlsh admin@localhost:3306 --sql

  4. Execute o seguinte script para executar inserções no banco de dados HeatWave no OCI:

    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;

  5. Na console da implantação do MySQL de origem, selecione o nome da Extração da Captura de Dados de Alteração e, em seguida, selecione Estatísticas. Verifique se SRC_OCIGGLL.SRC_CITY tem 10 inserções.

Observação: Se o Extract não tiver inserções capturadas, reinicie o Extract.

Tarefa 9: Monitorar e manter processos

  1. Monitorar o processo de replicação.

  2. Gerenciar arquivos de Trilha.