Replique dados no Stream Analytics

Aprenda a replicar dados do OCI GoldenGate no Stream Analytics.

O GoldenGate Stream Analytics começou como um mecanismo de Processamento de Eventos Complexos que evoluiu para ser executado em cima de estruturas de runtime com Apache Spark e Apache Kafka. O Stream Analytics pode ingerir um fluxo de dados de qualquer origem, como banco de dados, GoldenGate, Kafka, JMS, REST ou até mesmo um arquivo de sistema de arquivos. Após a ingestão dos dados, você pode executar análises em dados ativos.

Antes de começar

Para concluir com sucesso esse início rápido, você precisa:

• Um Autonomous AI Database de origem com dados de amostra carregados e registro em log complementar ativado.

  Dica:

  Você poderá fazer download dos dados de amostra do OCI GoldenGate, se precisar de dados de amostra para trabalhar.

  • Primeiro, edite SETUP_USERS_ATP.sql e modifique a senha do usuário SRC_OCIGGLL para remover os caracteres especiais.

  • Use a ferramenta SQL de ações do Banco de Dados do Autonomous AI Database para executar os dois scripts para criar o esquema e as tabelas do usuário.

  • Use a ferramenta SQL para ativar o registro em log complementar.

  Siga as etapas em Laboratório 1, Tarefa 3: Carregar o esquema ATP para obter mais detalhes.

• Desbloqueie o usuário GGADMIN na instância do Autonomous AI Database de origem

  1. Na página Detalhes do Autonomous AI Database, selecione Usuários do Banco de Dados no menu Database actions.

     Dica: Use as credenciais de administrador do Autonomous AI Database fornecidas quando você criou a instância para fazer log-in, se solicitado.

  2. Localize o usuário GGADMIN e selecione Editar no menu de reticências (três pontos).

  3. No painel Editar Usuário, informe uma senha, confirme essa senha e depois desmarque Conta Bloqueada.

  4. Selecione Aplicar Alterações.

Tarefa 1: Criar os recursos do OCI GoldenGate

1. Crie a implantação do OCI GoldenGate para a replicação de Dados.

2. Crie uma conexão para o banco de dados de origem.

3. Designe a conexão à implantação.

4. Criar e executar uma Extração.

Tarefa 2: Criar os recursos do Stream Analytics

1. Crie a implantação do Stream Analytics.

2. Crie uma conexão do Kafka usando o IP público da instância do Kafka e selecione Texto sem Formatação para o protocolo de Segurança.

3. Crie uma conexão GoldenGate.

4. Designe as conexões à implantação do Stream Analytics.

Tarefa 3: Criar e executar os pipelines

1. Inicie a console de implantação do Stream Analytics.

2. Verifique as conexões na console de implantação do Stream Analytics.

   1. Na console de implantação do Stream Analytics, selecione Catálogo.

   2. Na página Catálogo, verifique a lista de conexões. Você deverá ver a conexão do GoldenGate, a conexão do Autonomous AI Database e a conexão do Kafka.

3. Inicie o cluster do GoldenGate Big Data:

   1. Na console de implantação do OCI GoldenGate Stream Analytics, selecione Definições do sistema no menu do usuário ossaadmin.

   2. Na caixa de diálogo Definição do Sistema, selecione Gerenciar Clusters e, em seguida, expanda Cluster GGDB.

   3. Selecione Iniciar Cluster. Aguarde até que o status do cluster seja Em Execução e feche a janela de diálogo.

4. Atualize as credenciais de conexão do GoldenGate:

   Embora a conexão do GoldenGate esteja disponível na console de implantação do Stream Analytics, as credenciais do GoldenGate não são transferidas. Atualize a senha e teste a conexão.

   1. Selecione Catálogo e, em seguida, a conexão do GoldenGate.

   2. Na caixa de diálogo Editar Conexão, selecione Próximo.

   3. Para Nome de Usuário do GG, digite oggadmin.

   4. Para Senha do GG, selecione Alterar senha e digite a senha fornecida quando você criou a implantação do OCI GoldenGate para Replicação de Dados na Tarefa 1.

   5. Selecione Testar conexão. Se for bem-sucedido, selecione Salvar.

5. Use o processo Extract do GoldenGate para criar e iniciar Dados de Alteração do GoldenGate.

   Certifique-se de usar os detalhes da Extração fornecidos na Tarefa 1 na página Detalhes dos Dados de Alteração do GG.

6. Atualize o nome de usuário do Autonomous AI Database.

   As conexões de banco de dados são criadas com o usuário padrão, ggadmin. Atualize o nome de usuário para SRC_OCIGGLL (se você usou os dados de amostra fornecidos) para acessar seu esquema e suas tabelas.

   1. Selecione Catálogo e, em seguida, a conexão do Autonomous AI Database.

   2. Na caixa de diálogo Editar Conexão, selecione Próximo.

   3. Para Username, digite SRC_OCIGGLL.

   4. Para Senha, informe a senha SRC_OCIGGLL que você modificou nas etapas Antes de começar no início deste início rápido.

   5. Selecione Testar conexão. Se for bem-sucedido, selecione Salvar.

7. Use as tabelas de pesquisa do Autonomous AI Database para criar Referências para Clientes e Pedidos.

8. Use a conexão do Kafka para criar Streams do Kafka para Clientes e Pedidos.

9. Use a ferramenta SQL do Autonomous AI Database para executar inserções no banco de dados de origem.

   Por exemplo, você pode executar as seguintes inserções:

   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (11,'COM',101,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (12,'COM',102,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (13,'COM',103,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (14,'COM',104,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (15,'COM',105,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (16,'COM',106,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (17,'COM',107,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (18,'COM',201,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (19,'COM',202,to_date('16-AUG-2023','DD-MON-YYYY'),null);

10. Crie um pipeline que use o stream do Kafka criado na Etapa 8.

11. Adicione um estágio de Consulta e, em seguida, adicione um Filtro para retornar somente ordens em que o CUST_ID do fluxo de Ordens corresponda ao CUSTID do fluxo de Clientes.

12. Adicionar estágio de destino.

13. Publicar o pipeline.