Replique dados no Stream Analytics

Aprenda a replicar dados do OCI GoldenGate no Stream Analytics.

O GoldenGate Stream Analytics começou como um mecanismo de Processamento de Eventos Complexos que evoluiu para executar em cima de estruturas de runtime com Apache Spark e Apache Kafka. O Stream Analytics pode ingerir um fluxo de dados de qualquer origem, como um banco de dados, GoldenGate, Kafka, JMS, REST ou até mesmo um arquivo de sistema de arquivos. Após a ingestão dos dados, você pode executar análises em dados ativos.

Antes de começar

Para concluir com sucesso esse início rápido, você precisa:

  • Um Autonomous Database de origem com dados de amostra carregados e registro em log complementar ativado.

    Dica:

    Você poderá fazer download dos dados de amostra do OCI GoldenGate, se precisar de dados de amostra para trabalhar.
    • Primeiro, edite SETUP_USERS_ATP.sql e modifique a senha do usuário SRC_OCIGGLL para remover os caracteres especiais.
    • Use a ferramenta SQL de ações do Banco de Dados do Autonomous Database para executar os dois scripts a fim de criar o esquema do usuário e as tabelas.
    • Use a ferramenta SQL para ativar o registro em log complementar.
    Siga as etapas em Laboratório 1, Tarefa 3: Carregar o esquema ATP para obter mais detalhes.
  • Desbloquear o usuário GGADMIN na instância do Autonomous Database de origem
    1. Na página Detalhes do Autonomous Database, selecione Usuários do Banco de Dados no menu Ações do banco de dados.

      Dica:

      Use as credenciais de administrador do Autonomous Database fornecidas quando você criou a instância para fazer log-in, se solicitado.
    2. Localize o usuário GGADMIN e selecione Editar no menu de reticências (três pontos).
    3. No painel Editar Usuário, informe uma senha, confirme essa senha e depois desmarque Conta Bloqueada.
    4. Clique em Aplicar Alterações.

Tarefa 1: Criar os recursos do OCI GoldenGate

  1. Crie a implantação do OCI GoldenGate para replicação de Dados.
  2. Crie uma conexão para o banco de dados de origem.
  3. Designe a conexão à implantação.
  4. Criar e executar uma Extração.

Tarefa 2: Criar os recursos do Stream Analytics

  1. Crie a implantação do Stream Analytics.
  2. Crie uma conexão Kafka usando o IP público da instância Kafka e selecione Texto sem Formatação para o protocolo de Segurança.
  3. Crie uma conexãoGoldenGate.
  4. Designe as conexões à implantação do Stream Analytics.

Tarefa 3: Criar e executar os pipelines

  1. Inicie a console de implantação do Stream Analytics.
  2. Verifique as conexões na console de implantação do Stream Analytics.
    1. Na console de implantação do Stream Analytics, clique em Catálogo.
    2. Na página Catálogo, verifique a lista de conexões. Você deverá ver a conexão GoldenGate, o Autonomous Database e o Kafka.
  3. Inicie o cluster do Big Data GoldenGate:
    1. Na console de implantação do OCI GoldenGate Stream Analytics, selecione Definições do sistema no menu do usuário ossaadmin.
    2. Na caixa de diálogo Definição do Sistema, clique em Gerenciar Clusters e, em seguida, expanda Cluster GGDB.
    3. Clique em Iniciar Cluster. Aguarde até que o status do cluster seja Em Execução e feche a janela de diálogo.
  4. Atualize as credenciais de conexão GoldenGate:

    Embora a conexão GoldenGate esteja disponível na console de implantação do Stream Analytics, as credenciais GoldenGate não são transferidas. Atualize a senha e teste a conexão.

    1. Clique em Catálogo e, em seguida, clique na conexão GoldenGate.
    2. Na caixa de diálogo Editar Conexão, clique em Próximo.
    3. Para Nome de Usuário do GG, digite oggadmin.
    4. Para Senha do GG, clique em Alterar senha e informe a senha fornecida quando você criou a implantação do OCI GoldenGate para Replicação de Dados na Tarefa 1.
    5. Clique em Testar conexão. Se a operação for bem-sucedida, clique em Salvar.
  5. Use o Extract GoldenGate para criar e iniciar GoldenGate Change Data.

    Certifique-se de usar os detalhes da Extração fornecidos na Tarefa 1 na página Detalhes dos Dados de Alteração do GG.

  6. Atualize o nome de usuário do Autonomous Database.

    As conexões de banco de dados são criadas com o usuário padrão, ggadmin. Atualize o nome de usuário para SRC_OCIGGLL (se você usou os dados de amostra fornecidos) para acessar seu esquema e suas tabelas.

    1. Clique em Catálogo e, em seguida, clique na conexão do Autonomous Database.
    2. Na caixa de diálogo Editar Conexão, clique em Próximo.
    3. Para Nome do Usuário, digite SRC_OCIGGLL.
    4. Para Senha, informe a senha SRC_OCIGGLL que você modificou nas etapas Antes de começar no início deste início rápido.
    5. Clique em Testar conexão. Se a operação for bem-sucedida, clique em Salvar.
  7. Use as tabelas de pesquisa do Autonomous Database para criar Referências para Clientes e Pedidos.
  8. Use a conexão do Kafka para criar Streams do Kafka para Clientes e Pedidos.
  9. Use a ferramenta SQL do Autonomous Database para executar inserções no banco de dados de origem.
    Por exemplo, você pode executar as seguintes inserções:
    Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (11,'COM',101,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (12,'COM',102,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (13,'COM',103,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (14,'COM',104,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (15,'COM',105,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (16,'COM',106,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (17,'COM',107,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (18,'COM',201,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (19,'COM',202,to_date('16-AUG-2023','DD-MON-YYYY'),null);
  10. Crie um pipeline que use o stream do Kafka criado na Etapa 8.
  11. Adicione um estágio de Consulta e, em seguida, adicione um Filtro para retornar somente ordens em que o CUST_ID do fluxo de Ordens corresponda ao CUSTID do fluxo de Clientes.
  12. Adicionar estágio de destino.
  13. Publicar o pipeline.