Adicionar um Extract para o Kafka

A adição de um Extract para uma origem Kafka difere entre as versões de implantação do Big Data. Siga as instruções de acordo com a versão de implantação do Big Data.

Para verificar sua versão do OCI GoldenGate, exiba as informações da Versão na página de detalhes da implantação.

Você pode capturar mensagens das seguintes origens de streaming:

  • Apache Kafka
  • OCI Streaming
  • Kafka Confluente, com ou sem Registro de Esquema
  • Azure Event Hubs
  • Amazon MSK

O OCI GoldenGate lê mensagens de um tópico ou tópicos do Kafka e, em seguida, converte os dados em registros lógicos de alteração gravados nos arquivos de Trilha GoldenGate. GoldenGate Os processos de Replicat podem usar os arquivos de Trilha gerados para propagar dados para suportar implementações do sistema de gerenciamento de banco de dados relacional (RDBMS).

Uma implantação do OCI GoldenGate Big Data suporta várias tecnologias de origem na mesma implantação, para que você possa configurar várias extrações de diferentes tecnologias de origem suportadas na mesma implantação. O OCI GoldenGate usa entradas de armazenamento de credenciais para identificar a tecnologia de origem. Por exemplo, o OCI GoldenGate usa o ID do Usuário da credencial para determinar se uma Extração Kafka (kafka:// ) ou Mongo (Mongo://) deve ser iniciada.

Adicionar uma Extração (23ai)

Antes de adicionar e executar um processo Extract, certifique-se de:
  • Verifique os detalhes específicos deste tipo de conexão de origem.
  • Crie uma credencial na console de implantação do Big Data:
    1. Inicie a console de implantação do Big Data na página de detalhes da implantação e faça log-in.
    2. No menu de navegação esquerdo do Serviço de Administração, clique em Conexões de BD.
    3. Na página Conexões de BD, clique em Adicionar Credencial (ícone de mais).
    4. Informe os seguintes detalhes nos campos fornecidos e clique em Enviar:
      • Para Domínio da Credencial, informe OracleGoldenGate.
      • Para Alias da Credencial, informe kafka.
      • Para User ID: informe kafka://
      • Em Senha, informe uma senha.
      • Para Verificar Senha, digite a senha novamente.
Para adicionar um processo de Extract no Oracle GoldenGate 23ai:
  1. Na console de implantação do OCI GoldenGate, na Home page Serviço de Administração, clique em Adicionar Extração.
  2. No painel Adicionar Extract, na página Informações de Extração, preencha os seguintes campos conforme necessário e clique em Próximo:
    • Informe um Nome do Processo, com no máximo 8 caracteres.
    • Informe uma Descrição (opcional) para ajudá-lo a distinguir esse processo de outros.
    • Selecione uma Origem na lista drop-down.
  3. Na página Opções de Extração, preencha os seguintes campos conforme necessário e clique em Próximo:
    1. Para Extrair Trilha:
      1. Informe um Nome para o processo de Extração.
      2. Digite um Nome de subdiretório para definir um local personalizado para o arquivo de Trilha gerado.
      3. Informe Sequência de Trilha para definir o número inicial dos arquivos de Trilha.
      4. Informe um Tamanho de Trilha para definir o tamanho máximo do arquivo da trilha gerado.
      5. Selecione um Perfil de Criptografia. O perfil Wallet Local será selecionado por padrão se um perfil de criptografia não tiver sido criado.
      6. Selecione um Algoritmo de Criptografia:
        • NONE
        • AES256
        • AES192
        • AES128
    2. Para Credenciais de Origem, selecione:
      1. Domínio
      2. Apelido
      3. Quando/onde Iniciar
  4. Na página Opções Gerenciadas, preencha os seguintes campos opcionais conforme necessário e clique em Próximo:
    • Nome do Perfil
    • Crítico para a integridade da implantação
    • Iniciar Automaticamente
    • Reinício Automático

    Observação:

    A adição de um perfil e a configuração das opções Início Automático e Reinicialização Automática permitem que sua implantação seja reiniciada automaticamente após uma interrupção da rede. Consulte Configurar processos gerenciados para saber mais.

  5. Na página do arquivo Parameter, atualize o seguinte:
    1. Atualize SOURCEDB USERIDALIAS para SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. Deixe o mapeamento de tabela como está (TABLE source.*;), para escutar todos os tópicos no servidor de bootstrap fornecido. Para capturar de um tópico designado, altere o mapeamento para TABLE source.<topic-name>;, em que <topic-name> é o nome do tópico do qual capturar.

      Observação:

      O formato de mapeamento Extract é Table SourceSchema.Table. No Kafka, não há esquemas/tabelas de origem. O OCI GoldenGate grava a primeira parte ("origem" na etapa acima) como o nome do esquema e a segunda parte como nome da tabela no arquivo de trilha. Dessa forma, você pode replicar a mensagem do kafka capturada em outros alvos suportados pelo GoldenGate.
  6. Clique emCriar e Executar para criar e iniciar o processo de Extract. Se você clicar em Criar, poderá iniciar manualmente o processo Extract mais tarde na página Extracts.

Adicionar um processo de Extract (21c)

Antes de criar um Extract, crie uma credencial na console de implantação do Big Data:

  1. Na página Implantações, selecione a implantação do Big Data para exibir seus detalhes.
  2. Faça log-in na console de implantação do Big Data usando as credenciais especificadas quando você criou a implantação. Você será levado à página Visão Geral do Servidor de Administração.
  3. Adicione uma credencial:
    1. Abra o menu de navegação. Em seguida, clique em Configuração.
    2. Na página Credenciais, clique em Adicionar Credencial (ícone de mais).
    3. Informe os seguintes detalhes nos campos fornecidos e clique em Enviar:
      • Para Domínio da Credencial, informe OracleGoldenGate.
      • Para Alias da Credencial, informe kafka.
      • Para User ID: informe kafka://
      • Em Senha, informe uma senha.
      • Para Verificar Senha, digite a senha novamente.
Para adicionar um Extract para Kafka no OCI GoldenGate para implantações do Big Data versão 21.9 ou posterior:
  1. No menu de navegação, clique em Visão Geral para retornar à página Visão Geral do Serviço de Administração.
  2. Clique em Adicionar Extração (ícone de mais).
  3. Na página Adicionar Extract, selecione o seguinte e clique em Próximo:
    • Fonte: Kafka
    • Tipo de extração: Extração da Captura de Dados de Alteração
  4. Na página Opções de Extração, preencha os campos da seguinte forma e clique em Próximo:
    • Para Nome do Processo, informe um nome com até 8 caracteres.
    • (Opcional) Digite uma descrição.
    • Para Alias de conexão, selecione o alias de conexão atribuído anteriormente.
    • Para Começar, selecione Agora.
    • Para Nome da Trilha, informe um nome de 2 caracteres.
    • (Opcional) Ativar o Kafka Connect, se a origem for um framework do Kafka Connect.
    • (Opcional) Se o Kafka Connect estiver selecionado, selecione um dos Conversores disponíveis:
      • JSON
      • AVRO
    • (Opcional) Se AVRO for selecionado, selecione Registro de Esquema.
    • (Opcional) Em Opções Gerenciadas, você pode configurar o seguinte:
      • Nome do Perfil
      • Iniciar Automaticamente
      • Reinício Automático

      Observação:

      A adição de um perfil e a configuração das opções Início Automático e Reinicialização Automática permitem que sua implantação seja reiniciada automaticamente após uma interrupção da rede. Consulte Configurar processos gerenciados para obter mais informações.
  5. Na página do arquivo Parameter, atualize o seguinte:
    1. Atualize SOURCEDB USERIDALIAS para SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. Deixe o mapeamento de tabela como está (TABLE source.*;), para escutar todos os tópicos no servidor de bootstrap fornecido. Para capturar de um tópico designado, altere o mapeamento para TABLE source.<topic-name>;, em que <topic-name> é o nome do tópico do qual capturar.

      Observação:

      O formato de mapeamento Extract é Table SourceSchema.Table. No Kafka, não há esquemas/tabelas de origem. O OCI GoldenGate grava a primeira parte ("origem" na etapa acima) como o nome do esquema e a segunda parte como nome da tabela no arquivo de trilha. Dessa forma, você pode replicar a mensagem do kafka capturada em outros alvos suportados pelo GoldenGate.
  6. Clique emCriar e Executar.
Você retorna à página Visão Geral do Serviço de Administração, onde pode observar o status de Extração. Em seguida, você pode selecionar o processo Extract para exibir detalhes, estatísticas e relatórios.