Adicionar uma Extração para origens do Kafka

A adição de um Extract para uma origem Kafka difere entre as versões de implantação do Big Data. Siga as instruções de acordo com a versão de implantação do OCI GoldenGate Big Data.

Para verificar sua versão do OCI GoldenGate, exiba as informações da Versão na página de detalhes da implantação.

Você pode capturar mensagens das seguintes origens de streaming:

O OCI GoldenGate lê mensagens de um tópico ou tópicos Kafka e, em seguida, converte os dados em registros lógicos de alteração gravados nos arquivos de Trilha do GoldenGate. Os processos Replicat do GoldenGate podem usar os arquivos de Trilha gerados para propagar dados para oferecer suporte a implementações do sistema de gerenciamento de banco de dados relacional (RDBMS).

Uma implantação do OCI GoldenGate Big Data suporta várias tecnologias de origem na mesma implantação, para que você possa configurar várias extrações de diferentes tecnologias de origem suportadas na mesma implantação. O OCI GoldenGate usa entradas de armazenamento de credenciais para identificar a tecnologia de origem. Por exemplo, o OCI GoldenGate usa o ID do Usuário da credencial para determinar se uma Extração Kafka (kafka://) ou Mongo (Mongo://) deve ser iniciada.

Adicionar uma Extração (26ai)

Antes de adicionar e executar um processo Extract, certifique-se de:

Para adicionar um processo Extract no Oracle GoldenGate 26ai:

  1. No menu para navegação na console da implantação do OCI GoldenGate, selecione Extrações.

  2. Na página Extrações, selecione Adicionar Extração.

  3. No painel Adicionar Extract, na página Informações de Extração, preencha os seguintes campos conforme necessário e selecione Próximo:

    • Informe um Nome do Processo, com no máximo 8 caracteres.

    • Informe uma Descrição (opcional) para ajudá-lo a distinguir esse processo de outros.

    • Selecione uma Origem na lista drop-down.

  4. Na página Opções de Extração, preencha os seguintes campos conforme necessário e selecione Próximo:

    1. Para Extrair Trilha:

      1. Informe um Nome para o processo de Extração.

      2. Digite um Nome de subdiretório para definir um local personalizado para o arquivo de Trilha gerado.

      3. Informe a Sequência de Trilha para definir o número inicial dos arquivos de Trilha.

      4. Informe um Tamanho de Trilha para definir o tamanho máximo do arquivo da trilha gerado.

      5. Selecione um Perfil de Criptografia. O perfil Wallet Local será selecionado por padrão se um perfil de criptografia não tiver sido criado.

      6. Selecione um Algoritmo de Criptografia:

        • NONE

        • AES256

        • AES192

        • AES128

    2. Para Credenciais de Origem, selecione:

      1. Domínio

      2. Alias

      3. Quando/onde Begin

  5. Na página Opções Gerenciadas, preencha os seguintes campos opcionais conforme necessário e selecione Próximo:

    • Nome do Perfil

    • Crítico para a integridade da implantação

    • Iniciar Automaticamente

    • Reinício Automático

      Observação: A adição de um perfil e a configuração das opções Início Automático e Reinicialização Automática permitem que sua implantação seja reiniciada automaticamente após uma interrupção da rede. Consulte Configurar processos gerenciados para saber mais.

  6. Na página do arquivo Parameter, atualize o seguinte:

    1. Atualize SOURCEDB USERIDALIAS para SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate

    2. Deixe o mapeamento de tabela como está (TABLE source.*;) para escutar todos os tópicos no servidor de bootstrap fornecido. Para capturar de um tópico designado, altere o mapeamento para TABLE source.<topic-name>;, em que <topic-name> é o nome do tópico do qual capturar.

      Observação: O formato de mapeamento de Extração é Table SourceSchema.Table. No Kafka, não há esquemas/tabelas de origem. O OCI GoldenGate grava a primeira parte ("origem" na etapa acima) como o nome do esquema e a segunda parte como nome da tabela no arquivo de trilha. Dessa forma, você pode replicar a mensagem kafka capturada em outros destinos suportados pelo GoldenGate.

  7. Selecione Criar e Executar para criar e iniciar o processo de Extract. Se você selecionar Criar, poderá iniciar manualmente a Extração posteriormente na página Extrações.

Adicionar um Processo de Extração (21c)

Antes de criar um Extract, crie uma credencial na console de implantação do Big Data:

  1. Na página Implantações, selecione a implantação do Big Data para exibir seus detalhes.

  2. Faça log-in na console de implantação do Big Data usando as credenciais especificadas quando você criou a implantação. Você será levado à página Visão Geral do Servidor de Administração.

  3. Adicione uma credencial:

    1. Abra o menu de navegação e selecione Configuração.

    2. Na página Credenciais, selecione Adicionar Credencial (ícone de mais).

    3. Informe os seguintes detalhes nos campos fornecidos e selecione Enviar:

      • Para Domínio da Credencial, informe OracleGoldenGate.

      • Para Alias da Credencial, informe kafka.

      • Para User ID: informe kafka://

      • Informe uma senha para Password.

      • Para Verificar Senha, digite a senha novamente.

Para adicionar um Extract para Kafka no OCI GoldenGate para implantações de Big Data versão 21.9 ou posterior:

  1. No menu de navegação, selecione Visão Geral para retornar à página Visão Geral do Serviço de Administração.

  2. Selecione Adicionar Extract (ícone de mais).

  3. Na página Adicionar Extract, selecione o seguinte e, em seguida, selecione Próximo:

    • Fonte: Kafka

    • Tipo de extração: Extração da Captura de Dados de Alteração

  4. Na página Opções de Extração, preencha os campos da seguinte forma e selecione Próximo:

    • Para Nome do Processo, informe um nome com até 8 caracteres.

    • (Opcional) Digite uma descrição.

    • Para Alias de Conexão, selecione o alias de conexão atribuído anteriormente.

    • Para Começar, selecione Agora.

    • Para Nome da Trilha, informe um nome de 2 caracteres.

    • (Opcional) Ativar o Kafka Connect, se a origem for uma estrutura do Kafka Connect.

    • (Opcional) Se o Kafka Connect estiver selecionado, selecione um dos Conversores disponíveis:

      • JSON

      • AVRO

    • (Opcional) Se AVRO estiver selecionado, selecione Registro de Esquema Convergente.

    • (Opcional) Em Opções Gerenciadas, você pode configurar o seguinte:

      • Nome do Perfil

      • Iniciar Automaticamente

      • Reinício Automático

        Observação: A adição de um perfil e a configuração das opções Início Automático e Reinicialização Automática permitem que sua implantação seja reiniciada automaticamente após uma interrupção da rede. Consulte Configurar processos gerenciados para obter mais informações.

  5. Na página do arquivo Parameter, atualize o seguinte:

    1. Atualize SOURCEDB USERIDALIAS para SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate

    2. Deixe o mapeamento de tabela como está (TABLE source.*;) para escutar todos os tópicos no servidor de bootstrap fornecido. Para capturar de um tópico designado, altere o mapeamento para TABLE source.<topic-name>;, em que <topic-name> é o nome do tópico do qual capturar.

      Observação: O formato de mapeamento de Extração é Table SourceSchema.Table. No Kafka, não há esquemas/tabelas de origem. O OCI GoldenGate grava a primeira parte ("origem") como o nome do esquema e a segunda parte como nome da tabela no arquivo de trilha. Dessa forma, você pode replicar a mensagem kafka capturada em outros destinos suportados pelo GoldenGate.

  6. Selecione Criar e Executar.

Você retorna à página Visão Geral do Serviço de Administração, onde pode observar o status de Extração. Em seguida, você pode selecionar o processo Extract para exibir detalhes, estatísticas e relatórios.