Capturar dados das plataformas Kafka

Use o OCI GoldenGate para extrair mensagens de origens de streaming da plataforma Kafka.

Visão geral

Você pode usar o OCI GoldenGate para capturar mensagens das seguintes origens de streaming:

  • Apache Kafka
  • OCI Streaming
  • Confluent Kafka, com ou sem Registro de Esquema
  • Azure Event Hubs
  • MSK da Amazon

O OCI GoldenGate lê mensagens de um ou mais tópicos do Kafka e, em seguida, converte os dados em registros de alteração lógicos gravados em arquivos de Trilha GoldenGate. GoldenGate Os processos de replicação podem usar os arquivos de geração de Trilha para propagar dados para suportar implementações de RDBMS.

Tarefa 1: Configurar propriedades do Consumidor

  1. Crie um arquivo de propriedades do Consumidor Kafka com um dos seguintes desserializadores ou conversores. Se a origem for um tópico no Confluent Kafka com Registro de Esquema, você poderá usar o conversor Avro. Para outras origens, use o conversor JSON ou o desserializador conforme necessário:
    • Propriedades do Consumidor Kafka para desserializador JSON: 
      key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
    • Propriedades do consumidor Kafka para conversor JSON:
      key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
    • Kafka Propriedades do consumidor para Avro conversor:
      key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
  2. Salve o arquivo de propriedades e anote o local dele.

Tarefa 2: Criar recursos do OCI GoldenGate

Essa tarefa o orienta você sobre como criar novos recursos se eles não existirem ainda. Certifique-se de que a implantação do Big Data que você está usando seja atualizada para a versão mais recente disponível.

  1. Crie uma implantação do OCI GoldenGate para Big Data.
  2. Crie uma conexão.

    Observação:

    Ao criar qualquer uma das conexões a seguir, certifique-se de clicar em Mostrar Opções Avançadas e fazer upload do arquivo de propriedades do Consumidor.
  3. Designe a conexão à implantação do Big Data.

Tarefa 3: Criar uma credencial

Para poder criar o Extract, você deve criar uma credencial.
Para criar uma credencial:
  1. Selecione a implantação do Big Data na página Implantações.
  2. Na página de detalhes da implantação, clique em Iniciar console.
  3. Faça log-in na implantação do Big Data com o nome de usuário e a senha especificados quando você criou a implantação na Etapa 1 da Tarefa 2.
  4. No menu de navegação, selecione Conexões de BD.
  5. Na página Configuração, na guia Banco de Dados, clique em Adicionar Conexão de Banco de Dados (ícone de mais) e preencha o formulário da seguinte forma:
    1. Em Domínio de Credencial, digite OracleGoldenGate.
    2. Em Alias da Credencial, digite kafka.
    3. Para ID do Usuário, digite kafka://
    4. Para Senha e Verificar Senha, digite uma senha.
    5. Clique em Enviar.

Tarefa 4: Criar o Processo de Extract

  1. Na página Visão Geral do Serviço de Administração, clique em Adicionar Extract (ícone de mais).
  2. Adicione um Extract com os seguintes valores:
    1. Na página Informações de Extract, preencha o campo conforme a seguir e clique em Próximo:
      • Para Tipo Extract, selecione Integrated Extract.
      • Em Nome do Processo, informe um nome para o processo de extract.
    2. Na página Opções Extract, preencha os campos conforme a seguir e clique em Próximo:
      • Para Domínio, selecione o domínio.
      • Em Alias, selecione a conexão designada à implantação.
      • Em Nome, digite um nome de 2 caracteres.
    3. Na página Opções Gerenciadas, deixe os campos como estão e clique em Próximo.
    4. Na página Arquivo de Parâmetros:
      • Deixe o mapeamento de tabela como TABLE TESTSCHEMA.*; para atender a todos os tópicos no servidor de inicialização fornecido. Você também pode definir o mapeamento de tabela como TABLE TESTSCHEMA.<topic-name>; para capturar de um tópico designado.
      • Atualize SOURCEDB USERIDALIAS para SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate.
    5. Clique em Criar e Executar.
Você retorna à página Visão Geral Administration Service, na qual pode observar o início do processo Extract e verificar mensagens de evento.