Capturar dados das plataformas Kafka

Use o OCI GoldenGate para extrair mensagens de origens de streaming da plataforma Kafka.

Visão geral

Você pode usar o OCI GoldenGate para capturar mensagens das seguintes origens de streaming:

Apache Kafka
OCI Streaming
Confluent Kafka, com ou sem Registro de Esquema Confluent
Azure Event Hubs
Amazon MSK
Fluxo de eventos do Microsoft Fabric

O OCI GoldenGate lê mensagens de um tópico ou tópicos Kafka e, em seguida, converte os dados em registros lógicos de alteração gravados nos arquivos de Trilha do GoldenGate. Os processos Replicat do GoldenGate podem usar a geração de arquivos de Trilha para propagar dados para suportar implementações RDBMS.

Tarefa 1: Configurar propriedades do Consumidor

Crie um arquivo de propriedades do Consumidor Kafka com um dos seguintes desserializadores ou conversores. Se a fonte for um tópico no Confluent Kafka com o Registro de Esquema Confluent, você pode usar o conversor Avro. Para outras fontes, use o conversor JSON ou o desserializador conforme necessário:
- Propriedades do Consumidor Kafka para o desserializador JSON:
```
key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
```
- Propriedades do consumidor Kafka para conversor JSON:
```
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
```
- Propriedades do consumidor Kafka para conversor Avro:
```
key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
```
Salve o arquivo de propriedades e anote o local dele.

Tarefa 2: Criar recursos do OCI GoldenGate

Essa tarefa o orienta você sobre como criar novos recursos se eles não existirem ainda. Certifique-se de que a implantação do Big Data que você está usando seja atualizada para a versão mais recente disponível.

Crie uma implantação do OCI GoldenGate para Big Data.
Crie uma conexão.

Observação: ao criar qualquer uma das conexões a seguir, certifique-se de selecionar Mostrar Opções Avançadas e fazer upload do arquivo de propriedades do Consumidor.
- Para Apache Kafka ou Amazon MSK, crie uma conexão do Kafka.
- Para o Confluent Kafka, crie uma conexão do Confluent Kafka.
- Para o Registro de Esquema Confluent, crie uma conexão do Registro de Esquema Confluent.
- Para Hubs de Eventos do Azure, crie uma conexão do Hubs de Eventos do Azure.
- Para o OCI Streaming, crie uma conexão do OCI Streaming.
- Para o Eventstream do Microsoft Fabric, crie uma conexão do Eventstream do Microsoft Fabric
Designe a conexão à implantação do Big Data.

Tarefa 3: Criar uma credencial

Antes de criar o processo Extract, primeiro crie uma credencial.

Para criar uma credencial:

Selecione a implantação do Big Data na página Implantações.
Na página de detalhes da implantação, selecione Iniciar console.
Faça log-in na implantação do Big Data com o nome de usuário e a senha especificados quando você criou a implantação na Tarefa 2, Etapa 1.
No menu de navegação, selecione Conexões de BD.
Na página Configuração, na guia Banco de Dados, selecione Adicionar Conexão de Banco de Dados (ícone de mais) e preencha o formulário da seguinte forma:
1. Para Domínio da Credencial, informe OracleGoldenGate.
2. Para Alias da Credencial, informe kafka.
3. Para User ID, informe kafka://
4. Para Senha e Verificar Senha, informe uma senha.
5. Selecione Enviar.

Tarefa 4: Criar o Processo de Extract

Na Home page, selecione Adicionar Extract (ícone de mais).
Adicionar um Extract com os seguintes valores:
1. Na página Informações de Extração, preencha o campo da seguinte forma e selecione Próximo:
  - Para Tipo de Extração, selecione Extração Integrada.
  - Para Nome do Processo, informe um nome para a extração.
2. Na página Opções de Extração, preencha os campos da seguinte forma e selecione Próximo:
  - Em Domínio, selecione o domínio.
  - Para Alias, selecione a conexão designada à implantação.
  - Para Nome, informe um nome de 2 caracteres.
3. Na página Opções Gerenciadas, deixe os campos como estão e selecione Próximo.
4. Na página Arquivo de Parâmetros:
  - Deixe o mapeamento de tabela como TABLE TESTSCHEMA.*; para escutar todos os tópicos no servidor de bootstrap fornecido. Você também pode definir o mapeamento de tabela como TABLE TESTSCHEMA.<topic-name>; para capturar de um tópico designado.
  - Atualize SOURCEDB USERIDALIAS para SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate.
5. Selecione Criar e Executar.

Você retorna à Home page do Oracle GoldenGate, onde pode observar as mensagens de evento de início e revisão do processo Extract.