Acquisire i dati dalle piattaforme Kafka

Utilizza OCI GoldenGate per estrarre i messaggi dalle origini di streaming della piattaforma Kafka.

Panoramica

È possibile utilizzare OCI GoldenGate per acquisire i messaggi dalle origini streaming riportate di seguito.

Apache Kafka
OCI Streaming
Confluent Kafka, con o senza Confluent Schema Registry
Hub eventi di Azure
Amazon MSK
Microsoft Fabric Eventstream

OCI GoldenGate legge i messaggi da uno o più argomenti Kafka, quindi converte i dati in record di modifica logica scritti nei file GoldenGate Trail. I processi Replicat GoldenGate possono quindi utilizzare i file trail di generazione per propagare i dati per supportare le implementazioni RDBMS.

Task 1: Configura proprietà consumatore

Creare un file delle proprietà del consumer Kafka con uno dei deserializzatori o convertitori riportati di seguito. Se l'origine è un argomento in Confluent Kafka con Confluent Schema Registry, è possibile utilizzare il convertitore Avro. Per altre origini, utilizzare il convertitore o il deserializzatore JSON in base alle esigenze:
- Proprietà consumer Kafka per JSON deserializer:
```
key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
```
- Proprietà consumer Kafka per il convertitore JSON:
```
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
```
- Proprietà consumatore Kafka per convertitore Avro:
```
key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
```
Salvare il file delle proprietà e annotarne la posizione.

Task 2: Creare le risorse OCI GoldenGate

Questo task guida l'utente su come creare nuove risorse se non esistono ancora. Assicurarsi che la distribuzione Big Data in uso sia stata aggiornata alla versione più recente disponibile.

Creare una distribuzione GoldenGate OCI per i Big Data.
Creare una connessione.

Nota: quando si crea una delle connessioni riportate di seguito, assicurarsi di selezionare Mostra opzioni avanzate, quindi caricare il file delle proprietà del consumatore.
- Per Apache Kafka o Amazon MSK, creare una connessione Kafka.
- Per Confluent Kafka, creare una connessione Confluent Kafka.
- Per Confluent Schema Registry, creare una connessione Confluent Schema Registry.
- Per gli hub eventi di Azure, creare una connessione di Azure Event Hubs.
- Per OCI Streaming, creare una connessione OCI Streaming.
- Per Microsoft Fabric Eventstream, creare una connessione a Microsoft Fabric Eventstream
Assegnare la connessione alla distribuzione dei Big Data.

Task 3: Creazione di una credenziale

Prima di poter creare l'estrazione, è necessario creare una credenziale.

Per creare una credenziale, procedere come segue.

Selezionare la distribuzione Big Data nella pagina Distribuzioni.
Nella pagina dei dettagli della distribuzione selezionare Avvia console.
Eseguire il login alla distribuzione Big Data con il nome utente e la password specificati quando è stata creata la distribuzione nel task 2, passo 1.
Nel menu di navigazione selezionare Connessioni DB.
Nella pagina Configurazione, nella scheda Database, selezionare Aggiungi connessione al database (icona più), quindi completare il form come indicato di seguito.
1. Per Dominio credenziale immettere OracleGoldenGate.
2. Per Alias credenziale, immettere kafka.
3. Per ID utente, immettere kafka://
4. Per Password e Verifica password, immettere una password.
5. Selezionare Sottometti.

Task 4: Creazione dell'estrazione

Nella home page selezionare Aggiungi estrazione (icona più).
Aggiungere un'estrazione con i valori seguenti:
1. Nella pagina Estrai informazioni, completare il campo come indicato di seguito, quindi selezionare Successivo.
  - Per Tipo estrazione, selezionare Estrazione integrata.
  - In Nome processo, immettere un nome per l'estrazione.
2. Nella pagina Opzioni di estrazione, completare i campi come indicato di seguito, quindi selezionare Successivo.
  - Per Dominio, selezionare il dominio.
  - In Alias, selezionare la connessione assegnata alla distribuzione.
  - Per Nome, immettere un nome di 2 caratteri.
3. Nella pagina Opzioni gestite, lasciare i campi così come sono e selezionare Successivo.
4. Nella pagina File dei parametri:
  - Lasciare la mappatura della tabella come TABLE TESTSCHEMA.*; per ascoltare tutti gli argomenti nel server bootstrap specificato. È inoltre possibile impostare il mapping delle tabelle come TABLE TESTSCHEMA.<topic-name>; da acquisire da un argomento designato.
  - Aggiornare SOURCEDB USERIDALIAS a SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate.
5. Selezionare Crea ed esegui.

Si torna alla home page di Oracle GoldenGate, in cui è possibile osservare l'avvio del processo Extract e rivedere i messaggi degli eventi.