Acquisire i dati dalle piattaforme Kafka

Utilizzare OCI GoldenGate per estrarre il messaggio dalle origini di streaming della piattaforma Kafka.

Panoramica

È possibile utilizzare OCI GoldenGate per acquisire i messaggi dalle origini di streaming seguenti:

  • Apache Kafka
  • OCI Streaming
  • Kafka confluente, con o senza registro degli schemi
  • Hub eventi di Azure
  • Amazon MSK

OCI GoldenGate legge i messaggi da uno o più argomenti Kafka, quindi converte i dati in record di modifica logica scritti nei file trail GoldenGate. GoldenGate I processi Replicat possono quindi utilizzare i file di generazione trail per propagare i dati per supportare le implementazioni RDBMS.

Task 1: Configura proprietà consumatore

  1. Creare un file delle proprietà del consumer Kafka con uno dei deserializzatori o convertitori seguenti. Se l'origine è un argomento in Confluent Kafka con Schema Registry, è possibile utilizzare il convertitore Avro. Per altre origini, utilizzare il convertitore o il deserializzatore JSON in base alle esigenze:
    • Proprietà consumer Kafka per il deserializzatore JSON: 
      key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
    • Proprietà consumer Kafka per il convertitore JSON:
      key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
    • Kafka Proprietà consumer per il convertitore Avro:
      key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
  2. Salvare il file delle proprietà e prenderne nota della posizione.

Task 2: creare le risorse OCI GoldenGate

Questo task fornisce indicazioni su come creare nuove risorse se non esistono ancora. Assicurarsi che la distribuzione Big Data in uso venga aggiornata alla versione più recente disponibile.

  1. Creare una distribuzione OCI GoldenGate per i Big Data.
  2. Creare una connessione.

    Nota

    Quando si crea una delle connessioni seguenti, assicurarsi di aver fatto clic su Mostra opzioni avanzate, quindi caricare il file delle proprietà del consumer.
  3. Assegnare la connessione alla distribuzione dei Big Data.

Task 3: Creare una credenziale

Prima di creare la credenziale Extract, è necessario crearne una.
Per creare una credenziale, effettuare le operazioni riportate di seguito.
  1. Selezionare la distribuzione Big Data nella pagina Distribuzioni.
  2. Nella pagina dei dettagli della distribuzione, fare clic su Avvia console.
  3. Eseguire il login alla distribuzione Big Data con il nome utente e la password specificati al momento della creazione della distribuzione nel task 2, passo 1.
  4. Dal menu di navigazione, selezionare Connessioni DB.
  5. Nella pagina Configurazione, nella scheda Database, fare clic su Aggiungi connessione DB (icona più), quindi completare il form come indicato di seguito.
    1. Per Dominio credenziale immettere OracleGoldenGate.
    2. Per Alias credenziale, immettere kafka.
    3. Per ID utente, immettere kafka://
    4. Per Password e Verify Password immettere una password.
    5. Fare clic su Sottometti.

Task 4: Creare l'estrazione

  1. Nella pagina Panoramica del servizio di amministrazione fare clic su Aggiungi Extract (icona più).
  2. Aggiungere un'estrazione con i seguenti valori:
    1. Nella pagina Informazioni Extract, completare il campo come indicato di seguito, quindi fare clic su Avanti:
      • Per Extract Type, selezionare Integrated Extract.
      • In Nome processo, immettere un nome per l'estrazione.
    2. Nella pagina Opzioni Extract, completare i campi come indicato di seguito, quindi fare clic su Avanti:
      • In Dominio, selezionare il dominio.
      • Per Alias, selezionare la connessione assegnata alla distribuzione.
      • Per Nome, immettere un nome di 2 caratteri.
    3. Nella pagina Opzioni gestite, lasciare invariati i campi e fare clic su Avanti.
    4. Nella pagina File parametri:
      • Lasciare il mapping della tabella come TABLE TESTSCHEMA.*; per ascoltare tutti gli argomenti nel server bootstrap specificato. È inoltre possibile impostare il mapping delle tabelle come TABLE TESTSCHEMA.<topic-name>; per l'acquisizione da un argomento designato.
      • Aggiornare SOURCEDB USERIDALIAS a SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate.
    5. Fare clic su Crea ed esegui.
Si torna alla pagina Panoramica Administration Service, in cui è possibile osservare i messaggi di avvio e revisione del processo Extract.