Aggiungere un estratto per Kafka

L'aggiunta di un'origine Extract per un'origine Kafka differisce tra le versioni di distribuzione dei Big Data. Seguire le istruzioni in base alla versione di distribuzione Big Data.

Per controllare la versione di OCI GoldenGate, visualizzare le informazioni sulla versione nella pagina dei dettagli di distribuzione.

È possibile acquisire i messaggi dalle seguenti origini di streaming:

  • Apache Kafka
  • OCI Streaming
  • Confluent Kafka, con o senza registro schema
  • Hub eventi di Azure
  • Amazon MSK

OCI GoldenGate legge i messaggi di uno o più argomenti Kafka, quindi converte i dati in record di modifica logica scritti in file trail GoldenGate. GoldenGate I processi Replicat possono quindi utilizzare i file trail generati per propagare i dati per supportare le implementazioni RDBMS (Relational Database Management System).

Una distribuzione di Big Data OCI GoldenGate supporta più tecnologie di origine all'interno della stessa distribuzione, in modo da poter configurare più estrazioni da diverse tecnologie di origine supportate all'interno della stessa distribuzione. OCI GoldenGate utilizza le voci dell'area di memorizzazione delle credenziali per identificare la tecnologia di origine. Ad esempio, OCI GoldenGate utilizza l'ID utente della credenziale per determinare se avviare un'estrazione Kafka (kafka:// ) o Mongo (Mongo://).

Aggiungi un estratto (23ai)

Prima di aggiungere ed eseguire un'estrazione, assicurarsi di:
  • Rivedere i dettagli specifici di questo tipo di connessione di origine.
  • Creare una credenziale nella console di distribuzione Big Data:
    1. Avviare la console di distribuzione Big Data dalla pagina dei dettagli di distribuzione, quindi eseguire il login.
    2. Nel menu di navigazione a sinistra del servizio di amministrazione fare clic su Connessioni DB.
    3. Nella pagina Connessioni DB, fare clic su Aggiungi credenziale (icona più).
    4. Immettere i dettagli riportati di seguito nei campi forniti, quindi fare clic su Sottometti.
      • Per Dominio credenziale, immettere OracleGoldenGate.
      • Per Alias credenziale, immettere kafka.
      • Per ID utente: immettere kafka://
      • Per Password, immettere una password.
      • In Verifica password, immettere di nuovo la password.
Per aggiungere un'estrazione in Oracle GoldenGate 23ai:
  1. Nella console di distribuzione OCI GoldenGate, nella home page del servizio di amministrazione fare clic su Aggiungi estrazione.
  2. Nel pannello Aggiungi estrazione, nella pagina Estrai informazioni, completare i campi riportati di seguito in base alle esigenze, quindi fare clic su Successivo.
    • Immettere un valore nel campo Nome processo con una lunghezza massima di 8 caratteri.
    • Immettere una descrizione (facoltativo) per facilitare la distinzione tra questo processo e altri.
    • Selezionare un'origine dall'elenco a discesa.
  3. Nella pagina Opzioni di estrazione, completare i campi riportati di seguito in base alle esigenze, quindi fare clic su Successivo.
    1. Per Extract Trail:
      1. Immettere un Nome per il processo di estrazione.
      2. Immettere un nome della sottodirectory per impostare una posizione personalizzata per il file trail generato.
      3. Inserire Sequenza percorso per impostare il numero iniziale per i file trail.
      4. Immettere una Dimensione percorso per impostare la dimensione massima per il file trail generato.
      5. Selezionare un profilo di cifratura. Il profilo Wallet locale viene selezionato per impostazione predefinita se non è stato creato un profilo di cifratura.
      6. Selezionare un algoritmo di cifratura:
        • NONE
        • AES256
        • AES192
        • AES128
    2. Per Credenziali di origine, selezionare:
      1. Dominio
      2. Alias
      3. Quando/dove iniziare
  4. Nella pagina Opzioni gestite completare i campi facoltativi riportati di seguito in base alle esigenze, quindi fare clic su Successivo.
    • Nome profilo
    • Critico per lo stato di distribuzione
    • Avvio automatico
    • Riavvio automatico

    Nota

    L'aggiunta di un profilo e la configurazione delle opzioni di avvio automatico e riavvio automatico consentono alla distribuzione di riavviarsi automaticamente dopo un'interruzione della rete. Per ulteriori informazioni, vedere Configurare i processi gestiti.

  5. Nella pagina File dei parametri aggiornare quanto riportato di seguito.
    1. Aggiornare SOURCEDB USERIDALIAS a SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. Lasciare invariata la mappatura della tabella (TABLE source.*;) per ascoltare tutti gli argomenti nel server bootstrap specificato. Per acquisire da un argomento designato, modificare il mapping in TABLE source.<topic-name>;, dove <topic-name> è il nome dell'argomento da cui acquisire.

      Nota

      Il formato di mapping Extract è Table SourceSchema.Table. In Kafka non sono presenti schemi/tabelle di origine. OCI GoldenGate scrive la prima parte ("origine" nel passo precedente) come nome dello schema e la seconda parte come nome della tabella nel file trail. In questo modo, è possibile replicare il messaggio kafka acquisito in altre destinazioni supportate da GoldenGate.
  6. Fare clic su Crea ed esegui per creare e avviare l'estrazione. Se si fa clic su Crea, è possibile avviare manualmente l'estrazione in un secondo momento dalla pagina Estrazioni.

Aggiungere un'estrazione (21c)

Prima di creare un'estrazione, creare una credenziale nella console di distribuzione Big Data:

  1. Nella pagina Distribuzioni selezionare la distribuzione Big Data per visualizzarne i dettagli.
  2. Eseguire il login alla console di distribuzione Big Data utilizzando le credenziali specificate durante la creazione della distribuzione. Viene visualizzata la pagina Panoramica del server di amministrazione.
  3. Aggiungere una credenziale:
    1. Aprire il menu di navigazione, quindi fare clic su Configurazione.
    2. Nella pagina Credenziali, fare clic su Aggiungi credenziale (icona più).
    3. Immettere i dettagli riportati di seguito nei campi forniti, quindi fare clic su Sottometti.
      • Per Dominio credenziale, immettere OracleGoldenGate.
      • Per Alias credenziale, immettere kafka.
      • Per ID utente: immettere kafka://
      • Per Password, immettere una password.
      • In Verifica password, immettere di nuovo la password.
Per aggiungere un'estrazione per Kafka in OCI GoldenGate per le distribuzioni Big Data versione 21.9 o successiva:
  1. Nel menu di navigazione, fare clic su Panoramica per tornare alla pagina Panoramica del servizio di amministrazione.
  2. Fare clic su Aggiungi estrazione (icona più).
  3. Nella pagina Aggiungi estrazione, selezionare quanto segue, quindi fare clic su Successivo:
    • Origine: Kafka
    • Tipo di estrazione: Modifica estrazione acquisizione dati
  4. Nella pagina Opzioni di estrazione, completare i campi come indicato di seguito, quindi fare clic su Successivo.
    • Per Nome processo, immettere un nome contenente al massimo 8 caratteri.
    • Immettere una descrizione (facoltativo).
    • Per Alias connessione, selezionare l'alias di connessione assegnato in precedenza.
    • Per Inizio, selezionare Ora.
    • Per Nome trail, immettere un nome di 2 caratteri.
    • (Opzionale) Abilitare Kafka Connect, se l'origine è una struttura Kafka Connect.
    • (Facoltativo) Se è selezionato Kafka Connect, selezionare uno dei convertitori disponibili:
      • JSON
      • AVRO
    • (Facoltativo) Se si seleziona AVRO, selezionare Registro schema.
    • (Facoltativo) In Opzioni gestite è possibile configurare quanto segue:
      • Nome profilo
      • Avvio automatico
      • Riavvio automatico

      Nota

      L'aggiunta di un profilo e la configurazione delle opzioni di avvio automatico e riavvio automatico consentono alla distribuzione di riavviarsi automaticamente dopo un'interruzione della rete. Per ulteriori informazioni, vedere Configurare i processi gestiti.
  5. Nella pagina File dei parametri aggiornare quanto riportato di seguito.
    1. Aggiornare SOURCEDB USERIDALIAS a SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. Lasciare invariata la mappatura della tabella (TABLE source.*;) per ascoltare tutti gli argomenti nel server bootstrap specificato. Per acquisire da un argomento designato, modificare il mapping in TABLE source.<topic-name>;, dove <topic-name> è il nome dell'argomento da cui acquisire.

      Nota

      Il formato di mapping Extract è Table SourceSchema.Table. In Kafka non sono presenti schemi/tabelle di origine. OCI GoldenGate scrive la prima parte ("origine" nel passo precedente) come nome dello schema e la seconda parte come nome della tabella nel file trail. In questo modo, è possibile replicare il messaggio kafka acquisito in altre destinazioni supportate da GoldenGate.
  6. Fare clic su Crea ed esegui.
Si torna alla pagina Panoramica del servizio di amministrazione in cui è possibile osservare lo stato di estrazione. È quindi possibile selezionare Estrai per visualizzarne i dettagli, le statistiche e i report.