Replica dei dati da Autonomous Transaction Processing ad Apache Kafka

Panoramica

Utilizzando OCI GoldenGate, puoi replicare i dati da un Autonomous Database a una destinazione Big Data, come Apache Kafka. Questo avvio rapido illustra come impostare una distribuzione OCI GoldenGate, connessioni di origine e destinazione e processi di replica.

Prima di iniziare

Per completare correttamente questo avvio rapido, è necessario disporre dei seguenti elementi:

Una VCN con porta 9092 (o un'altra porta utilizzata per il server bootstrap) viene aperta nelle regole di entrata.
Un'istanza di Autonomous Transaction Processing di origine
Un nodo Kafka Apache di destinazione

Impostazione dell'ambiente: Autonomous Transaction Processing

Se non si dispone già di un database di origine impostato per la replica, è possibile attenersi alla procedura riportata di seguito per caricare uno schema di esempio da utilizzare per questo avvio rapido. Questa istanza rapida utilizza Autonomous Transaction Processing per il database di origine.

Per impostare l'Autonomous Database di origine, effettuare le operazioni riportate di seguito.

Scaricare ed estrarre lo schema di database di esempio.
Nella console di Oracle Cloud, selezionare l'istanza ATP (Autonomous Transaction Processing) dalla pagina Autonomous Database per visualizzarne i dettagli e accedere a Database Actions.
Sbloccare l'utente GGADMIN:
1. Fare clic su Azioni di database, quindi fare clic su Utenti di database.
2. Individuare GGADMIN, quindi fare clic sul relativo menu con i puntini (tre punti) e selezionare Modifica.
3. Nel pannello Modifica utente, immettere la password GGADMIN, confermare la password, quindi deselezionare L'account è bloccato.
4. Fare clic su Applica modifiche.
Caricare lo schema e i dati di esempio di origine:
1. Nel menu Database Actions, in Sviluppo, selezionare SQL.
2. Copiare e incollare lo script da OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql nel foglio di lavoro SQL.
3. Fare clic su Esegui script. La scheda Output script visualizza i messaggi di conferma.
4. Cancellare il foglio di lavoro SQL, quindi copiare e incollare lo script SQL da OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.
  
  Suggerimento
  Potrebbe essere necessario eseguire ciascuna istruzione separatamente affinché lo strumento SQL esegua correttamente gli script.
5. Per verificare che le tabelle siano state create correttamente, chiudere la finestra SQL e riaprirla. Nella scheda Navigator, cercare lo schema SRC_OCIGGLL, quindi selezionare le tabelle dai rispettivi elenchi a discesa.
Abilita il log supplementare:
1. Cancellare il foglio di lavoro SQL.
2. Immettere la seguente istruzione, quindi fare clic su Esegui istruzione:
```
ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;
```

Task 1: creare le risorse OCI GoldenGate

Questo esempio di avvio rapido richiede distribuzioni e connessioni sia per l'origine che per la destinazione.

Creare una distribuzione Oracle per l'istanza di Autonomous Transaction Processing di origine.
Creare una distribuzione Big Data per il nodo Apache Kafka di destinazione.
Creare una connessione per l'istanza di Autonomous Transaction Processing di origine.
Creare una connessione per il nodo Kafka di destinazione.
Creare una connessione a GoldenGate, quindi assegnare questa connessione alla distribuzione Oracle di origine.
Assegnare la connessione ATP alla distribuzione Oracle di origine.
Assegnare la connessione Kafka alla distribuzione dei Big Data di destinazione.

Task 2: aggiungere Extract

Nella pagina Distribuzioni selezionare la distribuzione di Autonomous Transaction Processing di origine.
Nella pagina dei dettagli della distribuzione, fare clic su Avvia console.
Eseguire il login con il nome utente e la password dell'amministratore della distribuzione di origine.
Aggiungi informazioni sulla transazione.
Aggiungere un Extract.

Task 3: aggiungere ed eseguire Distribution Path

Se si utilizza l'area di memorizzazione delle credenziali GoldenGate, creare un utente per il percorso di distribuzione nella distribuzione dei Big Data destinazione, altrimenti passare al passo 3.
Nella console di distribuzione ATP origine GoldenGate, aggiungere una connessione percorso per l'utente creato nel passo 1.
1. Nella console di distribuzione ATP di origine GoldenGate, fare clic su Connessioni percorso nella navigazione a sinistra.
2. Fare clic su Aggiungi connessione percorso (icona più), quindi completare le operazioni riportate di seguito.
  1. In Alias credenziale, immettere GGSNetwork.
  2. In ID utente, immettere il nome dell'utente creato nel passo 1.
  3. Immettere due volte la password dell'utente per verifica.
3. Fare clic su Sottometti.
  
  La connessione percorso viene visualizzata nella lista Connessioni percorso.
Nella console di distribuzione ATP origine, aggiungere un percorso di distribuzione con i valori riportati di seguito.
1. Nella pagina Opzioni di origine:
  - In Estrazione origine selezionare l'estrazione creata nel task 2.
  - In Nome traccia, immettere un nome di due caratteri, ad esempio E1.
2. Nella pagina Opzioni di destinazione:
  - Per Host di destinazione, immettere il dominio host della distribuzione di destinazione.
  - In Numero porta, immettere 443.
  - In Nome traccia, immettere un nome di due caratteri, ad esempio E1.
  - Per Alias, immettere l'alias di credenziale creato nel passo 2.
Nella console di distribuzione dei Big Data destinazione, esaminare il file Receiver Path creato come risultato del file Distribution Path.
1. Nella console di distribuzione dei Big Data di destinazione, fare clic su Receiver Service.
2. Esaminare i dettagli del percorso. Questo percorso è stato creato come risultato della creazione di Distribution Path nel passo precedente.

Task 4: aggiungere Replicat

Nella console di distribuzione dei Big Data di destinazione, fare clic su Administration Service, quindi su Aggiungi Replicat (icona più).
Aggiungere un valore Replicat con i seguenti valori:
1. Nella pagina Replicat Informazioni, sotto il tipo Replicat, selezionare Classico Replicat, immettere un nome di processo, quindi fare clic su Avanti.
2. Nella pagina Opzioni Replicat:
  - Per Nome, inserire il nome del trail dal task 3.
  - Per Target, selezionare Kafka.
  - Per Alias, selezionare la connessione Kafka creata nel task 1.
3. Nella pagina Parametri Replicat, lasciare l'impostazione predefinita.
4. Nella pagina File delle proprietà, fornire un nome di argomento per la proprietà seguente:
```
gg.handler.kafkahandler.topicMappingTemplate=
```
  Se un argomento non è presente, OCI GoldenGate ne crea uno automaticamente.
Fare clic su Crea ed esegui.

Si torna alla pagina Replicats, dove è possibile rivedere i dettagli di Replicat.

Task 5: verificare la replica

Eseguire alcuni aggiornamenti all'istanza di Autonomous Transaction Processing di origine per verificare la replica in Apache Kafka.

Nella console di Oracle Cloud, aprire il menu di navigazione, selezionare Oracle Database, quindi selezionare Autonomous Transaction Processing.
Nella lista delle istanze di Autonomous Transaction Processing, selezionare l'istanza di origine per visualizzarne i dettagli.
Nella pagina dei dettagli del database, fare clic su Azioni del database.

Nota
Dovresti essere connesso automaticamente. In caso contrario, eseguire il login con le credenziali del database.
Nella home page Database Actions selezionare SQL.

Immettere quanto segue nel foglio di lavoro e fare clic su Esegui script.

Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

Nella console di distribuzione ATP di origine, selezionare il nome Extract, quindi fare clic su Statistiche. Verificare che in SRC_OCIGGLL.SRC_CITY siano presenti 10 inserimenti.
Nella console di distribuzione dei Big Data di destinazione, selezionare il nome Replicat, quindi fare clic su Statistiche. Verificare che in SRC_OCIGGLL.SRC_CITY siano presenti 10 inserimenti.