Replica dei dati da HeatWave ad Amazon Kinesis

Scopri come utilizzare OCI GoldenGate per replicare i dati da HeatWave ad Amazon Kinesis.

Prima di iniziare

Per completare correttamente questo avvio rapido, è necessario disporre dei seguenti elementi:

OCI Bastion, per connettersi a HeatWave, caricare il database di esempio ed eseguire inserimenti.
Database HeatWave da utilizzare come database di origine.
Chiave di accesso e segreto Amazon S3
Criteri IAM per Amazon Kinesis

Impostazione dell'ambiente: HeatWave

Per impostare l'ambiente per questo Quickstart:

Scarica lo script di dati di esempio, quindi esegui lo script su HeatWave nel database OCI per creare il database e caricare i dati.

Creare un utente ggadmin utilizzando lo script seguente. Ricordarsi di sostituire <ggadmin-password> con una password valida:

CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';

Aprire port 3306, tramite il quale OCI GoldenGate può connettersi.
1. Nella console di Oracle Cloud, individuare la subnet utilizzata da HeatWave sul database OCI.
2. Nella lista di sicurezza della subnet creare una regola di entrata per port TCP/3306.

Task 1: creare le risorse OCI GoldenGate

Crea una distribuzione MySQL per il database HeatWave di origine.
Crea una distribuzione di Big Data per la destinazione Amazon Kinesis.
Creare una connessione al database Heatwave di origine.
Connettiti ad Amazon Kinesis.
Creare una connessione a GoldenGate, quindi assegnare questa connessione alla distribuzione MySQL di origine.
Assegnare la connessione di origine alla distribuzione MySQL di origine.
Assegnare la connessione di destinazione alla distribuzione Big Data di destinazione.

Task 2: Creazione dell'estrazione

Nella pagina Distribuzioni selezionare la distribuzione MySQL creata nel task 1.
Nella pagina dei dettagli della distribuzione selezionare Avvia console.
Connettersi alla console di distribuzione MySQL di origine utilizzando le credenziali di amministratore specificate durante la creazione della distribuzione nel task 1.
Aggiungere un'estrazione di Change Data Capture con i valori riportati di seguito.
- Tipo di estrazione: Estrazione acquisizione dati modifica
- Nome processo: ECDC
- Nome trail estrazione: C1
- File dei parametri: sostituire MAP *.*, TARGET *.*; con TABLE SRC_OCIGGLL.*;

Task 3: Creare il percorso di distribuzione per la distribuzione dei Big Data di destinazione

Se si utilizza l'area di memorizzazione delle credenziali IAM, procedere al passo 3. Se si utilizza l'area di memorizzazione delle credenziali GoldenGate, creare un utente con il quale GoldenGate di origine utilizza per connettersi a GoldenGate di destinazione.
1. Nella pagina Distribuzioni selezionare la distribuzione dei Big Data di destinazione.
2. Nella pagina dei dettagli della distribuzione, selezionare Avvia console, quindi eseguire il login come utente amministratore.
3. Nel menu di navigazione della console di distribuzione selezionare Amministrazione utenti.
4. Selezionare Aggiungi nuovo utente (icona più), completare i campi come indicato di seguito, quindi selezionare Sottometti.
  - Per Nome utente, immettere ggsnet.
  - Per Ruolo, selezionare Operatore.
  - Immettere due volte la password per la verifica.
Nella console di distribuzione MySQL di origine, creare una connessione percorso per l'utente creato nel passo precedente.
1. Aprire il menu di navigazione, quindi selezionare Path Connection.
2. Selezionare Aggiungi connessione percorso (icona più), completare i campi come indicato di seguito, quindi selezionare Sottometti.
  - Per Alias credenziale, immettere dpuser.
  - Per ID utente, immettere ggsnet
  - Per Password, immettere la stessa password utilizzata nel passo precedente.
Nella console di distribuzione di origine MySQL aggiungi un percorso di distribuzione con i seguenti valori:
1. Nella pagina Opzioni di origine effettuare le operazioni riportate di seguito.
  - Per Estrazione origine, selezionare l'estrazione creata nel task 2.
  - In Nome percorso, immettere un nome di due caratteri, ad esempio C1.
2. Nella pagina Opzioni di destinazione effettuare le operazioni riportate di seguito.
  - Per Host di destinazione, immettere il dominio host della distribuzione di destinazione.
  - In Numero porta, immettere 443.
  - In Nome percorso, immettere un nome di due caratteri, ad esempio C1.
  - In Alias, immettere l'alias credenziale creato nel Passo 2.
Nella console di distribuzione OCI GoldenGate Big Data di destinazione, esaminare il percorso del destinatario creato in seguito al percorso di distribuzione:
1. Selezionare Servizio ricevente.
2. Rivedere i dettagli del percorso del ricevente.

Task 4: Aggiungi un Replicat per Amazon Kinesis

Nella distribuzione Big Data, selezionare Replicat, quindi Aggiungi Replicat (icona più).
Aggiungere un Replicat con i valori seguenti:
- Per il tipo Replicat, selezionare Replicat classico
- In Nome processo, immettere un nome.
- In Nome trail di destinazione, immettere il nome del trail dal task 2.
- Per Destinazione, selezionare Amazon Kinesis.
- Per Alias disponibili per Amazon Kinesis, selezionare l'alias dall'elenco a discesa.
- Nella pagina File delle proprietà modificare i campi contrassegnati con #TODO:
  - gg.handler.kinesis.region: fornire l'area Amazon Web Services (AWS) per il flusso Kinesis di destinazione.
  - gg.handler.kinesis.streamMappingTemplate: per impostazione predefinita, è impostato su ${tableName}, che mapperà i flussi in base al nome della tabella di origine. Se si desidera eseguire il mapping a un flusso di dati esistente, è possibile fornire nomi di flusso statici oppure utilizzare Parole chiave modello per assegnare i nomi dei flussi in modo dinamico.

Task 5: verifica della replica dei dati da HeatWave ad Amazon Kinesis

Esegui aggiornamenti al database HeatWave di origine per verificare la replica in Amazon Kinesis.

In OCI Bastion creare una sessione di inoltro della porta SSH utilizzando MySQL IP e port 3306. Aggiungere la chiave SSH pubblica.
Connettiti a MySQL in Cloud Shell utilizzando la tua chiave privata e port 3306.
Dopo aver eseguito correttamente la connessione, eseguire il comando seguente:
```
mysqlsh admin@localhost:3306 --sql
```

Eseguire lo script seguente per eseguire gli inserimenti nel database HeatWave:

use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;

Nella console di distribuzione MySQL di origine, selezionare il nome Estrazione acquisizione dati modifica (ECDC), quindi selezionare Statistiche. Verificare che in SRC_OCIGGLL.SRC_CITY siano presenti 10 inserimenti.
Nella console di distribuzione Big Data di destinazione selezionare il nome Replicat, quindi selezionare Statistiche. Verificare che in SRC_OCIGGLL.SRC_CITY siano presenti 10 inserimenti.
In Amazon Kinesis, è possibile controllare i messaggi nel flusso di dati di destinazione / visualizzatore di dati.