Replica dei dati da HeatWave a Amazon Kinesis

Scopri come utilizzare OCI GoldenGate per replicare i dati da HeatWave ad Amazon Kinesis.

Prima di iniziare

Per completare correttamente questo QuickTart, è necessario disporre di:

Impostazione dell'ambiente: HeatWave

Per impostare l'ambiente per questo Quickstart:
  1. Scaricare lo script di dati di esempio, quindi eseguire lo script nel database HeatWave per creare il database e caricare i dati.
  2. Creare un utente ggadmin utilizzando lo script seguente. Ricordarsi di sostituire <ggadmin-password> con una password valida:
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. Aprire port 3306, tramite il quale è possibile connettersi a OCI GoldenGate.
    1. Nella console di Oracle Cloud, individuare la subnet utilizzata dal database HeatWave.
    2. Nella lista di sicurezza della subnet, creare una regola di entrata per port TCP/3306.

Task 1: creare le risorse OCI GoldenGate

  1. Creare una distribuzione MySQL per il database di origine HeatWave.
  2. Crea un'implementazione di Big Data per la destinazione Amazon Kinesis.
  3. Creare una connessione al database Heatwave di origine.
  4. Connettiti ad Amazon Kinesis.
  5. Creare una connessione a GoldenGate, quindi assegnare questa connessione alla distribuzione MySQL di origine.
  6. Assegnare la connessione di origine alla distribuzione MySQL di origine.
  7. Assegnare la connessione di destinazione alla distribuzione Big Data di destinazione.

Task 2: creare il file Extract

  1. Nella pagina Distribuzioni selezionare la distribuzione MySQL creata nel task 1.
  2. Nella pagina dei dettagli della distribuzione, fare clic su Avvia console.
  3. Accedere alla console di distribuzione MySQL di origine utilizzando le credenziali di amministratore specificate al momento della creazione della distribuzione nel task 1.
  4. Aggiungere un valore Change Data Capture Extract con i seguenti valori:
    • Extract Tipo: Change Data Capture Extract
    • Nome processo: ECDC
    • Extract Trail Nome: C1
    • File dei parametri: sostituire MAP *.*, TARGET *.*; con TABLE SRC_OCIGGLL.*;

Task 3: creare Distribution Path per la distribuzione dei Big Data di destinazione

  1. Se si utilizza l'area di memorizzazione delle credenziali IAM, procedere con il passo 3. Se si utilizza l'area di memorizzazione delle credenziali GoldenGate, creare un utente con cui utilizzare l'origine GoldenGate per connettersi alla destinazione GoldenGate.
    1. Nella pagina Distribuzioni, selezionare la distribuzione dei Big Data destinazione.
    2. Nella pagina dei dettagli della distribuzione, fare clic su Avvia console, quindi eseguire il login come utente amministratore.
    3. Nel menu di navigazione della console di distribuzione, fare clic su Amministrazione utenti.
    4. Fare clic su Aggiungi nuovo utente (icona più), completare i campi come indicato di seguito, quindi fare clic su Sottometti:
      • Per Nome utente, immettere ggsnet.
      • In Ruolo, selezionare Operatore.
      • Immettere due volte la password per la verifica.
  2. Nella console di distribuzione origine MySQL, creare un Path Connection per l'utente creato nel passo precedente.
    1. Aprire il menu di navigazione, quindi fare clic su Path Connection.
    2. Fare clic su Aggiungi Path Connection (icona più), completare i campi come indicato di seguito, quindi fare clic su Sottometti:
      • In Alias credenziale, immettere dpuser.
      • Per ID utente, immettere ggsnet
      • Per Password, immettere la stessa password utilizzata nel passo precedente.
  3. Nella console di distribuzione origine MySQL aggiungere un Distribution Path con i seguenti valori:
    1. Nella pagina Opzioni di origine:
      • Per Origine Extract, selezionare Extract creato nel task 2.
      • In Nome traccia, immettere un nome di due caratteri, ad esempio C1.
    2. Nella pagina Opzioni di destinazione:
      • In Host di destinazione, immettere il dominio host della distribuzione di destinazione.
      • In Numero porta immettere 443.
      • In Nome traccia, immettere un nome di due caratteri, ad esempio C1.
      • Per Alias, immettere l'alias di credenziale creato nel passo 2.
  4. Nella console di distribuzione dei Big Data OCI GoldenGate di destinazione, esaminare il file Receiver path creato come risultato del file Distribution Path:
    1. Fare clic su Receiver Service.
    2. Esaminare i dettagli di Receiver path.

Task 4: aggiungere un Replicat per Amazon Kinesis

  1. Nella distribuzione dei Big Data, fare clic su Administration Service, quindi su Aggiungi Replicat (icona più).
  2. Aggiungere un valore Replicat con i seguenti valori:
    • Per il tipo Replicat, selezionare Classic Replicat
    • In Nome processo, immettere un nome.
    • In Nome trail target, immettere il nome del trail dal task 2.
    • Per Destinazione, selezionare Amazon Kinesis.
    • Per Alias disponibili per Amazon Kinesis, selezionare l'alias desiderato dall'elenco a discesa.
    • Nella pagina File delle proprietà, modificare i campi contrassegnati come #TODO:
      • gg.handler.kinesis.region: fornire l'area Amazon Web Services (AWS) per il flusso Kinesis di destinazione.
      • gg.handler.kinesis.streamMappingTemplate: per impostazione predefinita, è impostato su ${tableName} che mapperà i flussi in base al nome della tabella di origine. Se si desidera eseguire il mapping a un flusso di dati esistente, è possibile fornire nomi di flusso statici oppure utilizzare Parole chiave modello per assegnare nomi di flusso in modo dinamico.

Task 5: verifica della replica dei dati da HeatWave ad Amazon Kinesis

Eseguire aggiornamenti al database di origine HeatWave per verificare la replica in Amazon Kinesis.
  1. Nel bastion OCI, creare una sessione di inoltro delle porte SSH utilizzando l'IP MySQL e port 3306. Aggiungere la chiave SSH pubblica.
  2. Connettersi a MySQL in Cloud Shell utilizzando la chiave privata e port 3306.
  3. Dopo la connessione, eseguire il comando seguente:
    mysqlsh admin@localhost:3306 --sql
  4. Eseguire il seguente script per eseguire gli inserimenti nel database HeatWave:
    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;
  5. Nella console di distribuzione MySQL di origine, selezionare il nome Change Data Capture Extract (CDCEXT), quindi fare clic su Statistiche. Verificare che SRC_OCIGGLL.SRC_CITY contenga 10 inserimenti.
  6. Nella console di distribuzione dei Big Data di destinazione, selezionare il nome Replicat, quindi fare clic su Statistiche. Verificare che SRC_OCIGGLL.SRC_CITY contenga 10 inserimenti.
  7. In Amazon Kinesis, puoi controllare i messaggi nel flusso di dati di destinazione o nel visualizzatore di dati.