Nota

Impostare la replica bidirezionale tra due istanze gestite Oracle Heatwave MySQL utilizzando OCI GoldenGate

Introduzione

Oracle Cloud Infrastructure GoldenGate (OCI GoldenGate) è un servizio completamente gestito che aiuta i data engineer a spostare i dati in tempo reale, su larga scala, da uno o più sistemi di gestione dei dati ai database OCI. Progetta, esegui, orchestra e monitora i task di replica dei dati in un'unica interfaccia senza dover allocare o gestire ambienti di calcolo. OCI GoldenGate supporta diverse origini e destinazioni, tra cui il servizio di database MySQL e Oracle HeatWave MySQL.

In questa esercitazione verrà descritto come impostare la replica bidirezionale utilizzando OCI GoldenGate tra due istanze Oracle HeatWave MySQL in OCI.

Obiettivi

Prerequisiti

Task 1: distribuire OCI GoldenGate

  1. Eseguire il login a OCI Console, cercare GoldenGate, selezionare servizio GoldenGate e fare clic su Crea distribuzione.

  2. Immettere le informazioni riportate di seguito e fare clic su Crea.

    • Nome: immettere MySQLggdeployment1.
    • Tipo di distribuzione: selezionare Replica dati.
    • Select Technology: selezionare MySQL.
    • Seleziona versione: immettere 21.15.
    • Configurazione hardware: immettere # di OCPU.
    • Selezione subnet: selezionare la subnet.
    • Tipo di licenza: selezionare il tipo di licenza.
    • Nome istanza: immettere GGInstance1.
    • Area di memorizzazione credenziali: selezionare GoldenGate (creare un nuovo segreto password o selezionarne uno esistente).

Task 2: Creare utenti nelle istanze Oracle HeatWave MySQL

  1. Utilizzare l'host Bastion OCI per connettersi alle istanze MySQL di origine e destinazione e creare utenti per i processi Extract e Replicat GoldenGate OCI. Eseguire la seguente query:

    • Nell'istanza MySQL di origine.

      > create user 'ggsuser_S'@'%' identified by "<password>";
> grant all privileges on airportdb.* to 'ggsuser_S'@'%' with grant option;
> Grant select,  process, replication slave, replication client on *.* to 'ggsuser_S'@'%';

    • Nell'istanza MySQL di destinazione.

      > create user 'ggsuser_T'@'%' identified by "<password>";
> grant all privileges on airportdb.* to 'ggsuser_T'@'%' with grant option;
> Grant select,  process, replication slave, replication client on *.* to 'ggsuser_T'@'%';

Task 3: impostare le connessioni nella distribuzione GoldenGate OCI

  1. Andare alla pagina di distribuzione GoldenGate di OCI e fare clic su Connessioni per impostare la connessione.

    Immagine che illustra come creare una connessione

  2. Immettere le informazioni di connessione.

    Immagine che mostra le connessioni GoldenGate

  3. Ripetere i passi precedenti per aggiungere connessioni sia di origine che di destinazione.

  4. Selezionare Distribuzioni e fare clic su Connessioni assegnate per assegnare le connessioni alla distribuzione.

    Immagine che mostra come assegnare le connessioni alla distribuzione

Task 4: impostare regole di entrata e liste di sicurezza per la console GoldenGate OCI

  1. Imposta le regole di entrata e aggiorna le liste di sicurezza per consentire la comunicazione tra le istanze Oracle HeatWave MySQL, la distribuzione GoldenGate OCI e la computazione OCI Bastion.

    Nota: se si utilizza la VPN, è possibile saltare questo passaggio.

    Attenersi ai passi elencati qui: Opzione B: usare il bastion personale su OCI Compute.

    ssh -i <private-ssh-key-of-bastion-compute> opc@<bastion-compute-public-ip> -L 443:<GoldenGategate-deployment-hostname>:443 -N

  2. Eseguire il test delle connessioni per i database di origine e di destinazione in OCI Console e tramite OCI GoldenGate Console.

    1. Convalidare le connessioni all'istanza MySQL all'interno di OCI Console.

      Immagine che illustra come eseguire il test di una connessione

    2. Convalidare le stesse connessioni dalla console GoldenGate OCI.

      Immagine che illustra come eseguire il test di una connessione nella console GG

Task 5: Creare i processi di estrazione e replica

  1. Creare un'estrazione principale (EXT1).

    1. Eseguire il login alla console GoldenGate OCI.

    2. Andare a Panoramica e fare clic sul segno + nella sezione Estrazioni.

      Immagine che mostra come aggiungere EXTRACT

    3. Inserire le informazioni sull'estrazione.

      Immagine che mostra i dettagli di EXTRACT

    4. Modificare il file dei parametri in base alle esigenze. Il file dei parametri riportato di seguito acquisisce tutte le modifiche nel database classicmodels, incluse le modifiche DDL.

      EXTRACT ext1
USERIDALIAS  MySQLpoc1, DOMAIN OracleGoldenGate
EXTTRAIL e1
DDL INCLUDE MAPPED
TRANLOGOPTIONS FETCHPARTIALJSON
TABLE classicmodels.*;

      Nota: MySQLpoc1 è un'istanza di origine.

    5. Avviare l'estrazione e annotare l'identificativo transazione globale (GTID) nell'origine.

      MySQL>  select @@gtid_executed, @@gtid_purged\G
*************************** 1. row ***************************
@@gtid_executed: 3b631a96-6aa7-11ef-95c0-02001701769c:1-94    <--- make a note of this GTID
@@gtid_purged: 3b631a96-6aa7-11ef-95c0-02001701769c:1-72
1 row in set (0.00 sec)
MySQL>

      Avviare l'estrazione e mantenerla sempre in esecuzione, anche quando si sta ancora lavorando sull'impostazione del database di destinazione per assicurarsi che vengano acquisite tutte le modifiche.

  2. Creare un Replicat primario (REP1).

    1. Eseguire il login alla console GoldenGate OCI.

    2. Andare a Panoramica e fare clic sul segno + nella sezione Replicat.

      Immagine che mostra i dettagli REPLICAT

      Nota: il nome della tabella di checkpoint deve essere preceduto dal nome del database o dello schema in minuscolo. In caso contrario, la creazione della tabella di checkpoint non riuscirà.

      Ad esempio, classicmodels.OCIGG_CHECKPOINT_REP1.

      Si consiglia di creare un database/schema dedicato separato (ad esempio, schema ggadmin) per la tabella di checkpoint.

      MySQL> create database ggadmin;
Query OK, 1 row affected (0.01 sec)
MySQL> grant all privileges on ggadmin.* to 'ggsuser_T'@'%' with grant option;
Query OK, 0 rows affected (0.00 sec)
MySQL> grant all privileges on ggadmin.* to 'ggsuser_S'@'%' with grant option;
Query OK, 0 rows affected (0.00 sec)

    3. Modificare il file dei parametri in base alle esigenze. Il file dei parametri seguente replica tutti gli oggetti nel database classicmodels insieme alle modifiche DDL.

      REPLICAT rep1
USERIDALIAS  MySQLpoc2, DOMAIN OracleGoldenGate
DDL INCLUDE MAPPED
MAP classicmodels.*, TARGET classicmodels.*;

      Nota: MySQLpoc2 è un'istanza di destinazione.

    4. Poiché questo è il Replicat principale ed è stato avviato per la prima volta, inizierà ad applicarsi dal file trail 0. Tuttavia, se si desidera modificare Replicat per iniziare da un determinato GTID, attenersi alla procedura riportata di seguito.

      1. Andare alla sezione Replicat nella console GoldenGate OCI.

      2. Selezionare il replicato, fare clic su Modifica, Modifica, BEGIN, selezionare GTID e immettere il GTID.

  3. Finora è stata impostata la funzione unidirezionale per la replica DML (Data Manipulation Language) e DDL. Una volta sincronizzata la replica unidirezionale, possiamo procedere con la replica bidirezionale.

    1. Ripetere i passi 5.1 e 5.2, ma questa volta i dettagli di origine e destinazione vengono invertiti. L'istanza del database di origine ora fungerà da istanza di destinazione e l'istanza di destinazione fungerà da istanza di origine.

      • Origine: immettere MySQLpoc2.
      • Destinazione: immettere MySQLpoc1.
      • Per questo caso d'uso, abbiamo utilizzato un secondo database airportdb. È possibile impostare la replica bidirezionale per lo stesso database.

    2. Aggiungere l'estrazione principale (EXT2).

      EXTRACT ext2
USERIDALIAS  MySQLpoc2, DOMAIN OracleGoldenGate
EXTTRAIL e2
DDL INCLUDE MAPPED
TRANLOGOPTIONS FILTERTABLE ggadmin.OCIGG_CHECKPOINT_REP*  -- from 23ai GG use EXCLUDEFILTERTABLE
TABLE airportdb.*;

    3. Creare manualmente la tabella di checkpoint in quanto si tratta di un Replicat classico. Per la replica bidirezionale sono supportate solo repliche classiche e coordinate.

      For example: ggadmin.OCIGG*CHECKPOINT_REP`- Add primary REPLICAT REP2:` REPLICAT rep2
USERIDALIAS MySQLpoc1, DOMAIN OracleGoldenGate
DDL INCLUDE MAPPED
MAP airportdb.*, TARGET airportdb.\_;

Task 6: Esegui test DDL e DML

Ora che l'impostazione bidirezionale è completata, è il momento di eseguire semplici test DML e DDL.

--DML test from classicmodels database on source MySQLpoc1
MySQLpoc1> select count(*) from weatherdata;
+----------+
| count(*) |
+----------+
|  4626432 |
+----------+
1 row in set (0.19 sec)

MySQLpoc1> insert into weatherdata values ('2005-01-02','04:50:00',-8.1,3,57.0,990.00,38.00,'Nebel-Schneefall',61);
Query OK, 1 row affected (0.00 sec)

MySQLpoc1> select count(*) from weatherdata;
+----------+
| count(*) |
+----------+
|  4626433 |
+----------+
1 row in set (0.23 sec)

-DDL replication test from classicmodels database on source MySQLpoc1
MySQLpoc1> create table test (name char(5));
Query OK, 0 rows affected (0.02 sec)

MySQL> insert into test values ('cj');
Query OK, 1 row affected (0.00 sec)

MySQL>

--Now Let's check if the above DML and DDLs got replicated to target MySQLpoc2
MySQLpoc2> select count(*) from weatherdata;
+----------+
| count(*) |
+----------+
|  4626433 | <--- row count matches to source
+----------+
1 row in set (0.37 sec)

MySQLpoc2>
MySQLpoc2> select * from test;
+------+
| name |
+------+
| cj   |          <-- table CJ got replicated
+------+
1 row in set (0.00 sec)

MySQL>


-- Now testing Bi directional
-- on target (MySQLpoc2)
MySQLpoc2> select * from test;
+------+
| name |
+------+
| cj   |
+------+
1 row in set (0.00 sec)

MySQLpoc2> insert into test values ('cj2');
Query OK, 1 row affected (0.01 sec)

MySQLpoc2> select * from test;
+------+
| name |
+------+
| cj   |
| cj2  |
+------+
2 rows in set (0.00 sec)

MySQLpoc2> insert into test values ('cjs3');
Query OK, 1 row affected (0.00 sec)

MySQLpoc2> select * from test;
+------+
| name |
+------+
| cj   |
| cj2  |
| cjs3 |
+------+
3 rows in set (0.00 sec)

MySQLpoc2>

--On source (MySQLpoc1):
--DML on the target got REPLICATed on the source
MySQLpoc1> select * from test;
+------+
| name |
+------+
| cj   |
| cj2  |
| cjs3 |
+------+
3 rows in set (0.00 sec)

MySQL>

Task 7: Imposta estrazione caricamento iniziale

  1. Impostare Estrai caricamento iniziale se si desidera utilizzare OCI GoldenGate per eseguire il caricamento iniziale dei dati nel database di destinazione.

    1. Eseguire il login alla console GoldenGate OCI.

    2. Andare a Panoramica e fare clic sul segno + nella sezione Estrai. Questa operazione è molto simile alla creazione di un'estrazione principale. L'unica differenza consiste nel selezionare Tipo di estrazione come Carico iniziale durante la creazione di un'estrazione.

      File dei parametri per l'estrazione del caricamento iniziale.

      Parameter file for initial load EXTRACT:
EXTRACT EXTIL
USERIDALIAS  MySQLpoc1, DOMAIN OracleGoldenGate
EXTFILE il ,  PURGE
TABLE airportdb.*;
MAP_PARALLELISM 4
MIN_APPLY_PARALLELISM 2
MAX_APPLY_PARALLELISM 10
SPLIT_TRANS_RECS 1000
CHUNK_SIZE 1 GB

  2. Impostare in modo simile un Replicat che leggerà i file trail generati dal caricamento iniziale Extract. Questo Replicat e il caricamento iniziale Extract verranno entrambi eliminati una volta completato il caricamento iniziale.

    1. Nel database di destinazione, assicurarsi che tutte le tabelle siano vuote. Elimina/Disattiva tutte le chiavi esterne nella destinazione. Disabilita trigger e indici nella destinazione per migliorare le prestazioni di caricamento iniziale.

      Nota: eseguire un backup per le DDL degli oggetti dello schema prima di eliminarle.

    2. Di seguito è riportato l'ordine di creazione dei processi Extract e Replicat se si utilizza il caricamento iniziale Extract per il caricamento iniziale dei dati.

      1. Creare un'estrazione principale per l'origine (non avviare ancora il processo).

      2. Creare un'estrazione caricamento iniziale per l'origine (non avviare ancora il processo) e acquisire il GTID nell'origine.

      3. Creare un Replicat per elaborare i file trail generati dal caricamento iniziale Extract per la destinazione (non avviare ancora il processo).

        Nota: non esiste un tipo Replicat separato per il caricamento iniziale.

      4. Creare un Replicat primario per la destinazione (non avviare ancora il processo).

      5. Utilizzare la stessa tabella di checkpoint sia per il caricamento iniziale di Replicat che per il Replicat primario. Il caricamento iniziale Replicat punta ai file trail di Extract iniziali e Replicat primario punta ai file trail di Extract principali (entrambi i file trail sono diversi).

    3. Di seguito è riportato l'ordine in cui i processi devono essere avviati quando si utilizza il caricamento iniziale Extract.

      1. Avviare l'estrazione principale e prendere nota del GTID registrato.

      2. Avviare il Replicat creato per il caricamento iniziale Extract.

      3. Modificare il caricamento iniziale Extract e modificarlo in modo che inizi con GTID ottenuto all'avvio dell'estrazione principale.

      4. Avviare il Replicat principale.

        Nota:

        • Avviare Replicat primario solo dopo la sincronizzazione sia del caricamento iniziale Extract che di Replicat per il caricamento iniziale (LAG 0).
        • Creare o abilitare le chiavi esterne prima di avviare il Replicat primario.

        Creare gli indici (se eliminati in precedenza per migliorare le prestazioni di caricamento iniziali) prima di avviare Replicat principale.

Limiti

Conferme

Altre risorse di apprendimento

Esplora altri laboratori su docs.oracle.com/learn o accedi a più contenuti gratuiti sulla formazione su Oracle Learning YouTube channel. Inoltre, visita education.oracle.com/learning-explorer per diventare un Oracle Learning Explorer.

Per la documentazione del prodotto, visita l'Oracle Help Center.