Replica i dati da HeatWave su OCI ad Autonomous AI Lakehouse

Scopri come utilizzare OCI GoldenGate per replicare i dati da HeatWave su OCI ad Autonomous AI Lakehouse.

Prima di iniziare

Per completare correttamente questo QuickTart, è necessario disporre dei seguenti elementi:

  • OCI Bastion, per connettersi a HeatWave su OCI, caricare il database di esempio ed eseguire gli inserimenti
  • Un database HeatWave su OCI da utilizzare come database di origine
  • Un'istanza di Autonomous AI Lakehouse da utilizzare come database di destinazione

Impostazione dell'ambiente: HeatWave su OCI

Per impostare l'ambiente per questo Quickstart:
  1. Scaricare lo script dei dati di esempio, quindi eseguire lo script nel database HeatWave su OCI per creare il database e caricare i dati.
  2. Creare un utente ggadmin utilizzando lo script seguente. Ricordarsi di sostituire <ggadmin-password> con una password valida:
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
    GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. Aprire port 3306, tramite il quale è possibile connettersi a OCI GoldenGate.
    1. Nella console di Oracle Cloud, individuare la subnet utilizzata dal database HeatWave su OCI.
    2. Nella lista di sicurezza della subnet, creare una regola di entrata per port TCP/3306.
  4. Scaricare gli script dello schema di destinazione, quindi eseguire gli script nell'istanza Autonomous AI Lakehouse per creare lo schema e le tabelle. È possibile utilizzare lo strumento SQL Database Actions di Autonomous AI Lakehouse per eseguire gli script:
    1. Nella console di Oracle Cloud, aprire la pagina dei dettagli del database Autonomous AI Lakehouse, quindi fare clic su Azioni del database.
    2. In Database Actions, in Sviluppo, fare clic su SQL.
    3. Lo strumento SQL consente di copiare e incollare lo script da OCIGGLL_OCIGGS_SETUP_USERS_ADW.sql nel foglio di lavoro SQL, quindi fare clic su Esegui script. In caso di esito positivo, la scheda Output script visualizza i messaggi di conferma.
    4. Cancellare il foglio di lavoro SQL, quindi copiare e incollare solo gli script Crea tabella da OCIGGLL_OCIGGS_SRC_MIRROR_USER_SEED_DATA.sql. I dati verranno caricati in un task successivo.

      Suggerimento

      Potrebbe essere necessario eseguire ciascuna istruzione Crea tabella separatamente affinché lo strumento SQL esegua correttamente gli script.
    5. Per verificare che le tabelle siano state create correttamente, chiudere la finestra SQL e riaprirla. Nella scheda Navigator, cercare lo schema SRC_OCIGGLL, quindi selezionare le tabelle dai rispettivi elenchi a discesa.

Task 1: creare le risorse OCI GoldenGate

Questo esempio di avvio rapido richiede distribuzioni e connessioni sia per l'origine che per la destinazione.
  1. Creare una distribuzione per il database di origine HeatWave su OCI.
  2. Creare una distribuzione per l'Autonomous AI Lakehouse di destinazione.
  3. Creare una connessione al database di origine HeatWave su OCI.
  4. Creare una connessione per l'Autonomous AI Lakehouse di destinazione.
  5. Creare una connessione a GoldenGate, quindi assegnare questa connessione alla distribuzione MySQL di origine.
  6. Assegnare la connessione di origine alla distribuzione MySQL di origine.
  7. Assegnare la connessione di destinazione alla distribuzione Oracle di destinazione.

Task 2: Creare le estrazioni

  1. Nella pagina Distribuzioni selezionare la distribuzione MySQL creata nel task 1.
  2. Nella pagina dei dettagli della distribuzione, fare clic su Avvia console.
  3. Accedere alla console di distribuzione MySQL di origine utilizzando le credenziali di amministratore specificate al momento della creazione della distribuzione nel task 1.
  4. Nel menu di navigazione, selezionare Connessioni DB.
  5. Rivedere le credenziali per la connessione HeatWave su OCI. Prendi nota del dominio e dell'alias.
  6. Aggiungere ed eseguire un Change Data Capture Extract con i seguenti valori:
    • Per Extract Tipo, selezionare Change Data Capture.
    • In Nome processo, immettere un nome per il processo Extract.
    • In Dominio, selezionare il dominio.
    • Per Alias, selezionare l'alias.
    • In Extract Nome trail, immettere un nome per il file trail.
    • Nella pagina File parametri aggiungere quanto segue:
      TABLE SRC_OCIGGLL.*;
  7. Aggiungere ed eseguire un'estrazione caricamento iniziale con i seguenti valori:
    • Per Extract Tipo, selezionare Initial Load Extract.
    • Per Nome processo, immettere un nome.
    • Nella pagina File parametri aggiungere quanto segue:
      TABLE SRC_OCIGGLL.*;

Task 3: creare il file Distribution Path per un file Initial Load Extract

  1. Nella pagina Distribuzioni selezionare la distribuzione Autonomous AI Database di destinazione.
  2. Nella pagina dei dettagli della distribuzione, fare clic su Avvia console, quindi eseguire il login come utente amministratore.
  3. Se si utilizza l'area di memorizzazione delle credenziali IAM, passare al passo Crea Distribution Path. Se si utilizza l'area di memorizzazione delle credenziali GoldenGate, creare un utente con cui utilizzare l'origine GoldenGate per connettersi alla destinazione GoldenGate.
    1. Nel menu di navigazione fare clic su Amministrazione utenti.
    2. Fare clic su Aggiungi nuovo utente (icona più), completare i campi come indicato di seguito, quindi fare clic su Sottometti:
      • In Nome utente immettere ggsnet.
      • In Ruolo, selezionare Operatore.
      • Immettere due volte la password per verifica.
  4. Nella console di distribuzione origine MySQL creare una connessione percorso per l'utente creato nel passo precedente.
    1. Nel menu di navigazione fare clic su Connessioni percorso.
    2. Fare clic su Aggiungi connessione percorso (icona più), completare i campi come indicato di seguito, quindi fare clic su Sottometti:
      • Per Alias credenziale, immettere dpuser.
      • Per l'ID utente, immettere ggsnet
      • Per Password, immettere la stessa password utilizzata nel passo precedente.
  5. Creare un Distribution Path.
    1. Nella barra dei menu del servizio, fare clic su Distribution Service, quindi su Aggiungi Distribution Path (icona più).
    2. Completare il form Aggiungi percorso come riportato di seguito.
      • Nella pagina Informazioni percorso:
        1. Per Nome percorso, immettere un nome per questo percorso.
        2. Fare clic su Successivo.
      • Nella pagina Opzioni di origine:
        1. Per Origine Extract, lasciare vuoto.
        2. In Nome traccia, immettere il nome del trail Initial Load Extract (I1).
        3. Fare clic su Successivo.
      • Nella pagina Opzioni target:
        1. Per Target, selezionare wss.
        2. Per Host di destinazione, immettere l'URL di distribuzione di destinazione, senza l'https:// o le barre finali.
        3. In Numero porta, immettere 443.
        4. Per Nome percorso, immettere I1.
        5. Per Metodo di autenticazione target, selezionare Alias UserID.
        6. In Dominio, immettere il nome di dominio creato nel passo precedente.
        7. In Alias, immettere l'alias creato nel passo precedente (dpuser).
        8. Fare clic su Successivo.
    3. Fare clic su Crea ed esegui.
    Si torna alla pagina Distribution Service in cui è possibile rivedere il percorso creato.
  6. Esamina Distribution Path:
    1. Fare clic su Receiver Service.
    2. Esaminare i dettagli di Distribution Path.

Task 4: aggiungere un Replicat per Initial Load Extract

  1. Nella console di distribuzione OCI GoldenGate di destinazione, aggiungere una tabella di checkpoint.
    1. Aprire il menu di navigazione, quindi fare clic su Connessioni al database.
    2. Fare clic su Connetti al database.
    3. Nel menu di navigazione fare clic su Checkpoint.
    4. Nella pagina Checkpoint fare clic su Aggiungi checkpoint (icona più).
    5. Per Tabella checkpoint, immettere SRCMIRROR_OCIGGLL.CHECKTABLE.
    6. Fare clic su Sottometti.

      Suggerimento

      La schermata non verrà aggiornata alla sottomissione. Per confermare l'aggiunta della tabella di checkpoint, immettere SRCMIRROR_OCIGGLL.CHECKTABLE nel campo di ricerca, quindi fare clic su Cerca.
  2. Aggiungere Replicat:
    1. Fare clic su Administrator Service, quindi su Aggiungi Replicat (icona più).
    2. Nella pagina Aggiungi Replicat, completare i campi del modulo riportati di seguito, quindi fare clic su Successivo.
      • Per il tipo Replicat, selezionare Nonintegrated Replicat.
      • Per Nome processo, immettere un nome, ad esempio RIL.
    3. Nella pagina Opzioni Replicat, completare i campi del modulo riportati di seguito, quindi fare clic su Successivo:
      • In Nome, immettere il nome del trail dal task 2 (I1).
      • Per il dominio, selezionare il dominio per la connessione Autonomous AI Database.
      • Per Alias, selezionare l'alias della connessione Autonomous AI Database.
      • Per Tabella checkpoint, selezionare la tabella checkpoint creata nel passo 1.
    4. Nella pagina Opzioni gestite, lasciare invariati i campi e fare clic su Avanti.
    5. Nella pagina Parametri Replicat aggiungere il mapping seguente, quindi fare clic su Crea ed esegui:
      MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;
    Viene visualizzata nuovamente la pagina Panoramica, in cui è possibile esaminare i dettagli di Replicat.
  3. Selezionare Replicat (RIL) e visualizzare i relativi dettagli.
  4. Fare clic su Statistiche ed esaminare il numero di inserimenti. Aggiornare la pagina.
    • Se il numero di inserimenti non cambia, tutti i record del file Initial Load sono stati caricati ed è possibile arrestare il file Replicat (RIL)
    • Se il numero di inserimenti continua ad aumentare, aggiornare la pagina finché i record di caricamento iniziale non vengono tutti caricati prima di continuare.

Task 5: verificare il caricamento iniziale

  1. Nella console di Oracle Cloud, aprire Azioni del database dalla pagina dei dettagli del database Autonomous AI Lakehouse.
  2. In Database Actions, in Sviluppo, fare clic su SQL.
  3. Nello strumento SQL, immettere nel foglio di lavoro ciascuna delle seguenti istruzioni e fare clic su Esegui istruzione:
    SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CITY;
    SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CUSTOMER;
L'output deve restituire i dati caricati nelle tabelle del database di destinazione come risultato del caricamento iniziale.

Task 6: creare un Distribution Path per un Change Data Capture

  1. Nella console di distribuzione di origine, fare clic su Distribution Service.
  2. Fare clic su Aggiungi Distribution Path.
  3. Completare il form Aggiungi percorso come riportato di seguito.
    1. Nella pagina Informazioni percorso:
      1. Per Nome percorso, immettere un nome.
      2. Fare clic su Successivo.
    2. Nella pagina Opzioni di origine:
      1. Per Origine Extract, selezionare Change Data Capture Extract (ECDC)).
      2. In Nome percorso, selezionare il file trail Change Data Capture (C1).
      3. Fare clic su Successivo.
    3. Nella pagina Opzioni target:
      1. Per Target, selezionare wss.
      2. Per Host di destinazione, immettere l'URL della console di distribuzione di destinazione (è possibile trovarlo nella pagina dei dettagli della distribuzione, senza l'https:// o le barre finali.
      3. In Numero porta, immettere 443.
      4. Per Nome percorso, immettere C1.
      5. Per Metodo di autenticazione target, selezionare Alias UserID.
      6. Per Dominio, immettere il nome del dominio.
      7. Per Alias, immettere l'alias.
    4. Fare clic su Crea percorso ed esegui.
  4. Nella console di distribuzione di destinazione, fare clic su Receiver Service, quindi esaminare il file Receiver path creato.

Task 7: aggiungere un Replicat per Change Data Capture

  1. Aggiungere il valore Replicat con i seguenti valori:
    1. Nella pagina Informazioni Replicat:
      • Per Replicat Tipo, selezionare Coordinated Replicat.
      • Per Nome processo, immettere un nome, ad esempio RCDC.
    2. Nella pagina Opzioni Replicat:
      • Per Replicat Trail, immettere il nome del trail dal task 2 (C1).
      • Per il dominio, selezionare il dominio per la connessione Autonomous AI Database.
      • Per Alias, immettere l'alias di credenziale.
      • In Tabella checkpoint, selezionare la tabella checkpoint creata.
    3. Nella pagina Parametri Replicat aggiungere il mapping seguente, quindi fare clic su Crea ed esegui:
      MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;
  2. Nella pagina Administration Service Panoramica, selezionare Replicat per Initial Load (RIL) e visualizzare i relativi dettagli.
  3. Fare clic su Statistiche ed esaminare il numero di inserimenti. Aggiornare la pagina.
    • Se il numero di inserimenti non cambia, tutti i record del caricamento iniziale sono stati caricati ed è possibile arrestare il file Replicat (RIL)
    • Se il numero di inserimenti continua ad aumentare, aggiornare la pagina finché i record di caricamento iniziale non vengono tutti caricati prima di continuare.
  4. Tornare alla pagina Panoramica del servizio di amministrazione, quindi avviare Coordinated Replicat (RCDC).
  5. Dopo aver avviato Coordinated Replicat, esaminare i relativi dettagli e statistiche per visualizzare il numero di inserimenti.

Task 8: verificare Change Data Capture

Eseguire gli aggiornamenti al database HeatWave di origine su OCI per verificare la replica in Autonomous AI Lakehouse.
  1. Nel bastion OCI, creare una sessione di inoltro delle porte SSH utilizzando l'IP MySQL e la porta 3306. Aggiungere la chiave SSH pubblica.
  2. Connettersi a MySQL in Cloud Shell utilizzando la chiave privata e la porta 3306.
  3. Dopo la connessione, eseguire il comando seguente:
    mysqlsh admin@localhost:3306 --sql
  4. Eseguire lo script seguente per eseguire gli inserimenti nel database HeatWave su OCI:
    use SRC_OCIGGLL;
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
    commit;
  5. Nella console di distribuzione MySQL di origine, selezionare il nome Change Data Capture Extract, quindi fare clic su Statistiche. Verificare che in SRC_OCIGGLL.SRC_CITY siano presenti 10 inserimenti.

    Nota

    Se Extract non ha acquisito alcun inserimento, riavviare Extract.

Task 9: Monitorare e gestire i processi

  1. Monitorare le prestazioni.
  2. Gestisci file trail.