Invia dati da HeatWave agli hub eventi di Azure

Scopri come utilizzare OCI GoldenGate per replicare i dati da HeatWave a Hub eventi di Azure.

Prima di iniziare

Per completare correttamente questo QuickTart, è necessario disporre dei seguenti elementi:

  • Bastion OCI, per connettersi al database HeatWave, caricare il database di esempio ed eseguire inserimenti.
  • Un database HeatWave da utilizzare come database di origine.
  • Uno spazio di nomi degli hub eventi di Azure e un hub eventi creati

    Nota

    Kafka Surface non è abilitato nel livello di base di Azure Event Hubs. Il livello Standard o Premium è obbligatorio.

Impostazione dell'ambiente: HeatWave

Per impostare l'ambiente per questo Quickstart:
  1. Scaricare lo script di dati di esempio, quindi eseguire lo script nel database HeatWave per creare il database e caricare i dati.
  2. Creare un utente ggadmin utilizzando lo script seguente. Ricordarsi di sostituire <ggadmin-password> con una password valida:
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. Aprire port 3306, tramite il quale è possibile connettersi a OCI GoldenGate.
    1. Nella console di Oracle Cloud, individuare la subnet utilizzata dal database HeatWave.
    2. Nella lista di sicurezza della subnet, creare una regola di entrata per port TCP/3306.

Task 1: creare le risorse OCI GoldenGate

  1. Creare una distribuzione MySQL per il database di origine HeatWave.
  2. Creare una distribuzione Big Data per gli hub eventi di Azure di destinazione.
  3. Creare una connessione al database Heatwave di origine MySQL.
  4. Creare una connessione agli hub di eventi di Azure.
  5. Creare una connessione a GoldenGate, quindi assegnare questa connessione alla distribuzione MySQL di origine.
  6. Assegnare la connessione di origine alla distribuzione MySQL di origine.
  7. Assegnare la connessione di destinazione alla distribuzione Big Data di destinazione.

Task 2: creare il file Extract

  1. Nella pagina Distribuzioni selezionare la distribuzione MySQL creata nel task 1.
  2. Nella pagina dei dettagli della distribuzione, fare clic su Avvia console.
  3. Accedere alla console di distribuzione MySQL di origine utilizzando le credenziali di amministratore specificate al momento della creazione della distribuzione nel task 1.
  4. Aggiungere un valore Change Data Capture Extract con i seguenti valori:
    • Extract Tipo: Change Data Capture Extract
    • Nome del processo: ECDC
    • Extract Trail Nome: C1
    • File dei parametri: sostituire MAP *.*, TARGET *.*; con TABLE SRC_OCIGGLL.*;

Task 3: creare Distribution Path per la distribuzione dei Big Data di destinazione

  1. Se si utilizza l'area di memorizzazione delle credenziali IAM, procedere con il passo 3. Se si utilizza l'area di memorizzazione delle credenziali GoldenGate, creare un utente con cui utilizzare l'origine GoldenGate per connettersi alla destinazione GoldenGate.
    1. Nella pagina Distribuzioni, selezionare la distribuzione dei Big Data destinazione.
    2. Nella pagina dei dettagli della distribuzione, fare clic su Avvia console, quindi eseguire il login come utente amministratore.
    3. Nel menu di navigazione della console di distribuzione, fare clic su Amministrazione utenti.
    4. Fare clic su Aggiungi nuovo utente (icona più), completare i campi come indicato di seguito, quindi fare clic su Sottometti:
      • In Nome utente immettere ggsnet.
      • In Ruolo, selezionare Operatore.
      • Immettere due volte la password per verifica.
  2. Nella console di distribuzione origine MySQL, creare un Path Connection per l'utente creato nel passo precedente.
    1. Aprire il menu di navigazione, quindi fare clic su Path Connection.
    2. Fare clic su Aggiungi Path Connection (icona più), completare i campi come indicato di seguito, quindi fare clic su Sottometti:
      • In Alias credenziale, immettere dpuser.
      • In ID utente, immettere ggsnet
      • Per Password, immettere la stessa password utilizzata nel passo precedente.
  3. Nella console di distribuzione origine MySQL aggiungere un Distribution Path con i seguenti valori:
    1. Nella pagina Opzioni di origine:
      • Per Origine Extract, selezionare Extract creato nel task 2.
      • In Nome traccia, immettere un nome di due caratteri, ad esempio C1.
    2. Nella pagina Opzioni di destinazione:
      • Per Host di destinazione, immettere il dominio host della distribuzione di destinazione.
      • In Numero porta, immettere 443.
      • In Nome traccia, immettere un nome di due caratteri, ad esempio C1.
      • Per Alias, immettere l'alias di credenziale creato nel passo 2.
  4. Nella console di distribuzione dei Big Data OCI GoldenGate di destinazione, esaminare il file Receiver path creato come risultato del file Distribution Path:
    1. Fare clic su Receiver Service.
    2. Esaminare i dettagli di Receiver path.

Task 4: aggiungere un file Replicat per Hub eventi di Azure

  1. Nella distribuzione dei Big Data, fare clic su Administrator Service, quindi su Aggiungi Replicat (icona più).
  2. Aggiungere un valore Replicat con i seguenti valori:
    1. Nella pagina Informazioni Replicat, sotto il tipo Replicat, selezionare Classic Replicat e immettere un nome di processo.
    2. Nella pagina Opzioni Replicat:
      • In Nome percorso, immettere il nome del percorso dal task 2.
      • Per Destinazione, selezionare un Hub eventi di Azure.
      • Per Alias, selezionare la connessione Hub eventi di Azure creata nel task 1.
    3. Nella pagina Parametri Replicat, lasciare l'impostazione predefinita.
    4. Nella pagina File delle proprietà, fornire un nome di argomento per topicMappingTemplate.
    5. Fare clic su Crea ed esegui.

Task 5: verificare la replica dei dati da HeatWave a Hub eventi di Azure

Eseguire gli aggiornamenti al database di origine HeatWave per verificare la replica in Hub eventi di Azure.
  1. Nel bastion OCI, creare una sessione di inoltro delle porte SSH utilizzando l'IP MySQL e port 3306. Aggiungere la chiave SSH pubblica.
  2. Connettersi a MySQL in Cloud Shell utilizzando la chiave privata e port 3306.
  3. Dopo la connessione, eseguire il comando seguente:
    mysqlsh admin@localhost:3306 --sql
  4. Eseguire il seguente script per eseguire gli inserimenti nel database HeatWave:
    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;
  5. Nella console di distribuzione MySQL di origine, selezionare il nome Change Data Capture Extract, quindi fare clic su Statistiche. Verificare che SRC_OCIGGLL.SRC_CITY contenga 10 inserimenti.
  6. Nella console di distribuzione dei Big Data di destinazione, selezionare il nome Replicat, quindi fare clic su Statistiche. Verificare che SRC_OCIGGLL.SRC_CITY contenga 10 inserimenti.
  7. In Hub eventi di Azure è possibile controllare le statistiche dei messaggi.