Replica i dati da Autonomous AI Transaction Processing ad Azure Synapse Analytics

Questo QuickStart mostra come impostare una replica dei dati da Autonomous AI Transaction Processing ad Azure Synapse Analytics utilizzando OCI GoldenGate.

Prima di iniziare

Per completare correttamente questo avvio rapido, è necessario disporre dei seguenti elementi:

  • Area di lavoro Azure Synapse
  • Contenitore di Azure Storage associato ad Azure Synapse Workspace
  • Credenziale con ambito di database di Azure Synapse per concedere le autorizzazioni al pool SQL per accedere all'account di storage
  • Esistenza della tabella di destinazione: le tabelle di destinazione devono esistere nel database Synapse prima della replica. Poiché GoldenGate utilizza l'istruzione SQL di unione, la tabella di destinazione deve essere una tabella distribuita hash.
  • Connessione OCI GoldenGate Azure Data Lake Storage assegnata alla distribuzione. Se non esiste, creare una connessione Azure Data Lake Storage e assegnarla alla distribuzione.

Impostazione dell'ambiente: elaborazione delle transazioni AI autonoma

Se non si dispone già di un database di origine impostato per la replica, è possibile seguire questi passi per caricare uno schema di esempio da utilizzare per questo avvio rapido. Questo Quickstart utilizza l'elaborazione delle transazioni AI autonoma per il database di origine.

Per impostare l'elaborazione delle transazioni AI autonoma di origine, procedere come segue.

  1. Scaricare ed estrarre lo schema di database di esempio.
  2. Nella console di Oracle Cloud, selezionare l'istanza di Autonomous AI Transaction Processing (ATP) dalla pagina Database AI autonomo per visualizzarne i dettagli e accedere a Database Actions.
  3. Sbloccare l'utente GGADMIN:
    1. Fare clic su Azioni di database, quindi fare clic su Utenti di database.
    2. Individuare GGADMIN, quindi fare clic sul relativo menu con i puntini (tre punti) e selezionare Modifica.
    3. Nel pannello Modifica utente, immettere la password GGADMIN, confermare la password, quindi deselezionare L'account è bloccato.
    4. Fare clic su Applica modifiche.
  4. Caricare lo schema e i dati di esempio di origine:
    1. Nel menu Database Actions, in Sviluppo, selezionare SQL.
    2. Copiare e incollare lo script da OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql nel foglio di lavoro SQL.
    3. Fare clic su Esegui script. La scheda Output script visualizza i messaggi di conferma.
    4. Cancellare il foglio di lavoro SQL, quindi copiare e incollare lo script SQL da OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.

      Suggerimento

      Potrebbe essere necessario eseguire ciascuna istruzione separatamente affinché lo strumento SQL esegua correttamente gli script.
    5. Per verificare che le tabelle siano state create correttamente, chiudere la finestra SQL e riaprirla. Nella scheda Navigator, cercare lo schema SRC_OCIGGLL, quindi selezionare le tabelle dai rispettivi elenchi a discesa.
  5. Abilita il log supplementare:
    1. Cancellare il foglio di lavoro SQL.
    2. Immettere la seguente istruzione, quindi fare clic su Esegui istruzione:
      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

Configurazione dell'ambiente: Azure Synapse

  1. Aprire Azure Synapse Workspace.
  2. Fare clic su Nuovo, quindi su Script SQL.
  3. Connettersi al pool SQL e selezionare il database.
  4. Immettere il comando seguente per creare una cifratura della chiave master:
    CREATE MASTER KEY ENCRYPTION BY PASSWORD='<password>';
  5. Utilizzare il seguente comando per creare la credenziale con ambito di database:
    Assicurarsi di sostituire i segnaposto <storage-account-name> e <storage-account-access-key> con i relativi valori effettivi.
    CREATE DATABASE SCOPED CREDENTIAL <credential name>
    WITH
    IDENTITY='<storage-account-name>',
    SECRET='<storage-account-access-key>';
  6. Eseguire lo script di creazione tabella:
    CREATE TABLE [dbo].[SRC_CUSTOMER] (
       CUSTID         NUMERIC(10) NOTNULL,
       DEAR           NUMERIC(1),
       LAST_NAME      VARCHAR(50),
       FIRST_NAME     VARCHAR(50),
       ADDRESS        VARCHAR(100),
       CITY_ID        NUMERIC(10),
       PHONE          VARCHAR(50),
       AGE            NUMERIC(3),
       SALES_PERS_ID  NUMERIC(10),
       constraint PK_SRC_CUSTOMER primarykeyNONCLUSTERED (CUSTID) NOT ENFORCED
    )
    WITH(DISTRIBUTION=HASH ([CUSTID]), HEAP ) GO
  7. Verificare che la tabella dbo.SRC_Customer sia stata creata.

Task 1: creare le risorse GoldenGate OCI

Questo esempio di avvio rapido richiede distribuzioni e connessioni sia per l'origine che per la destinazione.
  1. Creare una distribuzione Oracle per l'istanza di Autonomous AI Transaction Processing di origine.
  2. Creare una distribuzione Big Data per la destinazione Azure Synapse Analytics.
  3. Creare una connessione all'elaborazione delle transazioni AI autonoma di origine.
  4. Creare una connessione di Azure Synapse Analytics.
  5. Creare una connessione Azure Data Lake Storage.
  6. Assegnare la connessione Autonomous AI Transaction Processing alla distribuzione Oracle di origine.
  7. Assegnare la connessione Azure Synapse alla distribuzione dei Big Data di destinazione.

Task 2: aggiungere Extract

  1. Nella pagina Distribuzioni, selezionare la distribuzione Autonomous AI Transaction Processing di origine.
  2. Nella pagina dei dettagli della distribuzione, fare clic su Avvia console.
  3. Eseguire il login con il nome utente e la password dell'amministratore della distribuzione di origine.
  4. Aggiungi informazioni sulla transazione.
  5. Aggiungere un Extract.

Task 3: aggiungere ed eseguire Distribution Path

  1. Se si utilizza l'area di memorizzazione delle credenziali GoldenGate, creare un utente per il percorso di distribuzione nella distribuzione dei Big Data destinazione, altrimenti passare al passo 3.
  2. Nella console di distribuzione ATP origine GoldenGate, aggiungere una connessione percorso per l'utente creato nel passo 1.
    1. Nella console di distribuzione ATP di origine GoldenGate, fare clic su Connessioni percorso nella navigazione a sinistra.
    2. Fare clic su Aggiungi connessione percorso (icona più), quindi completare le operazioni riportate di seguito.
      1. In Alias credenziale, immettere GGSNetwork.
      2. In ID utente, immettere il nome dell'utente creato nel passo 1.
      3. Immettere due volte la password dell'utente per verifica.
    3. Fare clic su Sottometti.

      La connessione percorso viene visualizzata nella lista Connessioni percorso.

  3. Nella console di distribuzione ATP origine, aggiungere un percorso di distribuzione con i valori riportati di seguito.
    1. Nella pagina Opzioni di origine:
      • In Estrazione origine selezionare l'estrazione creata nel task 2.
      • In Nome traccia, immettere un nome di due caratteri, ad esempio E1.
    2. Nella pagina Opzioni di destinazione:
      • Per Host di destinazione, immettere il dominio host della distribuzione di destinazione.
      • In Numero porta, immettere 443.
      • In Nome traccia, immettere un nome di due caratteri, ad esempio E1.
      • Per Alias, immettere l'alias di credenziale creato nel passo 2.
  4. Nella console di distribuzione dei Big Data destinazione, esaminare il file Receiver Path creato come risultato del file Distribution Path.
    1. Nella console di distribuzione dei Big Data di destinazione, fare clic su Receiver Service.
    2. Esaminare i dettagli del percorso. Questo percorso è stato creato come risultato della creazione di Distribution Path nel passo precedente.

Task 4: aggiungere ed eseguire Replicat

  1. Nella console di distribuzione dei Big Data di destinazione, fare clic su Administrator Service, quindi su Aggiungi Replicat (icona più).
  2. Aggiungere un valore Replicat con i seguenti valori:
    1. Nella pagina Replicat Informazioni, sotto il tipo Replicat, selezionare Classic Replicat, immettere un nome di processo, quindi fare clic su Successivo.
    2. Nella pagina Opzioni replica:
      • Per Nome, inserire il nome del trail dal task 2.
      • Per Dominio, selezionare un dominio.
      • Per Alias, selezionare la connessione di Azure Synapse Analytics creata nel task 1.
      • Per Tabella checkpoint, selezionare la tabella di checkpoint creata per la distribuzione di destinazione.
    3. Nella pagina Parametri Replicat, sostituire MAP *.*, TARGET *.*; con:
      MAP SRC_OCIGGLL.SRC_CUSTOMER, TARGET dbo.SRC_CUSTOMER;
    4. Nella pagina Proprietà Replicat configurare le proprietà di Azure Synapse:

      Nota

      Modificare le proprietà contrassegnate come TODO.
      • gg.eventhandler.abs.bucketMappingTemplate è il contenitore di storage di Azure associato a Azure Synapse Workspace
      • gg.eventhandler.synapse.credential è il nome della credenziale utilizzata per autenticare Azure Storage Container associato a Azure Synapse Workspace
    5. Fare clic su Crea ed esegui.
Viene visualizzata nuovamente la pagina Panoramica, in cui è possibile esaminare i dettagli di Replicat.

Task 5: verificare la replica

Eseguire alcuni aggiornamenti all'istanza di origine di Autonomous Transaction Processing per verificare la replica in Azure Data Lake Storage.
  1. Nella console di Oracle Cloud, aprire il menu di navigazione, selezionare Oracle Database e quindi Autonomous Transaction Processing.
  2. Nella lista delle istanze di Autonomous Transaction Processing, selezionare l'istanza di origine per visualizzarne i dettagli.
  3. Nella pagina dei dettagli del database, fare clic su Database Actions.

    Nota

    Dovresti essere connesso automaticamente. In caso contrario, eseguire il login con le credenziali del database.
  4. Nella home page Database Actions, selezionare SQL.
  5. Immettere quanto segue nel foglio di lavoro e fare clic su Esegui script.
  6. Nella console di distribuzione GoldenGate OCI di origine, selezionare il nome Extract, quindi fare clic su Statistiche. Verificare che in SRC_OCIGGLL.SRC_CUSTOMER siano presenti 7 inserimenti.
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1001,0,'Brendt','Paul','10 Jasper Blvd.',107,'(212) 555 2146',19,10);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1002,0,'McCarthy','Robin','27 Pasadena Drive',11,'(214) 555 3075',29,11);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1003,0,'Travis','Peter','7835 Hartford Drive',12,'(510) 555 4448',34,12);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1004,0,'Larson','Joe','87 Carmel Blvd.',13,'(213) 555 5095',45,13);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1005,0,'Goldschmidt','Tony','91 Torre drive',14,'(619) 555 6529',55,20);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1006,0,'Baker','William','2890 Grant Avenue',15,'(312) 555 7040',64,21);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1007,0,'Swenson','Jack','64 Imagination Drive',19,'(202) 555 8125',74,22)
  7. Nella console di distribuzione GoldenGate OCI dei Big Data di destinazione, selezionare il nome Replicat, quindi fare clic su Statistiche. Verificare che in SRC_OCIGGLL.SRC_CUSTOMER siano presenti 7 inserimenti.
  8. Nella console di Azure, passare alla console dell'area di lavoro di Azure Synapse. Eseguire Seleziona * da dbo.SRC_CUSTOMER e verificare che in SRC_OCIGGLL.SRC_CUSTOMER siano presenti 7 inserimenti.

Task 6: Monitorare e mantenere i processi

  1. Monitorare le prestazioni.
  2. Gestisci file trail.