Replica dei dati da PostgresSQL a Snowflake mediante l'handler di streaming

Scopri come utilizzare OCI GoldenGate per replicare i dati da PostgreSQL a Snowflake utilizzando l'handler di streaming.

Prima di iniziare

Per completare correttamente questo avvio rapido, è necessario disporre dei seguenti elementi:

• Accesso al database OCI con PostgreSQL

• Aprire la porta 5432 nella lista di sicurezza della VCN utilizzata dal database OCI con PostgreSQL

• Accesso a Snowflake

Imposta il database OCI con PostgreSQL

1. Creare un database OCI con PostgreSQL.

   1. Nel database OCI con PostgreSQL:

      1. Selezionare Configurazioni.

      2. Utilizzare una configurazione esistente, ad esempio PostgreSQL.VM.Standard.E5.Flex-14-0_51.

      3. Selezionare Copia configurazione, rinominarla, aggiungere wal_level nelle variabili utente (lettura/scrittura) e impostarla su 'logica'.

      4. Selezionare Crea.

      5. Per ulteriori informazioni, vedere Copia di una configurazione.

   2. Utilizzare la configurazione con wal_level impostato su true durante la creazione del sistema DB. Per ulteriori informazioni, vedere Creazione di un sistema di database.

2. Connettersi al database OCI con PostgreSQL. Per ulteriori informazioni, vedere Connessione a un database.

3. Creare un database e un utente per GoldenGate nel database OCI con PostgreSQL:

   1. Database

      1. creare ociggll di database;

      2. \c ociggll;

      3. creare lo schema src_ociggll;

      4. Carica script di esempio

   2. User

      1. creare l'utente ggadmin con password <password>;

      2. GRANT TUTTI I PRIVILEGI SU DATABASE ociggll A ggadmin;

      3. GRANT SELECT ON ALL TABLES IN SCHEMA src_ociggll TO ggadmin;

Imposta database Snowflake

1. Crea database Snowflake.

2. Gli utenti devono creare una coppia di chiavi pubblica e privata da autenticare in Snowflake.

3. Creare un utente specifico per GoldenGate in Snowflake con privilegi appropriati.

4. Aggiungere la chiave pubblica all'utente Snowflake, ad esempio: ALTER USER example_user SET RSA_PUBLIC_KEY='MIIBIjANBgkqh...';

5. Creare tabelle di destinazione utilizzando lo schema di esempio.

Task 1: creare le risorse OCI GoldenGate

Questo esempio di avvio rapido richiede distribuzioni e connessioni sia per l'origine che per la destinazione.

1. È necessario GoldenGate per PostgreSQL 26ai.

2. Creare una distribuzione PostgreSQL per il database PostgreSQL di origine.

3. Creare una distribuzione Big Data per il database Snowflake di destinazione.

4. Creare una connessione PostgreSQL con i valori seguenti:

   1. Per Tipo, selezionare Database OCI con PostgreSQL dall'elenco a discesa.

   2. Per Nome database, immettere ociggll.

   3. Per Nome utente, immettere ggadmin.

   4. In Password, immettere la password.

   5. Per Security Protocol, selezionare TLS dall'elenco a discesa, quindi selezionare Prefer.

5. Creare una connessione con fiocco di neve con i valori seguenti:

   1. Per URL connessione, immettere jdbc:snowflake://<account_identifier>.snowflakecomputing.com/?warehouse=<warehouse name>&db=OCIGGLL.

      Nota: assicurarsi di sostituire <account_identifier> e <warehouse name> con i valori appropriati.

   2. Per Tipo di autenticazione, selezionare Autenticazione coppia di chiavi dall'elenco a discesa.

      Nota: l'autenticazione della coppia di chiavi è l'unico tipo di autenticazione supportato per lo streaming Snowflake.

   3. Per Nome utente, immettere un nome.

   4. Caricare la chiave privata creata in precedenza.

   5. Immettere la passphrase per la chiave privata nel campo Password della chiave privata.

6. Creare una connessione a GoldenGate per la distribuzione Big Data di destinazione, quindi assegnare questa connessione alla distribuzione PostgreSQL di origine.

7. Assegnare la connessione PostgreSQL di origine alla distribuzione PostgreSQL.

8. Assegnare la connessione Snowflake alla distribuzione Big Data di destinazione.

Task 2: Abilita log supplementare

Per abilitare il log supplementare, procedere come segue.

1. Avviare la console di distribuzione PostgreSQL GoldenGate:

   1. Nella pagina Distribuzioni selezionare la distribuzione PostgreSQL per visualizzarne i dettagli.

   2. Nella pagina dei dettagli della distribuzione PostgreSQL selezionare Avvia console.

   3. Nella pagina di connessione della console di distribuzione, immettere le credenziali di amministratore GoldenGate fornite nel task 1, passo 1.

      Nota: l'accesso è obbligatorio se IAM non è stato selezionato come area di memorizzazione delle credenziali durante la creazione di una distribuzione.

2. Nella console di distribuzione, selezionare Connessioni DB nella navigazione a sinistra, quindi nel database PostgreSQL di origine, quindi in Trandata.

3. Nella pagina TRANDATA, accanto a Informazioni TRANDATA, selezionare Aggiungi TRANDATA (icona più).

4. Nel pannello Trandata, per Nome schema, immettere src_ociggll, quindi selezionare Sottometti.

   Nota: utilizzare il campo di ricerca per cercare src_ociggll e verificare che le tabelle siano state aggiunte.

Task 3: Creazione delle estrazioni

1. Aggiungere l'estrazione di Change Data Capture:

   1. Nella navigazione a sinistra selezionare Extracts,

   2. Nella pagina Estrazioni, selezionare Aggiungi estrazione (icona più), quindi completare i campi come indicato di seguito.

      • Nella pagina Informazioni estrazione:

        1. Per Tipo estrazione, selezionare Modifica estrazione acquisizione dati.

        2. In Nome processo immettere un nome per l'estrazione, ad esempio ECDC.

        3. Selezionare Next.

      • Nella pagina Opzioni estrazione:

        1. Per le credenziali di origine, selezionare Oracle GoldenGate dall'elenco a discesa Dominio

        2. Selezionare il database PostgreSQL di origine dall'elenco a discesa Alias.

        3. Per Nome trail estrazione, immettere un nome trail di due caratteri, ad esempio C1.

        4. Selezionare Next.

      • Nella pagina Parametri estrazione, sostituire MAP *.*, TARGET *.*; con quanto segue:

        TABLE SRC_OCIGGLL.*;

   3. Selezionare Crea ed esegui.

2. Aggiungi estrazione caricamento iniziale:

   1. Nella pagina Estrazioni selezionare Aggiungi estrazione, quindi completare il form Aggiungi estrazione come indicato di seguito.

      • Nella pagina Informazioni estrazione:

        1. Per il tipo di estrazione, selezionare Estrazione caricamento iniziale.

        2. In Nome processo, immettere un nome, ad esempio EIL.

        3. Selezionare Next.

      • Nella pagina Opzioni estrazione:

        1. Per le credenziali di origine, selezionare Oracle GoldenGate dall'elenco a discesa Dominio.

        2. Selezionare il database PostgreSQL dall'elenco a discesa Alias.

        3. Per Nome trail estrazione, immettere un nome trail di due caratteri, ad esempio I1.

        4. Selezionare Next.

      • Nella pagina Parametri estrazione, sostituire il contenuto dell'area di testo con quanto segue:

        EXTRACT EIL
        USERIDALIAS PostgreSQL_Compute, DOMAIN OracleGoldenGate
        EXTFILE I1, PURGE
        TABLE src_ociggll.*;

        Nota: prima di passare al parametro SOURCEDB, assicurarsi di rimuovere il parametro USERIDALIAS.

   2. Selezionare Crea ed esegui.

Si torna alla pagina Estrazioni, in cui è possibile osservare l'inizio dell'estrazione.

Task 4: Crea percorso di distribuzione per estrazione caricamento iniziale

Per creare un percorso di distribuzione per l'estrazione del caricamento iniziale:

1. Nella console di Oracle Cloud, nella pagina Distribuzioni, selezionare la distribuzione Big Data di destinazione.

2. Nella pagina dei dettagli della distribuzione, selezionare Avvia console, quindi eseguire il login come utente amministratore.

3. Se si utilizza l'area di memorizzazione delle credenziali IAM, passare al passo Crea percorso di distribuzione. Se si utilizza l'area di memorizzazione delle credenziali GoldenGate, creare un utente con il quale GoldenGate di origine utilizza per connettersi a GoldenGate di destinazione.

   1. Nel menu di navigazione selezionare Amministrazione utente.

   2. Selezionare Aggiungi nuovo utente (icona più), completare i campi come indicato di seguito, quindi selezionare Sottometti.

      • Per Nome utente, immettere ggsnet.

      • Per Ruolo, selezionare Operatore.

      • Immettere due volte la password per la verifica.

4. Nella console di distribuzione PostgreSQL origine creare una connessione percorso per l'utente creato nel passo precedente.

   1. Nel menu di navigazione selezionare Connessioni percorso.

   2. Selezionare Aggiungi connessione percorso (icona più), completare i campi come indicato di seguito, quindi selezionare Sottometti.

      • Per l'alias credenziali, immettere dpuser.

      • Per ID utente, immettere ggsnet

      • Per Password, immettere la stessa password utilizzata nel passo precedente.

5. Creare un percorso di distribuzione.

   1. Nella barra dei menu del servizio, selezionare Percorsi, quindi selezionare Aggiungi percorso di distribuzione (icona più).

   2. Completare il modulo Aggiungi percorso come indicato di seguito.

      • Nella pagina Informazioni percorso:

        1. In Nome percorso, immettere un nome per questo percorso.

        2. Selezionare Next.

      • Nella pagina Opzioni origine, effettuare le operazioni riportate di seguito.

        1. Per Estrazione origine, lasciare vuoto.

        2. In Nome percorso, immettere il nome trail estrazione caricamento iniziale (I1).

        3. Selezionare Next.

      • Nella pagina Opzioni destinazione, effettuare le operazioni riportate di seguito.

        1. Per Destinazione, selezionare wss.

        2. Per Host di destinazione, immettere l'URL di distribuzione di destinazione senza le barre https:// o le barre finali.

        3. In Numero porta, immettere 443.

        4. Per Nome percorso, immettere I1.

        5. Per Metodo di autenticazione destinazione, selezionare Alias ID utente.

        6. Per Dominio, immettere il nome di dominio creato nel passo precedente.

        7. Per Alias, immettere l'alias creato nel passo precedente (dpuser).

        8. Selezionare Next.

   3. Selezionare Crea ed esegui.

   Si torna alla pagina Servizio di distribuzione in cui è possibile rivedere il percorso creato.

6. Nella console di distribuzione destinazione, esaminare il percorso del destinatario creato come risultato del percorso di distribuzione:

   1. Selezionare Percorsi.

   2. Esaminare i dettagli del percorso.

Task 5: Aggiungi Replicat per caricamento iniziale

1. Nella console di distribuzione Big Data destinazione, aggiungere Replicat caricamento iniziale.

   1. Nel menu di navigazione, selezionare Replicat, quindi selezionare Aggiungi Replicat (icona più).

   2. Nella pagina Replicat, completare i campi Aggiungi Replicat come indicato di seguito.

      1. Nella pagina Informazioni sulla replica:

         1. Per Tipo Replicat, selezionare Replicat coordinato.

         2. In Nome processo, immettere un nome, ad esempio RIL.

         3. Selezionare Next.

      2. Nella pagina Opzioni Replicat:

         1. In Nome trail replica, immettere il nome del trail dal task 2 (I1).

         2. Per Destinazione, selezionare Fiocco di neve.

         3. Per Credenziali di destinazione, selezionare il dominio e l'opzione Alias per la connessione Snowflake.

         4. Per Alias disponibili, selezionare un alias dall'elenco a discesa, ad esempio Snowflake.

         5. Selezionare Streaming.

         6. Selezionare Next.

      3. Nella pagina File dei parametri, aggiungere il mapping seguente:

         INSERTALLRECORDS
         MAP src_ociggll.src_city, TARGET SRCMIRROR_OCIGGLL.SRC_CITY;
         MAP src_ociggll.src_region, TARGET SRCMIRROR_OCIGGLL.SRC_REGION;
         MAP src_ociggll.src_customer, TARGET SRCMIRROR_OCIGGLL.SRC_CUSTOMER;
         MAP src_ociggll.src_orders, TARGET SRCMIRROR_OCIGGLL.SRC_ORDERS;
         MAP src_ociggll.src_order_lines, TARGET SRCMIRROR_OCIGGLL.SRC_ORDER_LINES;
         MAP src_ociggll.src_product, TARGET SRCMIRROR_OCIGGLL.SRC_PRODUCT;

      4. Nella pagina Proprietà, rivedere le proprietà e aggiungere jvm.bootoptions= -Djdk.lang.processReaperUseDefaultStackSize=true.

      5. Selezionare Crea ed esegui.

   Si torna alla pagina Replicat, in cui è possibile rivedere i dettagli di Replicat.

2. Per verificare il caricamento iniziale, connettersi al database Snowflake ed eseguire le query riportate di seguito.

   select * from SRCMIRROR_OCIGGLL.SRC_CITY;
   select * from SRCMIRROR_OCIGGLL.SRC_CUSTOMER;

   L'output deve restituire i dati caricati nelle tabelle del database di destinazione in seguito al caricamento iniziale.

Task 6: Creare il percorso di distribuzione per l'acquisizione dei dati di modifica

1. Nella console di distribuzione PostgreSQL origine, selezionare Servizio di distribuzione.

2. Selezionare Aggiungi percorso di distribuzione.

3. Completare il modulo Aggiungi percorso come indicato di seguito.

   1. Nella pagina Informazioni percorso:

      1. In Nome percorso, immettere un nome.

      2. Selezionare Next.

   2. Nella pagina Opzioni origine, effettuare le operazioni riportate di seguito.

      1. Per Estrazione origine, selezionare Estrazione acquisizione dati modifica (ECDC).

      2. In Nome percorso, selezionare il file trail di Change Data Capture (C1).

      3. Selezionare Next.

   3. Nella pagina Opzioni destinazione, effettuare le operazioni riportate di seguito.

      1. Per Destinazione, selezionare wss.

      2. Per Host di destinazione, immettere l'URL della console di distribuzione di destinazione, disponibile nella pagina dei dettagli della distribuzione, senza le barre https:// o le barre finali.

      3. In Numero porta, immettere 443.

      4. Per Nome percorso, immettere C1.

      5. Per Metodo di autenticazione destinazione, selezionare Alias ID utente.

      6. Per Dominio, immettere il nome del dominio.

      7. Per Alias, immettere l'alias.

   4. Selezionare Crea percorso ed esegui.

Task 7: aggiungere un Replicat per Change Data Capture

Eseguire gli aggiornamenti al database PostgreSQL di origine per verificare la replica in Snowflake.

1. Aggiungere Replicat.

   1. Nella console di distribuzione Big Data di destinazione selezionare Servizio di amministrazione, quindi nel menu di navigazione selezionare Replicat.

   2. Nella pagina Replicat, selezionare Aggiungi Replicat (icona più), quindi completare il form Aggiungi Replicat come indicato di seguito.

      • Nella pagina Informazioni Replicat:

        1. Per Tipo Replicat, selezionare Classic o Coordinated.

        2. In Nome processo, immettere un nome, ad esempio RCDC.

        3. Selezionare Next.

      • Nella pagina Opzioni Replicat:

        1. In Nome trail replica, immettere il nome del trail dal task 3 (C1).

        2. Per Destinazione, selezionare Fiocco di neve.

        3. Per Credenziali di destinazione, selezionare il dominio e l'alias per la connessione Snowflake.

        4. Selezionare Streaming.

      • Nella pagina File dei parametri aggiungere il mapping riportato di seguito, quindi selezionare Successivo.

        INSERTALLRECORDS
        MAP src_ociggll.src_city, TARGET SRCMIRROR_OCIGGLL.SRC_CITY;
        MAP src_ociggll.src_region, TARGET SRCMIRROR_OCIGGLL.SRC_REGION;
        MAP src_ociggll.src_customer, TARGET SRCMIRROR_OCIGGLL.SRC_CUSTOMER;
        MAP src_ociggll.src_orders, TARGET SRCMIRROR_OCIGGLL.SRC_ORDERS;
        MAP src_ociggll.src_order_lines, TARGET SRCMIRROR_OCIGGLL.SRC_ORDER_LINES;
        MAP src_ociggll.src_product, TARGET SRCMIRROR_OCIGGLL.SRC_PRODUCT;

      • Nella pagina Proprietà rivedere le proprietà, aggiungere il mapping riportato di seguito, quindi selezionare Crea ed esegui.

        jvm.bootoptions= -Djdk.lang.processReaperUseDefaultStackSize=true

   Si torna alla pagina Replicat, in cui è possibile rivedere i dettagli di Replicat.

2. Verifica Change Data Acquisizione:

   1. Eseguire gli aggiornamenti al database PostgreSQL di origine per verificare la replica in Snowflake. Eseguire lo script seguente per eseguire gli inserimenti nel database PostgreSQL:

      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

   2. Nella console di distribuzione PostgreSQL di origine selezionare RCDC, quindi selezionare Statistiche. Verificare che in src_ociggll.src_city siano presenti 10 inserimenti.

      Nota: se Extract non ha acquisito alcun inserimento, riavviare l'estrazione ECDC.

   3. Nella console di distribuzione Big Data di destinazione selezionare RCDC, esaminare i relativi Dettagli e Statistiche per verificare il numero di inserimenti.

Task 8: Monitoraggio e manutenzione dei processi

1. Monitorare il processo di replica.

2. Gestisci file trail.