Replica i dati da Autonomous Transaction Processing a Apache Iceberg

Scopri come replicare i dati da Autonomous Transaction Processing a Apache Iceberg in OCI GoldenGate.

Prima di iniziare

Per completare correttamente questo avvio rapido, è necessario disporre dei seguenti elementi:

  • Un'origine di Autonomous Transaction Processing
  • Un ambiente Apache Iceberg di destinazione:
    • OCI GoldenGate supporta Azure Data Lake Storage, Amazon S3 e Google Cloud Storage come servizi di storage per le tabelle Apache Iceberg.
    • OCI GoldenGate supporta i cataloghi Hadoop, Nessie, AWS Glue, Polaris, REST e JDBC per Apache Iceberg.

Impostazione dell'ambiente: Autonomous Transaction Processing

Se non si dispone già di un database di origine impostato per la replica, è possibile seguire questi passi per caricare uno schema di esempio da utilizzare per questo avvio rapido. Questo Quickstart utilizza Autonomous Transaction Processing per il database di origine.

Per impostare l'Autonomous Database di origine:

  1. Scaricare ed estrarre lo schema di database di esempio.
  2. Nella console di Oracle Cloud, selezionare l'istanza di Autonomous Transaction Processing (ATP) dalla pagina Autonomous Databases per visualizzarne i dettagli e accedere a Database Actions.
  3. Sblocca l'utente GGADMIN:
    1. Fare clic su Azioni del database, quindi su Utenti del database.
    2. Individuare GGADMIN, quindi fare clic sul relativo menu con i puntini di sospensione (tre punti) e selezionare Modifica.
    3. Nel pannello Modifica utente, immettere la password GGADMIN, confermare la password, quindi deselezionare Account bloccato.
    4. Fare clic su Applica modifiche.
  4. Caricare lo schema e i dati di esempio di origine:
    1. Nel menu Azioni del database, in Sviluppo, selezionare SQL.
    2. Copiare e incollare lo script da OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql nel foglio di lavoro SQL.
    3. Fare clic su Esegui script Nella scheda Output script vengono visualizzati i messaggi di conferma.
    4. Cancellare il foglio di lavoro SQL, quindi copiare e incollare lo script SQL da OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.

      Suggerimento

      Potrebbe essere necessario eseguire ciascuna istruzione separatamente affinché lo strumento SQL esegua correttamente gli script.
    5. Per verificare che le tabelle siano state create correttamente, chiudere la finestra SQL e riaprirla. Nella scheda Navigator, cercare lo schema SRC_OCIGGLL, quindi selezionare le tabelle dai rispettivi elenchi a discesa.
  5. Abilita il log supplementare:
    1. Cancellare il foglio di lavoro SQL.
    2. Immettere l'istruzione seguente, quindi fare clic su Esegui istruzione:
      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

Task 1: Creare le risorse

Questo esempio di avvio rapido richiede distribuzioni e connessioni sia per l'origine che per la destinazione.

  1. Creare una distribuzione Oracle per l'istanza di origine di Autonomous Transaction Processing.
  2. Creare una distribuzione di Big Data per la destinazione Apache Iceberg.
  3. Creare una connessione ad Autonomous Transaction Processing.
  4. Creare una connessione Apache Iceberg.
  5. Creare una connessione al server GoldenGate e assegnarla alla distribuzione Oracle.
  6. Assegnare la connessione ATP alla distribuzione Oracle.
  7. Assegnare la connessione Iceberg alla distribuzione Big Data.

Task 2: aggiunta di Extract

  1. Nella pagina Distribuzioni selezionare la distribuzione Autonomous Transaction Processing di origine.
  2. Nella pagina dei dettagli della distribuzione, fare clic su Avvia console.
  3. Eseguire il login con nome utente e password dell'amministratore della distribuzione di origine.
  4. Aggiungere informazioni sulla transazione.
  5. Aggiungere un valore Extract.

Task 3: Aggiungere ed eseguire Distribution Path

  1. Se si utilizza l'area di memorizzazione delle credenziali GoldenGate, creare un utente per il percorso di distribuzione nella distribuzione dei Big Data destinazione, altrimenti passare al passo 3.
  2. Nella console di distribuzione origine ATP GoldenGate aggiungere una connessione percorso per l'utente creato nel Passo 1.
    1. Nella console di distribuzione ATP GoldenGate di origine, fare clic su Connessioni percorso nella navigazione a sinistra.
    2. Fare clic su Aggiungi connessione percorso (icona più), quindi completare quanto riportato di seguito.
      1. Per Alias credenziale, immettere GGSNetwork.
      2. In ID utente, immettere il nome dell'utente creato nel Passo 1.
      3. Immettere due volte la password dell'utente per la verifica.
    3. Fare clic su Sottometti.

      La connessione al percorso viene visualizzata nell'elenco Connessioni percorso.

  3. Nella console di distribuzione ATP di origine aggiungere un percorso di distribuzione con i valori riportati di seguito.
    1. Nella pagina Opzioni di origine effettuare le operazioni riportate di seguito.
      • Per Estrazione origine, selezionare l'estrazione creata nel task 2.
      • In Nome percorso, immettere un nome di due caratteri, ad esempio E1.
    2. Nella pagina Opzioni di destinazione:
      • Per Host di destinazione, immettere il dominio host della distribuzione di destinazione.
      • In Numero porta, immettere 443.
      • In Nome percorso, immettere un nome di due caratteri, ad esempio E1.
      • In Alias, immettere l'alias credenziale creato nel Passo 2.
  4. Nella console di distribuzione Big Data destinazione, esaminare il file Receiver Path creato come risultato del file Distribution Path.
    1. Nella console di distribuzione Big Data di destinazione, fare clic su Receiver Service.
    2. Rivedere i dettagli del percorso. Questo percorso è stato creato come risultato del Distribution Path creato nel passo precedente.

Task 4: Aggiungere ed eseguire Replicat

Per aggiungere ed eseguire un Replicat:
  1. Nella console di distribuzione OCI GoldenGate, nella home page Servizio di amministrazione, fare clic su Aggiungi Replicat (icona più).
  2. Nel pannello Aggiungi Replicat, nella pagina Informazioni Replicat, completare i campi in base alle esigenze, quindi fare clic su Successivo:
    • Per il tipo di Replicat, selezionare Replicat classico
    • Immettere un valore nel campo Nome processo con una lunghezza massima di 5 caratteri.
    • Immettere una Descrizione per distinguere questo processo dagli altri.
  3. Nella pagina Opzioni Replicat, completare i campi in base alle esigenze, quindi fare clic su Successivo:
    1. Per Replicat Trail, immettere il nome del trail Extract.
    2. Per Destinazione, selezionare Apache Iceberg.
    3. Per Formato, selezionare il formato da includere in Apache Iceberg. L'impostazione predefinita è Parquet.
    4. Per Alias disponibile, selezionare la connessione Apache Iceberg dall'elenco a discesa.
  4. Nella pagina Opzioni gestite, lasciare le impostazioni predefinite e fare clic su Successivo.
  5. Nella pagina Parametri replica, lasciare le impostazioni predefinite e fare clic su Successivo.
  6. Nella pagina Proprietà Replicat aggiornare i campi contrassegnati, TODO, quindi fare clic su Crea ed esegui.
    Per ulteriori informazioni, consulta i dettagli della destinazione Apache Iceberg.

Task 5: Verificare la replica

Per verificare la replica, eseguire gli aggiornamenti all'istanza ATP di origine.
  1. Nella console di Oracle Cloud, aprire il menu di navigazione, selezionare Oracle Database, quindi selezionare Autonomous Database.
  2. Nella lista di Autonomous Database, selezionare l'istanza di origine per visualizzarne i dettagli.
  3. Nella pagina Dettagli database, fare clic su Azioni del database.
  4. Nella pagina Azioni database, selezionare SQL.
  5. Immettere le istruzioni di inserimento riportate di seguito nel Worksheet SQL, quindi fare clic su Esegui script.
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
  6. Nella console di distribuzione ATP di origine, selezionare il nome di estrazione, quindi fare clic su Statistiche. Verificare che in SRC_OCIGGLL.SRC_CITY siano presenti 10 inserimenti.
  7. Nella console di distribuzione Big Data di destinazione, selezionare il nome Replicat, quindi fare clic su Statistiche. Verificare che in SRC_OCIGGLL.SRC_CITY siano presenti 10 inserimenti.