Aggiungi un Replicat per Amazon S3

Scopri come creare un processo Replicat per una destinazione Amazon S3 in OCI GoldenGate

Argomenti correlati

Prima di iniziare

Prima di aggiungere ed eseguire un Replicat per Amazon S3, assicurarsi di disporre dei seguenti elementi:

  • Una connessione Amazon S3 creata e assegnata alla distribuzione di Big Data di destinazione
  • Area Amazon Web Services (AWS)

Aggiungi un Replicat (23ai)

Prima di iniziare

Assicurarsi di rivedere i prerequisiti specifici per questo tipo di destinazione.

Per aggiungere un Replicat in GoldenGate 23ai:
  1. Nella console di distribuzione OCI GoldenGate, nella home page di Administration Service, fare clic su Aggiungi Replicat (icona più).
  2. Nel pannello Aggiungi Replicat, nella pagina Informazioni su Replicat, completare i campi in base alle esigenze, quindi fare clic su Avanti:
    • Selezionare un tipo di replicat:
      • Replicat classico
      • Replicat coordinato
    • Immettere un nome processo con una lunghezza massima di 5 caratteri.
    • Immettere una Descrizione per facilitare la distinzione tra questo processo e gli altri.
  3. Nella pagina Opzioni Replicat, completare i campi in base alle esigenze, quindi fare clic su Avanti:
    • Trail Replicat:
      • Immettere un nome.
      • Immettere una sottodirectory, se si prevede che il file trail si trovi in una posizione diversa da quella predefinita.
      • Selezionare un profilo di cifratura. Se non è stato creato un profilo di cifratura, per impostazione predefinita viene selezionato il wallet locale.
      • Per Inizia, selezionare il punto di partenza per l'elaborazione dei dati:
        • Posizione nel log (impostazione predefinita)
        • Now
        • Orario personalizzato
    • Posizione trail:
      • Immettere il numero di sequenza.
      • Immettere l'offset RBA.
      • Selezionare la destinazione dall'elenco a discesa.

        Nota

        A seconda della selezione della destinazione, è possibile disporre di opzioni aggiuntive, ad esempio le posizioni di streaming, area intermedia e unione e area intermedia.
    • Credenziali destinazione:
      • Selezionare un dominio.
      • Selezionare un Alias all'interno del dominio specificato.
      • Selezionare una tabella Checkpoint. Lasciare la selezione predefinita o selezionare la tabella di checkpoint creata per la distribuzione di destinazione.
      • Selezionare il Numero massimo di thread (solo replicati coordinati).
  4. Nella pagina Opzioni gestite, completare i campi facoltativi in base alle esigenze, quindi fare clic su Avanti:
    • Selezionare un nome profilo, se disponibile.
    • Abilitare Critico per lo stato di distribuzione.
    • Abilitare e configurare le impostazioni di avvio automatico.
  5. Nella pagina File dei parametri è possibile aggiungere i parametri per configurare ulteriormente Replicat. Ad esempio:
    table source.table1;

    Se si utilizza Replicat coordinato, aggiungere TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/your_replicat_name.properties al file dei parametri.

    Nota

    Per impostazione predefinita, GoldenGate utilizza l'ora di Greenwich (GMT, Greenwich Mean Time). Utilizzare SETENV per sostituire l'impostazione predefinita per questo processo Replicat. Questa modifica non si applica alle distribuzioni. Ad esempio: 

    setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
  6. Nella pagina File proprietà, configurare le seguenti proprietà di Amazon S3:
    • gg.eventhandler.s3.region fornisce l'area AWS per il bucket S3 di destinazione.
    • gg.eventhandler.s3.bucketMappingTemplate: fornisce il nome del bucket S3 di destinazione. Se il bucket non esiste, può essere creato automaticamente da OCI GoldenGate. È possibile fornire nomi di bucket statici oppure utilizzare Parole chiave modello per assegnare nomi di bucket in modo dinamico.

      Nota

      Assicurarsi che il nome del bucket contenga solo caratteri minuscoli. I caratteri maiuscoli possono causare la mancata riuscita del Replicat.
    • (Facoltativo) gg.handler.abs.format: selezionare la modalità di formattazione dell'output. JSON è l'impostazione predefinita. Le opzioni disponibili includono:

      Per il parquet, è necessario applicare proprietà aggiuntive. Per ulteriori informazioni, vedere Parquet per Amazon S3.

      Per informazioni sulle proprietà di questa destinazione, vedere Amazon S3 nella guida Oracle GoldenGate for Distributed Applications and Analytics.

  7. Fare clic su Crea ed esegui. Se si fa clic su Crea, è possibile avviare manualmente Replicat in un secondo momento dalla home page di Administration Service.

Aggiungi un Replicat (21c)

Scopri come aggiungere un processo replicato per Amazon S3.

Per aggiungere un Replicat per un target Amazon S3:
  1. Nella console di distribuzione OCI GoldenGate, nella pagina Panoramica del servizio di amministrazione, fare clic su Aggiungi Replicat (icona più).
  2. Nella pagina Aggiungi Replicat, selezionare un tipo di Replicat, quindi fare clic su Avanti.
    Di seguito sono riportati i tipi di repliche.
    • Replicat classico
    • Replicat coordinato
  3. Nella pagina Opzioni Replicat, completare i campi riportati di seguito, quindi fare clic su Avanti:
    1. Per Nome processo, immettere un nome per il processo Replicat.
    2. (Facoltativo) In Descrizione, immettere una breve descrizione per distinguere questo processo dagli altri.
    3. Per Nome percorso, immettere il nome del trail di due caratteri.
    4. Per Destinazione, selezionare Amazon S3 dall'elenco a discesa.
    5. Per Alias disponibili per Amazon S3, selezionare l'alias desiderato nell'elenco a discesa.
  4. Nella pagina File dei parametri, aggiungere e configurare i parametri Replicat in base alle esigenze, quindi fare clic su Successivo.

    Nota

    • Se si utilizza Replicat coordinato, aggiungere i seguenti parametri sulla seconda riga del file dei parametri:
      TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/<replicat
      name>.properties

      L'utilizzo di replica coordinata determinerà la creazione di più file.

      Se omesso, viene visualizzato il seguente errore:

      OGG-01091 Oracle GoldenGate Delivery, RSNOW.prm: Unable to open file
      "/u02/Deployment/etc/conf/ogg/<replicat name>001.properties" (error 2, No such file or
      directory).
    • Per impostazione predefinita, GoldenGate utilizza l'ora di Greenwich (GMT, Greenwich Mean Time). Utilizzare SETENV per sostituire l'impostazione predefinita. Ad esempio:
      setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")

      Ulteriori informazioni su SETENV.

  5. Nella pagina File proprietà, configurare le seguenti proprietà di Amazon S3:
    • gg.eventhandler.s3.region fornisce l'area AWS per il bucket S3 di destinazione.
    • gg.eventhandler.s3.bucketMappingTemplate: fornisce il nome del bucket S3 di destinazione. Se il bucket non esiste, può essere creato automaticamente da OCI GoldenGate. È possibile fornire nomi di bucket statici oppure utilizzare Parole chiave modello per assegnare nomi di bucket in modo dinamico.

      Nota

      Assicurarsi che il nome del bucket contenga solo caratteri minuscoli. I caratteri maiuscoli possono causare la mancata riuscita del Replicat.
    • (Facoltativo) gg.handler.abs.format: selezionare la modalità di formattazione dell'output. JSON è l'impostazione predefinita. Le opzioni disponibili includono:

      Per il parquet, è necessario applicare proprietà aggiuntive. Per ulteriori informazioni, vedere Parquet per Amazon S3.

  6. Fare clic su Crea ed esegui. Se si fa clic su Crea, è possibile avviare manualmente Replicat in un secondo momento dalla pagina Panoramica del servizio di amministrazione.
Si torna alla pagina Panoramica del servizio di amministrazione in cui è possibile visualizzare la creazione del processo Replicat e accedere alle azioni Replicat.

Problemi noti

Si sono verificati errori Java.net.UnknownHostException per le connessioni Amazon S3 e Google Cloud Storage con endpoint condivisi

Soluzione: modificare la connessione e modificare il metodo di instradamento del traffico in Dedicato oppure selezionare Dedicato quando si creano connessioni Amazon S3 e Google Cloud Storage.

Problema con le connessioni Amazon S3 in OCI GoldenGate

Se si verifica il seguente errore quando si utilizzano le connessioni Amazon S3, aprire un ticket di supporto, condividere i dettagli e il messaggio di errore. 

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

È quindi possibile utilizzare i passi riportati di seguito come soluzione temporanea.

Soluzione alternativa:

  1. Connettersi a Cloud Shell.
  2. Creare una nuova connessione Amazon S3 utilizzando il seguente esempio di CLI:
    oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret>
  3. Assegnare la connessione alla distribuzione.
  4. Aggiungere ed eseguire un file Replicat per Amazon S3.

In alternativa, se preferisci non utilizzare l'accesso pubblico, configura i bucket della tua connessione Amazon S3 per utilizzare AWS VPC Endpoints. Affinché OCI GoldenGate possa accedere al bucket S3 utilizzando VPC Endpoints, devi anche configurare una VPN IPsec tra la tua VCN e AWS VPC.

Per impostare l'endpoint per Amazon S3, aggiungere la proprietà gg.eventhandler.s3.url al file delle proprietà Replicat e fornire l'endpoint per la connessione privata.