Aggiungi un Replicat per Amazon S3

Scopri come creare un processo Replicat per una destinazione Amazon S3 in OCI GoldenGate.

Prima di iniziare

Prima di aggiungere ed eseguire un Replicat per Amazon S3, assicurati di avere:

Una connessione Amazon S3 creata e assegnata alla distribuzione Big Data di destinazione
Area AWS (Amazon Web Services)
Considerazioni sulla configurazione e best practice per Amazon S3

Aggiungi un Replicat (26ai)

Assicurarsi di rivedere i prerequisiti specifici di questo tipo di destinazione.

Per aggiungere un Replicat in GoldenGate 26ai:

Nel menu di navigazione della console di distribuzione OCI GoldenGate, selezionare Replicat.
Nella pagina Replicat selezionare Aggiungi Replicat.
Nel pannello Aggiungi replica, nella pagina Informazioni replica, completare i campi in base alle esigenze, quindi selezionare Successivo:
- Selezionare un tipo di replica:
  - Replicat classico
  - Replicat coordinato
- Immettere un valore nel campo Nome processo con una lunghezza massima di 5 caratteri.
- Immettere una Descrizione per distinguere questo processo dagli altri.
Nella pagina Opzioni replica, completare i campi in base alle esigenze, quindi selezionare Successivo:
- Trail Replicat:
  - Immettere un Nome.
  - Immettere una sottodirectory se si prevede che il file trail si trovi in una posizione diversa da quella predefinita.
  - Selezionare un profilo di cifratura. Se non è stato creato un profilo di cifratura, il wallet locale viene selezionato per impostazione predefinita.
  - Per Inizio, selezionare il punto di partenza per l'elaborazione dei dati:
    - Posizione nel log (predefinito)
    - Now
    - Orario personalizzato
- Posizione trail:
  - Immettere il numero sequenza.
  - Immettere l'offset RBA.
  - Selezionare la destinazione dall'elenco a discesa.
    
    Nota: a seconda della selezione della destinazione, è possibile che siano disponibili opzioni aggiuntive, ad esempio le ubicazioni di streaming, area intermedia e unione e area intermedia.
- Credenziali destinazione:
  - Selezionare un dominio.
  - Selezionare un'alias all'interno del dominio specificato.
  - Selezionare una tabella di checkpoint. Lasciare la selezione predefinita o selezionare la tabella Checkpoint creata per la distribuzione di destinazione.
  - Selezionare il numero massimo di thread (solo Replicat coordinate).
Nella pagina Opzioni gestite completare i campi facoltativi in base alle esigenze, quindi selezionare Successivo.
- Selezionare un nome profilo, se disponibile.
- Abilita stato critico per la distribuzione.
- Abilitare e configurare le impostazioni di avvio automatico.
Nella pagina File parametri è possibile aggiungere parametri per configurare ulteriormente Replicat. Ad esempio:
```
table source.table1;
```
Nota:

Per impostazione predefinita, GoldenGate utilizza l'ora di Greenwich (GMT). Utilizzare SETENV per sostituire l'impostazione predefinita per Replicat. Questa modifica non si applica alle distribuzioni. Ad esempio:
```
setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
```
Nella pagina Proprietà file, configurare le seguenti proprietà di Amazon S3:
- gg.eventhandler.s3.region fornisce l'area AWS per il bucket S3 di destinazione.
- gg.eventhandler.s3.bucketMappingTemplate: fornisce il nome del bucket S3 di destinazione. Se il bucket non esiste, può essere creato automaticamente da OCI GoldenGate. È possibile fornire nomi di bucket statici oppure utilizzare Parole chiave modello per assegnare i nomi dei bucket in modo dinamico.
  
  Nota: assicurarsi che il nome del bucket contenga solo caratteri minuscoli. I caratteri maiuscoli possono causare l'errore di Replicat.
- (Facoltativo) gg.handler.abs.format: selezionare come formattare l'output. JSON è l'impostazione predefinita. Le opzioni disponibili includono:
- testo delimitato
- json
- riga_Json
- xml
- avro_row_ocf
- avro_op_ocf
Per il parquet, è necessario applicare proprietà aggiuntive. Per ulteriori informazioni, vedere Parquet per Amazon S3.

Per informazioni sulle proprietà di questa destinazione, vedere Amazon S3 nella guida Oracle GoldenGate for Distributed Applications and Analytics.
Selezionare Crea ed esegui. Se si seleziona Crea, è possibile avviare manualmente Replicat in un secondo momento dalla pagina Replicat.

Aggiungi un Replicat (21c)

Nella console di distribuzione GoldenGate OCI, nella pagina Panoramica del servizio di amministrazione, selezionare Aggiungi Replicat (icona più).
Nella pagina Aggiungi Replicat selezionare un tipo di Replicat, quindi selezionare Successivo.

I tipi di Replicat sono:
- Replicat classico
- Replicat coordinato
Nella pagina Opzioni replica, completare i campi riportati di seguito, quindi selezionare Successivo.
1. In Nome processo, immettere un nome per il processo Replicat.
2. (Facoltativo) In Descrizione, immettere una breve descrizione per distinguere questo processo dagli altri.
3. In Nome percorso, immettere il nome del trail a due caratteri.
4. Per Destinazione, selezionare Amazon S3 dall'elenco a discesa.
5. Per Alias disponibili per Amazon S3, selezionare l'alias dall'elenco a discesa.
Nella pagina File dei parametri aggiungere e configurare i parametri Replicat in base alle esigenze, quindi selezionare Successivo.
```
table source.table1;
```
Nota:

Per impostazione predefinita, GoldenGate utilizza l'ora di Greenwich (GMT). Utilizzare SETENV per sostituire l'impostazione predefinita per l'estrazione. Questa modifica si applica solo al processo di estrazione e non alla distribuzione.
```
setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
```
Nella pagina Proprietà file, configurare le seguenti proprietà di Amazon S3:
- gg.eventhandler.s3.region fornisce l'area AWS per il bucket S3 di destinazione.
- gg.eventhandler.s3.bucketMappingTemplate: fornisce il nome del bucket S3 di destinazione. Se il bucket non esiste, può essere creato automaticamente da OCI GoldenGate. È possibile fornire nomi di bucket statici oppure utilizzare Parole chiave modello per assegnare i nomi dei bucket in modo dinamico.
Nota: assicurarsi che il nome del bucket contenga solo caratteri minuscoli. I caratteri maiuscoli possono causare l'errore di Replicat.
- (Facoltativo) gg.handler.abs.format: selezionare come formattare l'output. JSON è l'impostazione predefinita. Le opzioni disponibili includono:
- testo delimitato
- json
- riga_Json
- xml
- avro_row_ocf
- avro_op_ocf
Per il parquet, è necessario applicare proprietà aggiuntive. Per ulteriori informazioni, vedere Parquet per Amazon S3.
Selezionare Crea ed esegui. Se si seleziona Crea, è possibile avviare manualmente Replicat in un secondo momento dalla pagina Panoramica del servizio di amministrazione.

Si torna alla pagina Panoramica del servizio di amministrazione, in cui è possibile visualizzare la creazione del processo Replicat e accedere ad Azioni Replicat.

Dettagli destinazione Amazon S3

Problemi noti con Amazon S3

Errori Java.net.UnknownHostException per le connessioni Amazon S3 e Google Cloud Storage con endpoint condivisi

Quando si utilizzano connessioni Amazon S3 e Google Cloud Storage con endpoint condivisi, è possibile che si verifichino errori Java.net.UnknownHostException.

Soluzione: modificare la connessione e modificare il metodo di instradamento del traffico in Dedicato oppure selezionare Dedicato quando si creano connessioni Amazon S3 e Google Cloud Storage.

Problema con le connessioni Amazon S3 in OCI GoldenGate

Se si verifica il seguente errore durante l'utilizzo delle connessioni Amazon S3, aprire un ticket di supporto, condividere i dettagli e il messaggio di errore.

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

Soluzione alternativa:

Connettersi a Cloud Shell.

Creare una nuova connessione Amazon S3 utilizzando il seguente esempio CLI:

oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret> --connection-region <amazon_s3_bucket_region>

Assegnare la connessione alla distribuzione.
Aggiungi ed esegui Replicat per Amazon S3.

In alternativa, se preferisci non utilizzare l'accesso pubblico, configura i bucket della tua connessione Amazon S3 per utilizzare gli endpoint AWS VPC. Per consentire a OCI GoldenGate di accedere al bucket S3 utilizzando gli endpoint VPC, devi anche configurare una VPN IPsec tra la tua VCN e AWS VPC.

Per impostare l'endpoint per Amazon S3, aggiungere la proprietà gg.eventhandler.s3.url al file delle proprietà Replicat e fornire l'endpoint per la connessione privata.