Replicat für Amazon S3 hinzufügen

Hier erfahren Sie, wie Sie einen Replicat-Prozess für ein Amazon S3-Ziel in OCI GoldenGate erstellen.

Bevor Sie beginnen

Bevor Sie ein Replicat für Amazon S3 hinzufügen und ausführen, stellen Sie sicher, dass Sie:

Eine Amazon S3-Verbindung, die erstellt und Ihrem Big Data-Ziel-Deployment zugewiesen wurde
Eine Amazon Web Services-(AWS-)Region
Überprüft Überlegungen zur Konfiguration und Best Practices für Amazon S3

Replicat hinzufügen (26ai)

Prüfen Sie die für diesen Zieltyp spezifischen Voraussetzungen.

So fügen Sie ein Replicat in GoldenGate 26ai hinzu:

Wählen Sie im Navigationsmenü der OCI GoldenGate-Deployment-Konsole die Option Replikat.
Wählen Sie auf der Seite "Replicat" Replicat hinzufügen aus.
Füllen Sie im Bereich "Replicat hinzufügen" auf der Seite Replicat-Informationen die Felder nach Bedarf aus, und wählen Sie Weiter aus:
- Wählen Sie einen Replikattyp aus:
  - Klassisches Replicat
  - Koordiniertes Replicat
- Geben Sie einen Prozessnamen ein, der nicht länger als 5 Zeichen ist.
- Geben Sie eine Beschreibung ein, um diesen Prozess von anderen zu unterscheiden.
Füllen Sie auf der Seite Replikationsoptionen die Felder nach Bedarf aus, und wählen Sie Weiter aus:
- Replicat-Trail:
  - Geben Sie einen Namen ein.
  - Geben Sie ein Unterverzeichnis ein, wenn Sie erwarten, dass sich die Traildatei an einem anderen Speicherort als dem Standardverzeichnis befindet.
  - Wählen Sie ein Verschlüsselungsprofil aus. Wenn kein Verschlüsselungsprofil erstellt wurde, wird standardmäßig das lokale Wallet ausgewählt.
  - Wählen Sie unter Beginn den Ausgangspunkt für das Verarbeiten aus:
    - Position in Log (Standard)
    - Now
    - Benutzerdefinierte Zeit
- Trailposition:
  - Geben Sie die Lfd Nr ein.
  - Geben Sie den RBA-Offset ein.
  - Wählen Sie Ihr Ziel aus der Dropdown-Liste aus.
    
    Hinweis: Je nach Ihrer Zielauswahl stehen Ihnen möglicherweise weitere Optionen zur Verfügung, z.B. Streaming-, Staging- und Merge- und Staging-Speicherorte.
- Zielzugangsdaten:
  - Wählen Sie eine Domain aus.
  - Wählen Sie einen Alias innerhalb der angegebenen Domain aus.
  - Wählen Sie eine Checkpoint-Tabelle aus. Übernehmen Sie die Standardauswahl, oder wählen sie die Checkpointtabelle aus, die Sie für das Ziel-Deployment erstellt haben.
  - Wählen Sie die Max. Anzahl Threads aus (nur koordinierte Replicats).
Füllen Sie auf der Seite Verwaltete Optionen die optionalen Felder nach Bedarf aus, und wählen Sie Weiter aus:
- Wählen Sie einen Profilnamen aus, sofern verfügbar.
- Kritisch für den Deployment-Zustand aktivieren.
- Einstellungen für den automatischen Start aktivieren und konfigurieren.
Auf der Seite Parameterdatei können Sie Parameter zur weiteren Konfiguration von Replicat hinzufügen. Beispiel:
```
table source.table1;
```
Hinweis:

GoldenGate verwendet standardmäßig Greenwich Mean Time (GMT). Verwenden Sie SETENV, um die Standardeinstellung für Replicat außer Kraft zu setzen. Diese Änderung gilt nicht für Deployments. Beispiel:
```
setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
```
Konfigurieren Sie auf der Seite "Eigenschaftendatei" die folgenden Amazon S3-Eigenschaften:
- gg.eventhandler.s3.region stellt die AWS-Region für den Ziel-S3-Bucket bereit.
- gg.eventhandler.s3.bucketMappingTemplate: geben Sie den S3-Ziel-Bucketnamen an. Wenn der Bucket nicht vorhanden ist, kann er jedoch automatisch von OCI GoldenGate erstellt werden. Sie können statische Bucket-Namen angeben oder Vorlagenschlüsselwörter verwenden, um Bucket-Namen dynamisch zuzuweisen.
  
  Hinweis: Stellen Sie sicher, dass der Bucket-Name nur Kleinbuchstaben enthält. Großbuchstaben können dazu führen, dass das Replicat nicht erfolgreich ist.
- (Optional) gg.handler.abs.format: Wählen Sie aus, wie die Ausgabe formatiert werden soll. JSON ist die Standardeinstellung. Verfügbare Optionen:
- delimitedtext
- json
- json_row
- xml
- avro_row_ocf
- avro_op_ocf
Für Parkett müssen Sie zusätzliche Eigenschaften anwenden. Weitere Informationen finden Sie unter Parquet for Amazon S3.

Informationen zu den Eigenschaften dieses Ziels finden Sie unter Amazon S3 in der Dokumentation Oracle GoldenGate for Distributed Applications and Analytics.
Wählen Sie Erstellen und ausführen aus. Wenn Sie Erstellen auswählen, können Sie das Replicat später auf der Seite "Replicats" manuell starten.

Replicat hinzufügen (21c)

Wählen Sie in der OCI GoldenGate-Deployment-Konsole auf der Seite "Überblick" des Administrationsservice die Option Replicat hinzufügen (Plussymbol).
Wählen Sie in der Seite "Replicat hinzufügen" einen Replicat-Typ, und wählen Sie Weiter.

Es gibt folgende Typen von Replicats:
- Klassisches Replicat
- Koordiniertes Replicat
Füllen Sie die folgenden Felder auf der Seite "Replicat-Optionen" aus, und wählen Sie Weiter:
1. Geben Sie unter Prozessname einen Namen für den Replicat-Prozess an.
2. (Optional) Geben Sie unter Beschreibung eine kurze Beschreibung ein, mit der sich dieser Prozess von anderen unterscheiden kann.
3. Geben Sie unter Trailname einen aus zwei Zeichen bestehenden Trailnamen an.
4. Wählen Sie unter Ziel in der Dropdown-Liste die Option Amazon S3 aus.
5. Wählen Sie unter Verfügbare Aliasnamen für Amazon S3 Ihren Alias aus der Dropdown-Liste aus.
Fügen Sie auf der Seite "Parameterdatei" Replicat-Parameter nach Bedarf hinzu, und konfigurieren Sie sie. Wählen Sie dann Weiter aus.
```
table source.table1;
```
Hinweis:

GoldenGate verwendet standardmäßig Greenwich Mean Time (GMT). Verwenden Sie SETENV, um die Standardeinstellung für den Extract zu überschreiben. Diese Änderung gilt nur für den Extract-Prozess und nicht für das Deployment.
```
setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
```
Konfigurieren Sie auf der Seite "Eigenschaftendatei" die folgenden Amazon S3-Eigenschaften:
- gg.eventhandler.s3.region stellt die AWS-Region für den Ziel-S3-Bucket bereit.
- gg.eventhandler.s3.bucketMappingTemplate: geben Sie den S3-Ziel-Bucketnamen an. Wenn der Bucket nicht vorhanden ist, kann er jedoch automatisch von OCI GoldenGate erstellt werden. Sie können statische Bucket-Namen angeben oder Vorlagenschlüsselwörter verwenden, um Bucket-Namen dynamisch zuzuweisen.
Hinweis: Stellen Sie sicher, dass der Bucket-Name nur Kleinbuchstaben enthält. Großbuchstaben können dazu führen, dass das Replicat nicht erfolgreich ist.
- (Optional) gg.handler.abs.format: Wählen Sie aus, wie die Ausgabe formatiert werden soll. JSON ist die Standardeinstellung. Verfügbare Optionen:
- delimitedtext
- json
- json_row
- xml
- avro_row_ocf
- avro_op_ocf
Für Parkett müssen Sie zusätzliche Eigenschaften anwenden. Weitere Informationen finden Sie unter Parquet for Amazon S3.
Wählen Sie Erstellen und ausführen aus. Wenn Sie Erstellen wählen, können Sie das Replicat später manuell auf der Seite "Überblick" des Administrationsservice starten.

Kehren Sie zur Seite "Überblick" des Administrationsservices zurück, auf dem Sie die Erstellung des Replicat-Prozesse anzeigen und auf Replicat-Aktionen zugreifen können.

Amazon S3-Zieldetails

Bekannte Probleme mit Amazon S3

Java.net.UnknownHostException-Fehler bei Amazon S3- und Google Cloud-Speicherverbindungen mit gemeinsam genutzten Endpunkten

Wenn Sie Amazon S3- und Google Cloud-Speicherverbindungen mit gemeinsam genutzten Endpunkten verwenden, können Java.net.UnknownHostException-Fehler auftreten.

Problemumgehung: Bearbeiten Sie die Verbindung, und ändern Sie die Traffic-Routingmethode in Dediziert, oder wählen Sie Dediziert aus, wenn Sie Amazon S3- und Google Cloud Storage-Verbindungen erstellen.

Problem mit Amazon S3-Verbindungen in OCI GoldenGate

Wenn bei der Verwendung von Amazon S3-Verbindungen der folgende Fehler auftritt, öffnen Sie ein Supportticket, geben Sie die Details und die Fehlermeldung weiter.

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

Workaround:

Verbindung zu Cloud Shell herstellen.

Erstellen Sie eine neue Amazon S3-Verbindung mit dem folgenden CLI-Beispiel:

oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret> --connection-region <amazon_s3_bucket_region>

Weisen Sie die Verbindung zu Ihrem Deployment zu.
Replicat für Amazon S3 hinzufügen und ausführen

Wenn Sie keinen öffentlichen Zugriff verwenden möchten, konfigurieren Sie alternativ die Buckets Ihrer Amazon S3-Verbindung für die Verwendung von AWS VPC-Endpunkten. Damit OCI GoldenGate mit VPC-Endpunkten auf Ihren S3-Bucket zugreifen kann, müssen Sie auch ein IPsec-VPN zwischen Ihrem VCN und der AWS VPC konfigurieren.

Um den Endpunkt für Amazon S3 festzulegen, fügen Sie die Eigenschaft gg.eventhandler.s3.url der Replicat-Eigenschaftendatei hinzu, und geben Sie den Endpunkt für die private Verbindung an.