Replicat für Amazon S3 hinzufügen

Hier erfahren Sie, wie Sie einen Replicat-Prozess für ein Amazon S3-Ziel in OCI GoldenGate erstellen

Verwandte Themen

Bevor Sie beginnen

Bevor Sie ein Replicat für Amazon S3 hinzufügen und ausführen, stellen Sie Folgendes sicher:

  • Eine Amazon S3-Verbindung, die für das Big Data-Ziel-Deployment erstellt und zugewiesen wurde
  • Eine Amazon Web Services-(AWS-)Region

Replicat (23ai) hinzufügen

Bevor Sie beginnen

Prüfen Sie die spezifischen Voraussetzungen für diesen Zieltyp.

So fügen Sie ein Replicat in GoldenGate 23ai hinzu:
  1. Klicken Sie in der OCI GoldenGate-Deployment-Konsole auf der Administrationsservice-Homepage auf Replicat hinzufügen (Plussymbol).
  2. Füllen Sie im Bereich "Replikat hinzufügen" auf der Seite Replikat-Informationen die Felder nach Bedarf aus, und klicken Sie auf Weiter:
    • Wählen Sie einen Replicat-Typ aus:
      • Klassisches Replicat
      • Koordiniertes Replicat
    • Geben Sie einen Prozessnamen mit höchstens 5 Zeichen ein.
    • Geben Sie eine Beschreibung ein, um diesen Prozess von anderen zu unterscheiden.
  3. Geben Sie auf der Seite Replicat-Optionen Werte in die Felder ein, und klicken Sie auf Weiter:
    • Replicat-Trail:
      • Geben Sie einen Namen ein.
      • Geben Sie ein Unterverzeichnis ein, wenn Sie erwarten, dass sich die Traildatei an einem anderen als dem Standardverzeichnis befindet.
      • Wählen Sie ein Verschlüsselungsprofil aus. Wenn kein Verschlüsselungsprofil erstellt wurde, wird standardmäßig das lokale Wallet ausgewählt.
      • Wählen Sie unter Begin den Ausgangspunkt für die Datenverarbeitung aus:
        • Position in Log (Standard)
        • Now
        • Benutzerdefinierte Zeit
    • Trailposition:
      • Geben Sie die Folgenummer ein.
      • Geben Sie den RBA-Offset ein.
      • Wählen Sie in der Dropdown-Liste das Ziel aus.

        Hinweis:

        Je nach Zielauswahl stehen Ihnen zusätzliche Optionen wie Streaming-, Staging- und Merge-Speicherorte sowie Staging-Speicherorte zur Verfügung.
    • Zielzugangsdaten:
      • Domain auswählen.
      • Wählen Sie einen Alias in der angegebenen Domain aus.
      • Wählen Sie eine Checkpoint-Tabelle aus. Behalten Sie die Standardauswahl bei, oder wählen Sie die Checkpoint-Tabelle aus, die Sie für das Ziel-Deployment erstellt haben.
      • Wählen Sie die Max. Anzahl Threads aus (nur koordinierte Replikate).
  4. Füllen Sie auf der Seite Verwaltete Optionen die optionalen Felder nach Bedarf aus, und klicken Sie auf Weiter:
    • Wählen Sie einen Profilnamen aus, falls verfügbar.
    • Aktivieren Sie "Kritisch" für den Deployment-Status.
    • Automatische Starteinstellungen aktivieren und konfigurieren.
  5. Auf der Seite Parameterdatei können Sie Parameter hinzufügen, um das Replikat weiter zu konfigurieren. Beispiel:
    table source.table1;

    Wenn Sie das koordinierte Replicat verwenden, fügen Sie TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/your_replicat_name.properties zur Parameterdatei hinzu.

    Hinweis:

    GoldenGate verwendet standardmäßig Greenwich Mean Time (GMT). Mit SETENV können Sie die Standardeinstellung für diesen Replicat-Prozess außer Kraft setzen. Diese Änderung gilt nicht für Deployments. Beispiel: 

    setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
  6. Konfigurieren Sie auf der Seite "Eigenschaftendatei" die folgenden Amazon S3-Eigenschaften:
    • gg.eventhandler.s3.region geben Sie die AWS-Region für den Ziel-Bucket S3 an.
    • gg.eventhandler.s3.bucketMappingTemplate: geben Sie den Bucket-Namen des Ziels S3 an. Wenn der Bucket nicht vorhanden ist, kann er jedoch automatisch von OCI GoldenGate erstellt werden. Sie können statische Bucket-Namen angeben oder mithilfe von Vorlagenschlüsselwörtern Bucket-Namen dynamisch zuweisen.

      Hinweis:

      Stellen Sie sicher, dass der Bucket-Name nur Kleinbuchstaben enthält. Großbuchstaben können dazu führen, dass das Replicat nicht erfolgreich ausgeführt wird.
    • (Optional) gg.handler.abs.format: Wählen Sie aus, wie die Ausgabe formatiert werden soll. JSON ist die Standardeinstellung. Verfügbare Optionen:

      Für Parkett müssen Sie zusätzliche Eigenschaften anwenden. Weitere Informationen finden Sie unter Parkett für Amazon S3.

      Informationen zu den Eigenschaften dieses Ziels finden Sie unter Amazon S3 im Handbuch Oracle GoldenGate for Distributed Applications and Analytics.

  7. Klicken Sie auf Erstellen und ausführen. Wenn Sie auf Erstellen klicken, können Sie das Replicat später auf der Administrationsservice-Homepage manuell starten.

Replicat hinzufügen (21c)

Hier erfahren Sie, wie Sie einen Replicat-Prozess für Amazon S3 hinzufügen.

So fügen Sie ein Replicat für ein Amazon S3-Ziel hinzu:
  1. Klicken Sie in der OCI GoldenGate-Deployment-Konsole auf der Seite "Überblick" auf Replicat hinzufügen (Pluszeichen).
  2. Wählen Sie auf der Seite "Add Replicat" einen Replicat-Typ aus, und klicken Sie auf Weiter.
    Es gibt folgende Typen von Replicats:
    • Klassisches Replicat
    • Koordiniertes Replicat
  3. Geben Sie auf der Seite "Replicat-Optionen" die folgenden Felder ein, und klicken Sie auf Weiter:
    1. Geben Sie unter Prozessname einen Namen für den Replikatprozess ein.
    2. (Optional) Geben Sie unter Beschreibung eine kurze Beschreibung ein, mit der Sie diesen Prozess von anderen unterscheiden können.
    3. Geben Sie unter Trailname einen aus zwei Zeichen bestehenden Trailnamen ein.
    4. Wählen Sie unter Ziel in der Dropdown-Liste die Option Amazon S3 aus.
    5. Wählen Sie unter Verfügbare Aliasnamen für Amazon S3 Ihren Alias aus der Dropdown-Liste aus.
  4. Fügen Sie auf der Seite "Parameterdatei" Replicat-Parameter nach Bedarf hinzu, und konfigurieren Sie sie. Klicken Sie dann auf Weiter.

    Hinweis:

    • Wenn Sie Coordinated Replicat verwenden, fügen Sie in der zweiten Zeile der Parameterdatei die folgenden Parameter hinzu:
      TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/<replicat
      name>.properties

      Die Verwendung von koordiniertem Replicat führt dazu, dass mehrere Dateien erstellt werden.

      Wenn Sie dies nicht tun, tritt der folgende Fehler auf:

      OGG-01091 Oracle GoldenGate Delivery, RSNOW.prm: Unable to open file
      "/u02/Deployment/etc/conf/ogg/<replicat name>001.properties" (error 2, No such file or
      directory).
    • GoldenGate verwendet standardmäßig Greenwich Mean Time (GMT). Mit SETENV können Sie die Standardeinstellung außer Kraft setzen. Beispiel:
      setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")

      Weitere Informationen zu SETENV.

  5. Konfigurieren Sie auf der Seite "Eigenschaftendatei" die folgenden Amazon S3-Eigenschaften:
    • gg.eventhandler.s3.region geben Sie die AWS-Region für den Ziel-Bucket S3 an.
    • gg.eventhandler.s3.bucketMappingTemplate: geben Sie den Bucket-Namen des Ziels S3 an. Wenn der Bucket nicht vorhanden ist, kann er jedoch automatisch von OCI GoldenGate erstellt werden. Sie können statische Bucket-Namen angeben oder mithilfe von Vorlagenschlüsselwörtern Bucket-Namen dynamisch zuweisen.

      Hinweis:

      Stellen Sie sicher, dass der Bucket-Name nur Kleinbuchstaben enthält. Großbuchstaben können dazu führen, dass das Replicat nicht erfolgreich ausgeführt wird.
    • (Optional) gg.handler.abs.format: Wählen Sie aus, wie die Ausgabe formatiert werden soll. JSON ist die Standardeinstellung. Verfügbare Optionen:

      Für Parkett müssen Sie zusätzliche Eigenschaften anwenden. Weitere Informationen finden Sie unter Parkett für Amazon S3.

  6. Klicken Sie auf Erstellen und ausführen. Wenn Sie auf Erstellen klicken, können Sie das Replikat später auf der Seite "Überblick" des Administration Service manuell starten.
Sie kehren zur Seite "Überblick" des Administration Service zurück, auf der Sie die Erstellung des Replikatprozesses anzeigen und auf Replicat-Aktionen zugreifen können.

Bekannte Probleme

Java.net.UnknownHostException-Fehler bei Amazon S3- und Google Cloud Storage-Verbindungen mit gemeinsam verwendeten Endpunkten treten auf

Problemumgehung: Bearbeiten Sie die Verbindung, und ändern Sie die Traffic-Routingmethode in Dediziert, oder wählen Sie Dediziert aus, wenn Sie Amazon S3- und Google Cloud Storage-Verbindungen erstellen.

Problem mit Amazon S3-Verbindungen in OCI GoldenGate

Wenn bei der Verwendung von Amazon S3-Verbindungen der folgende Fehler auftritt, öffnen Sie ein Supportticket, geben Sie die Details und die Fehlermeldung frei. 

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

Anschließend können Sie die folgenden Schritte als temporäre Problemumgehung verwenden.

Workaround:

  1. Stellen Sie eine Verbindung zu Cloud Shell her.
  2. Erstellen Sie eine neue Amazon S3-Verbindung mit dem folgenden CLI-Beispiel:
    oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret>
  3. Weisen Sie die Verbindung Ihrem Deployment zu.
  4. Fügen Sie eine Replicat für Amazon S3 hinzu, und führen Sie sie aus.

Wenn Sie keinen öffentlichen Zugriff verwenden möchten, konfigurieren Sie alternativ die Buckets der Amazon S3-Verbindung so, dass AWS VPC Endpoints verwendet wird. Damit OCI GoldenGate mit VPC Endpoints auf Ihren S3-Bucket zugreifen kann, müssen Sie auch ein IPsec-VPN zwischen Ihrem VCN und der AWS VPC konfigurieren.

Um den Endpunkt für Amazon S3 festzulegen, fügen Sie die Eigenschaft gg.eventhandler.s3.url der Replicat-Eigenschaftendatei hinzu, und geben Sie den Endpunkt für die private Verbindung an.