Daten von HeatWave in Amazon Kinesis replizieren

Erfahren Sie, wie Sie mit OCI GoldenGate Daten von HeatWave in Amazon Kinesis replizieren.

Bevor Sie beginnen

Um diesen Schnellstart erfolgreich abzuschließen, benötigen Sie:

Einrichten der Umgebung: HeatWave

So richten Sie die Umgebung für diesen Schnellstart ein:
  1. Herunterladen Sie das Beispieldatenskript, und führen Sie das Skript in der HeatWave-Datenbank aus, um die Datenbank zu erstellen und die Daten zu laden.
  2. Erstellen Sie einen ggadmin-Benutzer mit dem folgenden Skript. Ersetzen Sie <ggadmin-password> durch ein gültiges Kennwort:
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. Öffnen Sie port 3306, über die OCI GoldenGate eine Verbindung herstellen kann.
    1. Suchen Sie in der Oracle Cloud-Konsole das Subnetz, das von der HeatWave-Datenbank verwendet wird.
    2. Erstellen Sie in der Sicherheitsliste des Subnetzes eine Ingress-Regel für port TCP/3306.

Aufgabe 1: OCI GoldenGate-Ressourcen erstellen

  1. Erstellen Sie ein MySQL-Deployment für die Quelldatenbank HeatWave.
  2. Erstellen Sie ein Big Data Deployment für das Amazon Kinesis-Ziel.
  3. Erstellen Sie eine Verbindung zur Heatwave-Quelldatenbank.
  4. Stellen Sie eine Verbindung zu Amazon Kinesis her.
  5. Erstellen Sie eine Verbindung zu GoldenGate, und weisen Sie diese Verbindung dem Deployment der Quelle MySQL zu.
  6. Weisen Sie die Quellverbindung dem MySQL-Quell-Deployment zu.
  7. Weisen Sie die Zielverbindung dem Big Data-Ziel-Deployment zu.

Aufgabe 2: Extract erstellen

  1. Wählen Sie auf der Seite "Deployments" das MySQL-Deployment aus, das Sie in Aufgabe 1 erstellt haben.
  2. Klicken Sie auf der Seite "Deployment" auf Konsole starten.
  3. Melden Sie sich bei der MySQL-Deployment-Konsole der Quelle mit den Administratorzugangsdaten an, die beim Erstellen des Deployments in Aufgabe 1 angegeben wurden.
  4. Fügen Sie eine Change Data Capture Extract mit den folgenden Werten hinzu:
    • Extract-Typ: Change Data Capture Extract
    • Prozessname: ECDC
    • Extract Trail-Name: C1
    • Parameterdatei: Ersetzen Sie MAP *.*, TARGET *.*; durch TABLE SRC_OCIGGLL.*;

Aufgabe 3: Distribution Path für das Big Data-Ziel-Deployment erstellen

  1. Wenn Sie den IAM-Zugangsdatenspeicher verwenden, fahren Sie mit Schritt 3 fort. Wenn Sie den Zugangsdatenspeicher GoldenGate verwenden, erstellen Sie einen Benutzer, mit dem die Quelle GoldenGate eine Verbindung zum Ziel GoldenGate herstellt.
    1. Wählen Sie auf der Seite "Deployment" das Big Data-Deployment Ziel aus.
    2. Klicken Sie auf der Seite "Deployment" auf Konsole starten, und melden Sie sich als Admin-Benutzer an.
    3. Klicken Sie im Navigationsmenü der Deployment-Konsole auf Benutzeradministration.
    4. Klicken Sie wie folgt auf Neuen Benutzer hinzufügen (Pluszeichen), füllen Sie die Felder aus, und klicken Sie auf Weiterleiten:
      • Geben Sie unter Benutzername ggsnet ein.
      • Wählen Sie unter Rolle die Option Operator aus.
      • Geben Sie das Kennwort zur Bestätigung zweimal ein.
  2. Erstellen Sie in der Deployment-Konsole Quelle MySQL eine Path Connection für den im vorherigen Schritt erstellten Benutzer.
    1. Öffnen Sie das Navigationsmenü, und klicken Sie auf Path Connection.
    2. Klicken Sie auf Path Connection hinzufügen (Pluszeichen), füllen Sie die Felder wie folgt aus, und klicken Sie auf Weiterleiten:
      • Geben Sie unter Credential-Alias dpuser ein.
      • Geben Sie unter Benutzer-ID ggsnet ein.
      • Geben Sie unter Kennwort dasselbe Kennwort ein, das im vorherigen Schritt verwendet wurde.
  3. Fügen Sie in der Deployment-Konsole Quelle MySQL eine Distribution Path mit den folgenden Werten hinzu:
    1. Auf der Seite Quelloptionen:
      • Wählen Sie unter Quelle Extract den in Aufgabe 2 erstellten Extract aus.
      • Geben Sie unter Trailname einen Namen aus zwei Zeichen wie C1 ein.
    2. Auf der Seite Zieloptionen:
      • Geben Sie unter Zielhost die Hostdomain des Ziel-Deployment ein.
      • Geben Sie unter Portnummer die Nummer 443 ein.
      • Geben Sie unter Trailname einen Namen aus zwei Zeichen wie C1 ein.
      • Geben Sie unter Alias den in Schritt 2 erstellten Zugangsdatenalias ein.
  4. Prüfen Sie in der Big Data-Deployment-Konsole von OCI GoldenGate des Ziels die Receiver path, die als Ergebnis der Distribution Path erstellt wurde:
    1. Klicken Sie auf Receiver Service.
    2. Prüfen Sie die Details von Receiver path.

Aufgabe 4: Replicat für Amazon Kinesis hinzufügen

  1. Klicken Sie im Big Data-Deployment auf Administration Service und dann auf Replicat hinzufügen (Pluszeichen).
  2. Fügen Sie eine Replicat mit den folgenden Werten hinzu:
    • Wählen Sie unter Replicat den Typ Classic Replicat aus.
    • Geben Sie unter Prozessname einen Namen ein.
    • Geben Sie unter Zieltrailname den Namen des Trails aus Aufgabe 2 ein.
    • Wählen Sie unter Ziel die Option Amazon Kinesis aus.
    • Wählen Sie unter Verfügbare Aliasnamen für Amazon Kinesis Ihren Alias aus der Dropdown-Liste aus.
    • Bearbeiten Sie auf der Seite "Eigenschaftendatei" die mit #TODO markierten Felder:
      • gg.handler.kinesis.region: Geben Sie die Amazon Web Services-(AWS-)Region für den Ziel-Kinesis-Stream an.
      • gg.handler.kinesis.streamMappingTemplate: Standardmäßig ist er auf ${tableName} gesetzt, wodurch die Streams basierend auf dem Quelltabellennamen zugeordnet werden. Wenn Sie einem vorhandenen Datenstream zuordnen möchten, können Sie statische Streamnamen angeben oder Vorlagenschlüsselwörter verwenden, um Streamnamen dynamisch zuzuweisen.

Aufgabe 5: Datenreplikation von HeatWave in Amazon Kinesis prüfen

Führen Sie Updates an der Quelldatenbank HeatWave aus, um die Replikation in Amazon Kinesis zu prüfen.
  1. Erstellen Sie in OCI Bastion eine SSH-Portweiterleitungssession mit der IP von MySQL und port 3306. Fügen Sie den öffentlichen SSH-Schlüssel hinzu.
  2. Stellen Sie mit Ihrem Private Key und port 3306 eine Verbindung zu MySQL in Cloud Shell her.
  3. Führen Sie nach dem erfolgreichen Herstellen einer Verbindung den folgenden Befehl aus:
    mysqlsh admin@localhost:3306 --sql
  4. Führen Sie das folgende Skript aus, um Einfügungen in die HeatWave-Datenbank auszuführen:
    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;
  5. Wählen Sie in der Deployment-Konsole der Quelle MySQL den Namen Change Data Capture Extract (CDCEXT) aus, und klicken Sie auf Statistiken. Stellen Sie sicher, dass unter SRC_OCIGGLL.SRC_CITY 10 Beilagen vorhanden sind.
  6. Wählen Sie in der Big Data-Ziel-Deployment-Konsole den Namen Replicat aus, und klicken Sie auf Statistiken. Stellen Sie sicher, dass unter SRC_OCIGGLL.SRC_CITY 10 Beilagen vorhanden sind.
  7. In Amazon Kinesis können Sie die Nachrichten im Zieldatenstream/Daten-Viewer prüfen.