Daten von HeatWave in Amazon Kinesis replizieren

Erfahren Sie, wie Sie mit OCI GoldenGate Daten von HeatWave zu Amazon Kinesis replizieren.

Bevor Sie beginnen

Um diesen Schnellstart erfolgreich abzuschließen, benötigen Sie:

OCI Bastion, um eine Verbindung zu HeatWave herstellen, die Beispieldatenbank laden und Einfügevorgänge auszuführen.
Eine HeatWave-Datenbank, die als Quelldatenbank dienen soll.
Amazon S3 Access Key und Secret
IAM-Policys für Amazon Kinesis

Umgebung eingerichtet: HeatWave

So richten Sie die Umgebung für diesen Schnellstart ein:

Herunterladen Sie das Beispieldatenskript, und führen Sie das Skript in der OCI-Datenbank HeatWave aus, um die Datenbank zu erstellen und die Daten zum Laden zu laden.

Erstellen Sie einen ggadmin-Benutzer mit dem folgenden Skript. Ersetzen Sie <ggadmin-password> durch ein gültiges Kennwort:

CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';

Öffnen Sie port 3306, über die OCI GoldenGate Verbindung herstellen kann.
1. Suchen Sie in der Oracle Cloud-Konsole das Subnetz, das von der HeatWave-auf-OCI-Datenbank verwendet werden soll.
2. Erstellen Sie in der Sicherheitsliste des Subnetzes eine Ingress-Regel für port TCP/3306.

Aufgabe 1: OCI GoldenGate-Ressourcen erstellen

Erstellen Sie ein MySQL-Deployment für die HeatWave-Quelldatenbank.
Erstellen Sie ein Big Data-Deployment für das Amazon Kinesis-Ziel.
Erstellen Sie eine Verbindung zur Heatwave-Quelldatenbank.
Verbindung zu Amazon Kinesis herstellen.
Erstellen Sie eine Verbindung zu GoldenGate, und weisen Sie diese Verbindung dem MySQL-Quell-Deployment zu.
Weisen sie die Quellverbindung dem MySQL-Quell-Deployment zu.
Weisen Sie die Zielverbindung dem Big Data-Ziel-Deployment zu.

Aufgabe 2: Extract erstellen

Wählen Sie auf der Seite "Deployments" das MySQL-Deployment aus, das Sie in Aufgabe 1 erstellt haben.
Wählen Sie auf der Seite "Deployment-Details" die Option Konsole starten.
Melden Sie sich bei der MySQL-Deployment-Konsole der Quelle mit den Administratorzugangsdaten an, die beim Erstellen des Deployments in Aufgabe 1 angegeben wurden.
Fügen Sie einen Change Data Capture Extract hinzu mit den folgenden Werten:
- Extract-Typ: Change Data Capture Extract
- Prozessname: ECDC
- Trailname extrahieren: C1
- Parameterdatei: Ersetzen Sie MAP *.*, TARGET *.*; durch TABLE SRC_OCIGGLL.*;.

Aufgabe 3: Verteilungspfad zum Big Data-Ziel-Deployment erstellen

Wenn Sie den IAM-Zugangsdatenspeicher verwenden, fahren Sie mit Schritt 3 fort. Wenn Sie den GoldenGate-Zugangsdatenspeicher verwenden, erstellen Sie einen Benutzer, mit dem die Quelle GoldenGate eine Verbindung zum GoldenGate-Ziel herstellt.
1. Wählen Sie auf der Seite "Deployments" das Ziel-Big Data-Deployment aus.
2. Wählen Sie auf der Seite "Deployment-Details" die Option Konsole starten aus, und melden Sie sich als Admin-Benutzer an.
3. Wählen Sie im Navigationsmenü der Deployment-Konsole die Option Benutzerverwaltung.
4. Wählen Sie Neuen Benutzer hinzufügen (Plussymbol), füllen die Felder wie folgt auf, und wählen Sie Weiterleiten aus:
  - Geben Sie unter Benutzername ggsnet ein.
  - Wählen Sie unter Rolle die Option Operator aus.
  - Geben Sie das Kennwort zur Bestätigung zweimal ein.
Erstellen Sie in Quell der MySQL-Deployment-Konsole eine Pfadverbindung für den im vorherigen Schritt erstellten Benutzer.
1. Rufen Sie das Navigationsmenü auf, und wählen Sie Pfadverbindung aus.
2. Wählen Sie Pfadverbindung hinzufügen (Plussymbol) aus, füllen Sie die Felder wie folgt aus, und wählen Sie Weiterleiten aus:
  - Geben Sie unter Zugangsdatenalias dpuser ein.
  - Geben Sie unter Benutzer-ID ggsnet ein.
  - Geben Sie unter Kennwort dasselbe Kennwort ein, das im vorherigen Schritt verwendet wird.
Fügen Sie in der Quell-MySQL-Deployment-Konsole einen Verteilungspfad mit den folgenden Werten hinzu:
1. Gehen Sie auf der Seite Quelloptionen wie folgt vor:
  - Wählen Sie unter Quell-Extract den in Aufgabe 2 erstellten Extract.
  - Geben Sie unter Trailname einen aus zwei Zeichen bestehendem Namen wie C1 ein.
2. Gehen Sie auf der Seite Zieloptionen wie folgt vor:
  - Geben Sie unter Zielhost die Hostdomain des Ziel-Deployments an.
  - Geben Sie unter Portnummer 443 ein.
  - Geben Sie unter Trailname einen aus zwei Zeichen bestehendem Namen wie C1 ein.
  - Geben Sie unter Alias den in Schritt 2 erstellten Zugangsdatenalias ein.
Prüfen Sie in der OCI GoldenGate-Big Data-Deployment-Konsole des Ziels den Empfangspfad, der als Ergebnis des Verteilungspfades erstellt wurde:
1. Wählen Sie Empfängerservice aus.
2. Prüfen Sie die Details des Empfangspfades.

Aufgabe 4: Replicat für Amazon Kinesis hinzufügen

Wählen Sie im Big Data-Deployment die Option Replikate, Replicat hinzufügen (Plussymbol) aus.
Fügen Sie ein Replicat hinzu mit den folgenden Werten:
- Wählen Sie für den Replicat-Typ Classic Replicat aus
- Geben Sie unter Prozessname einen Namen ein.
- Geben Sie unter Trailname für Ziel den Namen des Trails aus Aufgabe 2 ein.
- Wählen Sie unter Ziel "Amazon Kinesis" aus.
- Wählen Sie unter Verfügbare Aliasnamen für Amazon Kinesis Ihren Alias aus der Dropdown-Liste aus.
- Bearbeiten Sie auf der Seite "Eigenschaftendatei" die mit #TODO markierten Felder:
  - gg.handler.kinesis.region: Geben Sie die Amazon Web Services-(AWS-)Region für den Ziel-Kinesis-Stream an.
  - gg.handler.kinesis.streamMappingTemplate: Standardmäßig ist es auf ${tableName} gesetzt, wodurch die Streams basierend auf dem Quelltabellennamen zugeordnet werden. Wenn Sie einem vorhandenen Datenstream zuordnen möchten, können Sie statische Streamnamen angeben oder Vorlagenschlüsselwörter verwenden, um Streamnamen dynamisch zuzuweisen.

Aufgabe 5: Datenreplikation von HeatWave zu Amazon Kinesis prüfen

Führen Sie Updates an der HeatWave-Quelldatenbank aus, um die Replikation auf Amazon Kinesis zu prüfen.

Erstellen Sie in OCI Bastion eine SSH-Portweiterleitungssession mit MySQL-IP und port 3306. Fügen Sie den öffentlichen SSH-Schlüssel hinzu.
Stellen Sie mit Ihrem Private Key und port 3306 eine Verbindung zu MySQL in Cloud Shell her.
Führen Sie nach dem erfolgreichen Herstellen einer Verbindung den folgenden Befehl aus:
```
mysqlsh admin@localhost:3306 --sql
```

Führen Sie das folgende Skript aus, um Einfügungen in die HeatWave-Datenbank auszuführen:

use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;

Wählen Sie in der MySQL-Deployment-Konsole der Quelle den Namen für den Change Data Capture Extract (ECDC) aus, und wählen Sie Statistiken aus. Stellen Sie sicher, dass SRC_OCIGGLL.SRC_CITY 10 Insert-Vorgänge enthält.
Wählen Sie in der Ziel-Big Data-Deployment-Konsole den Replicat-Namen und dann Statistiken aus. Stellen Sie sicher, dass SRC_OCIGGLL.SRC_CITY 10 Insert-Vorgänge enthält.
In Amazon Kinesis können Sie die Nachrichten im Zieldatenstream/Daten-Viewer prüfen.