Daten aus HeatWave an Azure Event Hubs senden

Erfahren Sie, wie Sie mit OCI GoldenGate Daten von HeatWave in Azure Event Hubs replizieren.

Bevor Sie beginnen

Um diesen Schnellstart erfolgreich abzuschließen, benötigen Sie Folgendes:

  • OCI Bastion, um eine Verbindung zur HeatWave-Datenbank herzustellen, die Beispieldatenbank zu laden und Einfügungen auszuführen.
  • Eine HeatWave-Datenbank, die als Quelldatenbank verwendet werden soll.
  • Ein Azure Event Hubs-Namespace und ein Event Hub erstellt

    Hinweis:

    Kafka Surface ist in der Azure Event Hubs Basic Tier nicht aktiviert. Standard- oder Prämienstufe ist erforderlich.

Einrichten der Umgebung: HeatWave

So richten Sie die Umgebung für diesen Schnellstart ein:
  1. Herunterladen Sie das Beispieldatenskript, und führen Sie das Skript in der HeatWave-Datenbank aus, um die Datenbank zu erstellen und die Daten zu laden.
  2. Erstellen Sie einen ggadmin-Benutzer mit dem folgenden Skript. Ersetzen Sie <ggadmin-password> durch ein gültiges Kennwort:
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. Öffnen Sie port 3306, über die OCI GoldenGate eine Verbindung herstellen kann.
    1. Suchen Sie in der Oracle Cloud-Konsole das Subnetz, das von der HeatWave-Datenbank verwendet wird.
    2. Erstellen Sie in der Sicherheitsliste des Subnetzes eine Ingress-Regel für port TCP/3306.

Aufgabe 1: OCI GoldenGate-Ressourcen erstellen

  1. Erstellen Sie ein MySQL-Deployment für die Quelldatenbank HeatWave.
  2. Erstellen Sie ein Big Data-Deployment für die Azure-Ereignishubs-Ziele.
  3. Erstellen Sie eine Verbindung zur MySQL Heatwave-Quelldatenbank.
  4. Verbindung zu Azure Event Hubs erstellen.
  5. Erstellen Sie eine Verbindung zu GoldenGate, und weisen Sie diese Verbindung dem Deployment der Quelle MySQL zu.
  6. Weisen Sie die Quellverbindung dem MySQL-Quell-Deployment zu.
  7. Weisen Sie die Zielverbindung dem Big Data-Ziel-Deployment zu.

Aufgabe 2: Extract erstellen

  1. Wählen Sie auf der Seite "Deployments" das MySQL-Deployment aus, das Sie in Aufgabe 1 erstellt haben.
  2. Klicken Sie auf der Seite "Deployment" auf Konsole starten.
  3. Melden Sie sich bei der MySQL-Deployment-Konsole der Quelle mit den Administratorzugangsdaten an, die beim Erstellen des Deployments in Aufgabe 1 angegeben wurden.
  4. Fügen Sie eine Change Data Capture Extract mit den folgenden Werten hinzu:
    • Extract-Typ: Change Data Capture Extract
    • Prozessname: ECDC
    • Extract Trail-Name: C1
    • Parameterdatei: Ersetzen Sie MAP *.*, TARGET *.*; durch TABLE SRC_OCIGGLL.*;

Aufgabe 3: Distribution Path für das Big Data-Ziel-Deployment erstellen

  1. Wenn Sie den IAM-Zugangsdatenspeicher verwenden, fahren Sie mit Schritt 3 fort. Wenn Sie den Zugangsdatenspeicher GoldenGate verwenden, erstellen Sie einen Benutzer, mit dem die Quelle GoldenGate eine Verbindung zum Ziel GoldenGate herstellt.
    1. Wählen Sie auf der Seite "Deployment" das Big Data-Deployment Ziel aus.
    2. Klicken Sie auf der Seite "Deployment" auf Konsole starten, und melden Sie sich als Admin-Benutzer an.
    3. Klicken Sie im Navigationsmenü der Deployment-Konsole auf Benutzeradministration.
    4. Klicken Sie wie folgt auf Neuen Benutzer hinzufügen (Pluszeichen), füllen Sie die Felder aus, und klicken Sie auf Weiterleiten:
      • Geben Sie unter Benutzername ggsnet ein.
      • Wählen Sie unter Rolle die Option Operator aus.
      • Geben Sie das Kennwort zur Bestätigung zweimal ein.
  2. Erstellen Sie in der Deployment-Konsole Quelle MySQL eine Path Connection für den im vorherigen Schritt erstellten Benutzer.
    1. Öffnen Sie das Navigationsmenü, und klicken Sie auf Path Connection.
    2. Klicken Sie auf Path Connection hinzufügen (Pluszeichen), füllen Sie die Felder wie folgt aus, und klicken Sie auf Weiterleiten:
      • Geben Sie unter Credential-Alias dpuser ein.
      • Geben Sie unter Benutzer-ID ggsnet ein.
      • Geben Sie unter Kennwort dasselbe Kennwort ein, das im vorherigen Schritt verwendet wurde.
  3. Fügen Sie in der Deployment-Konsole Quelle MySQL eine Distribution Path mit den folgenden Werten hinzu:
    1. Auf der Seite Quelloptionen:
      • Wählen Sie unter Quelle Extract den in Aufgabe 2 erstellten Extract aus.
      • Geben Sie unter Trailname einen Namen aus zwei Zeichen wie C1 ein.
    2. Auf der Seite Zieloptionen:
      • Geben Sie unter Zielhost die Hostdomain des Ziel-Deployment ein.
      • Geben Sie unter Portnummer die Nummer 443 ein.
      • Geben Sie unter Trailname einen Namen aus zwei Zeichen wie C1 ein.
      • Geben Sie unter Alias den in Schritt 2 erstellten Zugangsdatenalias ein.
  4. Prüfen Sie in der Big Data-Deployment-Konsole von OCI GoldenGate des Ziels die Receiver path, die als Ergebnis der Distribution Path erstellt wurde:
    1. Klicken Sie auf Receiver Service.
    2. Prüfen Sie die Details von Receiver path.

Aufgabe 4: Replicat für Azure-Ereignishubs hinzufügen

  1. Klicken Sie im Big Data-Deployment auf Administrator Service und dann auf Replicat hinzufügen (Pluszeichen).
  2. Fügen Sie eine Replicat mit den folgenden Werten hinzu:
    1. Wählen Sie auf der Seite Replicat-Informationen unter dem Typ Replicat die Option Classic Replicat aus, und geben Sie einen Prozessnamen ein.
    2. Auf der Seite Replicat Optionen:
      • Geben Sie unter Trailname den Trailnamen aus Aufgabe 2 ein.
      • Wählen Sie unter Ziel eine Azure-Ereignishubs aus.
      • Wählen Sie unter Alias die in Aufgabe 1 erstellte Azure Event Hubs-Verbindung aus.
    3. Behalten Sie auf der Seite Replicat "Parameter" den Standardwert bei.
    4. Geben Sie auf der Seite "Eigenschaftendatei" einen Themennamen für topicMappingTemplate an.
    5. Klicken Sie auf Erstellen und ausführen.

Aufgabe 5: Datenreplikation von HeatWave in Azure Event Hubs prüfen

Führen Sie Updates für die Quelldatenbank HeatWave aus, um die Replikation in Azure Event Hubs zu prüfen.
  1. Erstellen Sie in OCI Bastion eine SSH-Portweiterleitungssession mit der IP von MySQL und port 3306. Fügen Sie den öffentlichen SSH-Schlüssel hinzu.
  2. Stellen Sie mit Ihrem Private Key und port 3306 eine Verbindung zu MySQL in Cloud Shell her.
  3. Führen Sie nach dem erfolgreichen Herstellen einer Verbindung den folgenden Befehl aus:
    mysqlsh admin@localhost:3306 --sql
  4. Führen Sie das folgende Skript aus, um Einfügungen in die HeatWave-Datenbank auszuführen:
    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;
  5. Wählen Sie in der Deployment-Konsole der Quelle MySQL den Namen Change Data Capture Extract aus, und klicken Sie auf Statistiken. Stellen Sie sicher, dass unter SRC_OCIGGLL.SRC_CITY 10 Beilagen vorhanden sind.
  6. Wählen Sie in der Big Data-Ziel-Deployment-Konsole den Namen Replicat aus, und klicken Sie auf Statistiken. Stellen Sie sicher, dass unter SRC_OCIGGLL.SRC_CITY 10 Beilagen vorhanden sind.
  7. In Azure Event Hubs können Sie die Nachrichtenstatistiken prüfen.