Daten von HeatWave auf OCI in Autonomous AI Lakehouse replizieren

Erfahren Sie, wie Sie mit OCI GoldenGate Daten von HeatWave auf OCI in Autonomous AI Lakehouse replizieren.

Bevor Sie beginnen

Um diesen Schnellstart erfolgreich abzuschließen, benötigen Sie Folgendes:

• OCI Bastion, um eine Verbindung zu HeatWave auf OCI herzustellen, die Beispieldatenbank zum Laden und Einfügevorgänge auszuführen

• Eine HeatWave auf OCI-Datenbank, die als Quelldatenbank dienen soll

• Eine Autonomous AI Lakehouse-Instanz, die als Zieldatenbank dient

Umgebung eingerichtet: HeatWave auf OCI

So richten Sie die Umgebung für diesen Schnellstart ein:

1. Herunterladen Sie das Beispieldatenskript, und führen Sie das Skript in der OCI-Datenbank HeatWave aus, um die Datenbank zu erstellen und die Daten zum Laden zu laden.

2. Erstellen Sie einen ggadmin-Benutzer mit dem folgenden Skript. Ersetzen Sie <ggadmin-password> durch ein gültiges Kennwort:

   CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
   GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';

3. Öffnen Sie port 3306, über die OCI GoldenGate Verbindung herstellen kann.

   1. Suchen Sie in der Oracle Cloud-Konsole das Subnetz, das von der HeatWave-auf-OCI-Datenbank verwendet werden soll.

   2. Erstellen Sie in der Sicherheitsliste des Subnetzes eine Ingress-Regel für port TCP/3306.

4. Herunterladen Sie die Zielschemaskripte, und führen Sie die Skripte in der Autonomous AI Lakehouse-Instanz aus. So können Sie das Schema und die Tabellen erstellen. Mit dem SQL-Tool für Autonomous AI Lakehouse Database Actions können Sie die Skripte ausführen:

   1. Öffnen Sie in der Oracle Cloud-Konsole die Detailseite der Autonomous AI Lakehouse-Datenbank, und wählen Sie Database Actions aus.

   2. Wählen Sie unter Entwicklung in Database Actions die Option SQL aus.

   3. Kopieren Sie im SQL-Tool das Skript aus OCIGGLL_OCIGGS_SETUP_USERS_ADW.sql, und fügen sie es in das SQL-Arbeitsblatt ein. Wählen Sie dann Skript ausführen aus. Wenn der Vorgang erfolgreich war, werden auf der Registerkarte "Skriptausgabe" Bestätigungsmeldungen angezeigt.

   4. Löschen Sie das SQL-Arbeitsblatt, kopieren Sie die Skripte zum Erstellen von Tabellen aus OCIGGLL_OCIGGS_SRC_MIRROR_USER_SEED_DATA.sql, und fügen Sie sie ein. Die Daten werden in eine spätere Aufgabe geladen.

      Tipp: Sie müssen möglicherweise jede Anweisung zum Erstellen der Tabelle separat ausführen, sodass das SQL-Tool die Skripte erfolgreich ausführen konnte.

   5. Um zu prüfen, ob die Tabellen erfolgreich erstellt wurden, schließen Sie das SQL-Fenster, und öffnen Sie es erneut. Suchen Sie auf der Registerkarte "Navigator" nach dem Schema SRC_OCIGGLL, und wählen Sie die Tabellen in den entsprechenden Dropdown-Listen aus.

Aufgabe 1: OCI GoldenGate-Ressourcen erstellen

Für dieses Schnellstartbeispiel sind Deployments und Verbindungen sowohl für die Quelle als auch für das Ziel erforderlich.

1. Erstellen Sie ein Deployment für die HeatWave-Quelldatenbank auf OCI-Datenbank.

2. Erstellen Sie ein Deployment für das Autonomous AI Lakehouse-Ziel.

3. Erstellen Sie eine Verbindung zur HeatWave-Quelldatenbank auf OCI.

4. Verbindung für das Ziel-Autonomous AI Lakehouse erstellen.

5. Erstellen Sie eine Verbindung zu GoldenGate, und weisen Sie diese Verbindung dem MySQL-Quell-Deployment zu.

6. Weisen sie die Quellverbindung dem MySQL-Quell-Deployment zu.

7. Weisen sie die Zielverbindung dem Oracle-Ziel-Deployment zu.

Aufgabe 2: Extracts erstellen

1. Wählen Sie auf der Seite "Deployments" das MySQL-Deployment aus, das Sie in Aufgabe 1 erstellt haben.

2. Wählen Sie auf der Seite "Deployment-Details" die Option Konsole starten.

3. Melden Sie sich bei der MySQL-Deployment-Konsole der Quelle mit den Administratorzugangsdaten an, die beim Erstellen des Deployments in Aufgabe 1 angegeben wurden.

4. Wählen Sie im Navigationsmenü DB-Verbindungen aus.

5. Prüfen Sie die Zugangsdaten für die HeatWave-On-OCI-Verbindung. Notieren Sie sich die Domain und den Alias.

6. Fügen Sie einen Change Data Capture Extract hinzu, und führen Sie ihn aus mit den folgenden Werten:

   • Wählen Sie unter Extrakttyp die Option Datenerfassung ändern aus.

   • Geben Sie unter Prozessname einen Namen für den Extract-Prozess ein.

   • Wählen Sie unter Domain die Domain aus.

   • Wählen Sie unter Alias den Alias aus.

   • Geben Sie unter Extract-Trailname einen Namen für die Traildatei ein.

   • Fügen Sie auf der Seite "Parameterdatei" Folgendes hinzu:

     TABLE SRC_OCIGGLL.*;

7. Erstmaligen Ladeextrakt hinzufügen und ausführen mit den folgenden Werten:

   • Wählen Sie unter Extract-Typ die Option Initial Load Extract aus.

   • Geben Sie unter Prozessname einen Namen ein.

   • Fügen Sie auf der Seite "Parameterdatei" Folgendes hinzu:

     TABLE SRC_OCIGGLL.*;

Aufgabe 3: Verteilungspfad für den Extrakt der erstmaligen Ladung erstellen

1. Wählen Sie auf der Seite "Deployments" das Deployment der autonomen KI-Zieldatenbank aus.

2. Wählen Sie auf der Seite "Deployment-Details" die Option Konsole starten aus, und melden Sie sich als Admin-Benutzer an.

3. Wenn Sie den IAM-Zugangsdatenspeicher verwenden, fahren Sie mit dem Schritt "Verteilungspfad erstellen" fort. Wenn Sie den GoldenGate-Zugangsdatenspeicher verwenden, erstellen Sie einen Benutzer, mit dem die Quelle GoldenGate eine Verbindung zum GoldenGate-Ziel herstellt.

   1. Wählen Sie im Navigationsmenü die Option Benutzeradministration aus.

   2. Wählen Sie Neuen Benutzer hinzufügen (Plussymbol), füllen die Felder wie folgt auf, und wählen Sie Weiterleiten aus:

      • Geben Sie unter Benutzername ggsnet ein.

      • Wählen Sie unter Rolle die Option Operator aus.

      • Geben Sie das Kennwort zur Bestätigung zweimal ein.

4. Erstellen Sie in Quell der MySQL-Deployment-Konsole eine Pfadverbindung für den im vorherigen Schritt erstellten Benutzer.

   1. Wählen Sie im Navigationsmenü die Option Pfadverbindungen aus.

   2. Wählen Sie Pfadverbindung hinzufügen (Plussymbol), füllen Sie die Felder wie folgt aus, und wählen Sie Weiterleiten aus:

      • Geben Sie als Zugangsdatenalias dpuser ein.

      • Geben Sie unter "Benutzer-ID" ggsnet ein.

      • Geben Sie unter "Kennwort" dasselbe Kennwort ein, das im vorherigen Schritt verwendet wurde.

5. Verteilungspfad erstellen.

   1. Wählen Sie in der Servicemenüleiste die Option Verteilungsservice und dann Verteilungspfad hinzufügen (Plussymbol).

   2. Füllen Sie das Formular "Pfad hinzufügen" wie folgt aus:

      • Gehen Sie auf der Seite "Pfadinformationen" wie folgt vor:

        1. Geben Sie unter Pfadname einen Namen für diesen Pfad an.

        2. Wählen Sie Weiter.

      • Gehen Sie auf der Seite {\b Source Options} wie folgt vor:

        1. Geben Sie unter Quellextrakt keinen Wert ein.

        2. Geben Sie unter Trailname den Trailnamen für den Extract des erstmaligen Ladens (I1) ein.

        3. Wählen Sie Weiter.

      • Gehen Sie auf der Seite "Zieloptionen" wie folgt vor:

        1. Wählen Sie unter Ziel die Option wss aus.

        2. Geben Sie unter Zielhost die Ziel-Deployment-URL ohne https:// oder abschließende Schrägstriche an.

        3. Geben Sie unter Portnummer 443 ein.

        4. Geben Sie unter Trailname I1 ein.

        5. Wählen Sie unter Zielauthentifizierungsmethode die Option UserID-Alias.

        6. Geben Sie unter Domain den Domainnamen an, der im vorherigen Schritt erstellt wurde.

        7. Geben Sie unter Alias den im vorherigen Schritt erstellten Alias ein (dpuser).

        8. Wählen Sie Weiter.

   3. Wählen Sie Erstellen und ausführen aus.

   Sie kehren zur Seite "Verteilungsservice" zurück, auf der Sie den erstellten Pfad prüfen können.

6. Verteilungspfad prüfen:

   1. Wählen Sie Empfängerservice aus.

   2. Prüfen Sie die Verteilungspfaddetails.

Aufgabe 4: Replicat für den erstmaligen Ladungsextrakt hinzufügen

1. Fügen Sie in der OCI GoldenGate-Deployment-Konsole des Ziels eine Checkpoint-Tabelle hinzu.

   1. Öffnen Sie das Navigationsmenü und wählen Sie DB-Verbindungen aus.

   2. Wählen Sie Verbindung zur Datenbank herstellen aus.

   3. Wählen Sie im Navigationsmenü die Option Checkpoint aus.

   4. Wählen Sie auf der Seite "Checkpoint" die Option Checkpoint hinzufügen (Plussymbol).

   5. Geben Sie unter Checkpoint-Tabelle SRCMIRROR_OCIGGLL.CHECKTABLE ein.

   6. Klicken Sie auf Weiterleiten.

      Tipp: Der Bildschirm wird beim Weiterleiten nicht aktualisiert. Um zu prüfen, ob die Checkpoint-Tabelle hinzugefügt wurde, geben Sie SRCMIRROR_OCIGGLL.CHECKTABLE in das Suchfeld ein und wählen Suchen aus.

2. Fügen Sie das Replicat hinzu:

   1. Wählen Sie Administratorservice und dann Replicat hinzufügen (Plussymbol).

   2. Füllen Sie auf der Seite "Replicat hinzufügen" die folgenden Formularfelder aus, und wählen Sie Weiter aus.

      • Wählen Sie als Replicat-Typ Nicht integriertes Replicat aus.

      • Geben Sie unter Prozessname einen Namen wie RIL ein.

   3. Füllen Sie auf der Seite "Replicat-Optionen" die folgenden Formularfelder aus, und wählen Sie Weiter aus:

      • Geben Sie unter Name den Namen des Trails aus Aufgabe 2 (I1) ein.

      • Wählen Sie unter Domain die Domain für die autonome AI-Datenbankverbindung aus.

      • Wählen Sie unter Alias den Alias der autonomen AI-Datenbankverbindung aus.

      • Wählen Sie unter Checkpoint-Tabelle die Checkpoint-Tabelle aus, die Sie in Schritt 1 erstellt haben.

   4. Behalten Sie die Felder auf der Seite "Verwaltete Optionen" bei, und wählen Sie Weiter aus.

   5. Fügen Sie auf der Seite "Replicat-Parameter" die folgende Zuordnung hinzu, und wählen Sie Erstellen und ausführen aus:

      MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;

   Sie kehren zur Seite "Überblick" zurück, auf der Sie die Replicat-Details prüfen können.

3. Wählen Sie das Replicat (RIL) aus, und zeigen Sie die zugehörigen Details an.

4. Wählen Sie Statistiken aus, und prüfen Sie die Anzahl der Einfügevorgänge. Aktualisieren Sie die Seite.

   • Wenn sich die Anzahl der Einfügevorgänge nicht ändert, wurden alle Datensätze aus der erstmaligen Ladung geladen, und Sie können das Replicat (RIL) stoppen

   • Wenn die Anzahl der Einfügevorgänge weiter zunimmt, aktualisieren Sie die Seite so lange, bis alle Datensätze der erstmaligen Ladung geladen sind, bevor Sie fortfahren.

Aufgabe 5: Erstmalige Ladung prüfen

1. Öffnen Sie in der Oracle Cloud-Konsole auf der Seite "Details" der Autonomous AI Lakehouse-Datenbank die Datenbankaktionen.

2. Wählen Sie unter Entwicklung in Database Actions die Option SQL aus.

3. Geben Sie im SQL-Tool jede der folgenden Anweisungen in das Arbeitsblatt ein, und wählen Sie Anweisung ausführen:

   SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CITY;
   SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CUSTOMER;

Die Ausgabe sollte die Daten zurückgeben, die als Ergebnis des erstmaligen Ladevorgangs in die Zieldatenbanktabellen geladen wurden.

Aufgabe 6: Verteilungspfad für Change Data Capture erstellen

1. Wählen Sie in der Quell-Deployment-Konsole die Option Verteilungsservice aus.

2. Wählen Sie Verteilungspfad hinzufügen aus.

3. Füllen Sie das Formular "Pfad hinzufügen" wie folgt aus:

   1. Gehen Sie auf der Seite "Pfadinformationen" wie folgt vor:

      1. Geben Sie unter Pfadname einen Namen ein.

      2. Wählen Sie Weiter.

   2. Gehen Sie auf der Seite {\b Source Options} wie folgt vor:

      1. Wählen Sie unter Quellextrakt den Change Data Capture Extract (ECDC) aus.

      2. Wählen Sie unter Trailname die Traildatei für den Change Data Capture-Extrakt (C1).

      3. Wählen Sie Weiter.

   3. Gehen Sie auf der Seite "Zieloptionen" wie folgt vor:

      1. Wählen Sie unter Ziel die Option wss aus.

      2. Geben Sie unter Zielhost die Ziel-Deployment-Konsolen-URL ein (Sie finden diese auf der Seite mit den Deployment-Details ohne https:// oder abschließende Schrägstriche).

      3. Geben Sie unter Portnummer 443 ein.

      4. Geben Sie unter Trailname C1 ein.

      5. Wählen Sie unter Zielauthentifizierungsmethode die Option UserID-Alias.

      6. Geben Sie unter Domain den Domainnamen ein.

      7. Geben Sie unter Alias den Alias ein.

   4. Wählen Sie Pfad erstellen und ausführen aus.

4. Wählen Sie in der Ziel-Deployment-Konsole den Empfangsservice aus, und prüfen Sie den erstellten Empfangspfad.

Aufgabe 7: Replicat für Change Data Capture hinzufügen

1. Fügen Sie das Replicat mit den folgenden Werten hinzu:

   1. Auf der Seite "Replicat-Informationen":

      • Wählen Sie unter Replikattyp die Option Koordiniertes Replicat aus.

      • Geben Sie unter Prozessname einen Namen wie RCDC ein.

   2. Gehen Sie auf der Seite {\b Replicat Options} wie folgt vor:

      • Geben Sie unter Replicat-Trail den Namen des Trails aus Aufgabe 2 (C1) ein.

      • Wählen Sie unter Domain die Domain für die autonome AI-Datenbankverbindung aus.

      • Geben Sie unter Alias den Zugangsdatenalias ein.

      • Wählen Sie unter Checkpoint-Tabelle die Checkpoint-Tabelle aus, die Sie erstellt haben.

   3. Fügen Sie auf der Seite "Replicat-Parameter" die folgende Zuordnung hinzu, und wählen Sie Erstellen und ausführen aus:

      MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;

2. Wählen Sie auf der Seite "Überblick" des Administrationsservice das Replicat des erstmaligen Ladens (RIL) aus, und zeigen Sie die zugehörigen Details an.

3. Wählen Sie Statistiken aus, und prüfen Sie die Anzahl der Einfügevorgänge. Aktualisieren Sie die Seite.

   • Wenn sich die Anzahl der Einfügevorgänge nicht ändert, wurden alle Datensätze aus der erstmaligen Ladung geladen. Sie können das Replicat (RIL) stoppen.

   • Wenn die Anzahl der Einfügevorgänge weiter zunimmt, aktualisieren Sie die Seite so lange, bis alle Datensätze der erstmaligen Ladung geladen sind, bevor Sie fortfahren.

4. Kehren Sie zur Seite {\b Administration Service Overview} zurück, und starten Sie dann das RCDC (Coordinated Replicat).

5. Nachdem Sie das koordinierte Replicat gestartet haben, prüfen Sie seine Details und Statistiken, um die Anzahl der Einfügevorgänge anzuzeigen.

Aufgabe 8: Change Data Capture prüfen

Führen Sie Updates an der Quell-HeatWave auf der OCI-Datenbank aus, um die Replikation auf Autonomous AI Lakehouse zu prüfen.

1. Erstellen Sie in OCI Bastion eine SSH-Portweiterleitungssession mit der IP von MySQL und Port 3306. Fügen Sie den öffentlichen SSH-Schlüssel hinzu.

2. Stellen Sie mit Ihrem Private Key und Port 3306 eine Verbindung zu MySQL in Cloud-Shell her.

3. Führen Sie nach dem erfolgreichen Herstellen einer Verbindung den folgenden Befehl aus:

   mysqlsh admin@localhost:3306 --sql

4. Führen Sie das folgende Skript aus, um Einfügungen in die HeatWave-Datenbank auf OCI auszuführen:

   use SRC_OCIGGLL;
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
   commit;

5. Wählen Sie in der MySQL-Deployment-Konsole der Quelle den Namen für den Change Data Capture Extract aus, und wählen Sie Statistiken aus. Stellen Sie sicher, dass SRC_OCIGGLL.SRC_CITY 10 Insert-Vorgänge vorhanden sind.

Hinweis: Wenn der Extract keine Einfügevorgänge erfasst hat, starten Sie den Extract neu.

Aufgabe 9: Prozesse überwachen und verwalten

1. Überwachen Sie den Replikationsprozess.

2. Traildateien verwalten.