Daten aus der autonomen KI-Transaktionsverarbeitung in Apache Iceberg replizieren

Erfahren Sie, wie Sie Daten aus der autonomen KI-Transaktionsverarbeitung in OCI GoldenGate in Apache Iceberg replizieren.

Bevor Sie beginnen

Um diesen Schnellstart erfolgreich abzuschließen, benötigen Sie:

• Eine autonome KI-Quelltransaktionsverarbeitung

• Eine Apache Iceberg-Zielumgebung:

  • OCI GoldenGate unterstützt Azure Data Lake Storage, Amazon S3 und Google Cloud Storage als Speicherservices für Apache Iceberg-Tabellen.

  • OCI GoldenGate unterstützt Hadoop-, Nessie-, AWS Glue-, Polaris-, REST- und JDBC-Kataloge für Apache Iceberg.

Umgebung eingerichtet: Autonome KI-Transaktionsverarbeitung

Wenn noch keine Quelldatenbank für die Replikation eingerichtet ist, können Sie mit den folgenden Schritten ein Beispielschema laden, das für diesen Schnellstart verwendet werden soll. Dieser Schnellstart verwendet die autonome KI-Transaktionsverarbeitung für die Quelldatenbank.

So richten Sie die autonome KI-Quelltransaktionsverarbeitung ein:

1. Laden Sie das Beispieldatenbankschema herunter, und dekomprimieren Sie es.

2. Wählen Sie in der Oracle Cloud-Konsole Ihre Autonomous AI Transaction Processing-(ATP-)Instanz auf der Seite "Autonome KI-Datenbanken" aus, um ihre Details anzuzeigen und auf Database Actions zuzugreifen.

3. Entsperren Sie den GGADMIN-Benutzer:

   1. Wählen Sie Database actions aus, und wählen Sie Database Users aus.

   2. Suchen Sie GGADMIN, und wählen Sie das zugehörige Auslassungsmenü (drei Punkte) aus, und wählen Sie Bearbeiten aus.

   3. Geben Sie im Bereich "Benutzer bearbeiten" das GGADMIN-Passwort ein, bestätigen Sie das Passwort, und heben Sie die Auswahl von Account ist gesperrt auf.

   4. Wählen Sie Apply Changes aus.

4. Laden Sie die Beispielschemas und -daten der Quelle:

   1. Wählen Sie im Menü "Datenbankaktionen" unter "Entwicklung" die Option SQL aus.

   2. Kopieren Sie das Skript von OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql, und fügen Sie das Skript in das SQL-Arbeitsblatt hinzu.

   3. Wählen Sie Skript ausführen aus. Auf der Registerkarte "Skriptausgabe" werden Bestätigungsmeldungen angezeigt.

   4. Löschen Sie das SQL-Arbeitsblatt, kopieren Sie das SQL-Skript aus OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql., und fügen Sie es ein.

      Tipp: Möglicherweise müssen die einzelnen Anweisungen separat ausgeführt werden, damit das SQL-Tool die Skripte erfolgreich ausführen konnte.

   5. Um zu prüfen, ob die Tabellen erfolgreich erstellt wurden, schließen Sie das SQL-Fenster, und öffnen Sie es erneut. Suchen Sie in der Registerkarte "Navigator" nach dem Schema SRC_OCIGGLL, und wählen Sie dann Tabellen aus dem entsprechenden Dropdown-Listen.

5. Aktivieren Sie zusätzliches Logging:

   1. Leeren Sie das SQL-Arbeitsblatt.

   2. Geben Sie die folgende Anweisung ein, und wählen Sie Anweisung ausführen aus:

      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

Aufgabe 1: Ressourcen erstellen

Für dieses Schnellstartbeispiel sind Deployments und Verbindungen sowohl für die Quelle als auch für das Ziel erforderlich.

1. Erstellen Sie ein Oracle-Deployment für die Autonomous AI Transaction Processing-Quellinstanz.

2. Erstellen Sie ein Big Data-Deployment für das Apache Iceberg-Ziel.

3. Autonome AI-Transaktionsverarbeitungsverbindung erstellen.

4. Apache Iceberg-Verbindung erstellen.

5. Erstellen Sie eine GoldenGate-Serververbindung, und weisen Sie sie dem Oracle-Deployment zu.

6. Weisen Sie die autonome KI-Transaktionsverarbeitungsverbindung dem Oracle-Deployment zu.

7. Weisen sie die Apache Iceberg-Verbindung zum Big Data-Deployment zu.

Aufgabe 2: Extract hinzufügen

1. Wählen Sie auf der Seite "Deployments" das Autonomous AI Transaction Processing-Quell-Deployment.

2. Wählen Sie auf der Seite "Deployment-Details" die Option Konsole starten.

3. Melden Sie sich mit dem Benutzernamen und Kennwort des Quell-Deployment-Administrators an.

4. Fügen Sie einen Extract hinzu.

Aufgabe 3: Verteilungspfad hinzufügen und ausführen

1. Wenn Sie den GoldenGate-Zugangsdatenspeicher verwenden, erstellen Sie einen Benutzer für den Verteilungspfad im Big Data-Deployment des Ziels, oder fahren Sie mit Schritt 3 fort.

2. Fügen Sie in der GoldenGate-Deployment-Konsole der Quelle eine Pfadverbindung für den in Schritt 1 erstellten Benutzer hinzu.

   1. Wählen Sie in der GoldenGate-Deployment-Konsole der Quelle in der linken Navigationsleiste Pfadverbindungen aus.

   2. Wählen Sie Pfadverbindung hinzufügen (Plussymbol), und führen Sie die folgenden Schritte aus:

      1. Geben Sie unter Zugangsdatenalias GGSNetwork ein.

      2. Geben Sie unter Benutzer-ID den Namen des in Schritt 1 erstellten Benutzers an.

      3. Geben Sie das Kennwort des Benutzers zur Bestätigung zweimal ein.

   3. Klicken Sie auf Weiterleiten.

      Die Pfadverbindung wird in der Liste "Pfadverbindungen" angezeigt.

3. Fügen Sie in der Quell-Deployment-Konsole einen Verteilungspfad mit den folgenden Werten hinzu:

   1. Gehen Sie auf der Seite Quelloptionen wie folgt vor:

      • Wählen Sie unter Quell-Extract den in Aufgabe 2 erstellten Extract.

      • Geben Sie unter Trailname einen aus zwei Zeichen bestehendem Namen wie E1 ein.

   2. Gehen Sie auf der Seite Zieloptionen wie folgt vor:

      • Geben Sie unter Zielhost die Hostdomain des Ziel-Deployments an.

      • Geben Sie unter Portnummer 443 ein.

      • Geben Sie unter Trailname einen aus zwei Zeichen bestehendem Namen wie E1 ein.

      • Geben Sie unter Alias den in Schritt 2 erstellten Zugangsdatenalias ein.

4. Prüfen Sie in der Big Data-Deployment-Konsole des Ziels den Empfangspfad, der als Ergebnis des Verteilungspfades erstellt wurde.

   1. Wählen Sie in der Big Data-Zielbereitstellungskonsole die Option Receiver Service aus.

   2. Prüfen Sie die Pfaddetails. Dieser Pfad wurde als Ergebnis des im vorherigen Schritt erstellten Verteilungspfads erstellt.

Aufgabe 4: Replicat hinzufügen und ausführen

So fügen Sie ein Replicat hinzu und führen es aus:

1. Wählen Sie im Navigationsmenü der Ziel-Big Data-Deployment-Konsole Replikate, Replicat hinzufügen (Plussymbol) aus.

2. Füllen Sie im Bereich "Replicat hinzufügen" auf der Seite Replicat-Informationen die Felder nach Bedarf aus, und wählen Sie Weiter aus:

   • Wählen Sie unter Replikattyp die Option "Klassisches Replicat" aus

   • Geben Sie einen Prozessnamen ein, der nicht länger als 5 Zeichen ist.

   • Geben Sie eine Beschreibung ein, um diesen Prozess von anderen zu unterscheiden.

3. Füllen Sie auf der Seite Replikationsoptionen die Felder nach Bedarf aus, und wählen Sie Weiter aus:

   1. Geben Sie unter Replicat-Trail den Extract-Trailnamen ein.

   2. Wählen Sie unter Ziel die Option Apache Iceberg aus.

   3. Wählen Sie unter Format das Format aus, das Sie in Apache Iceberg aufnehmen möchten. Die Standardeinstellung ist "Parkett".

   4. Wählen Sie unter Verfügbarer Alias in der Dropdown-Liste die Apache Iceberg-Verbindung aus.

4. Übernehmen Sie auf der Seite "Verwaltete Optionen" die Standardeinstellungen, und wählen Sie Weiter aus.

5. Behalten Sie auf der Seite "Replicat-Parameter" die Standardeinstellungen bei, und wählen Sie Weiter aus.

6. Aktualisieren Sie auf der Seite "Replicat-Eigenschaften" die markierten Felder TODO, und wählen Sie Erstellen und ausführen aus.

   Weitere Informationen finden Sie unter Details zum Apache Iceberg-Ziel.

Aufgabe 5: Replikation prüfen

Um die Replikation zu prüfen, führen Sie Updates für die ATP-Quellinstanz aus.

1. Öffnen Sie in der Oracle Cloud-Konsole das Navigationsmenü, wählen Sie Oracle AI Database aus, und wählen Sie Autonomous AI Transaction Processing aus.

2. Wählen Sie in der Liste der Autonomous AI Transaction Processing-Instanzen Ihre Quellinstanz aus, um deren Details anzuzeigen.

3. Wählen Sie auf der Seite "Datenbankdetails" die Option Datenbankaktionen aus.

   Hinweis: Die Anmeldung sollte automatisch erfolgen. Andernfalls melden Sie sich mit den Datenbankzugangsdaten an.

4. Wählen Sie auf der Homepage von Database Actions die Option SQL aus.

5. Geben Sie Folgendes in das Arbeitsblatt ein und wählen Sie Skript ausführen.

   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

6. Wählen Sie in der Deployment-Konsole der ATP-Quelle den Extract-Namen und dann Statistiken aus. Stellen Sie sicher, dass SRC_OCIGGLL.SRC_CITY 10 Insert-Vorgänge vorhanden sind.

7. Wählen Sie in der Ziel-Big Data-OCI GoldenGate-Deployment-Konsole den Replicat-Namen aus, und wählen Sie Statistiken aus. Stellen Sie sicher, dass SRC_OCIGGLL.SRC_CITY 10 Insert-Vorgänge vorhanden sind.

8. Navigieren Sie in der Oracle Cloud-Konsole zum Oracle Object Storage-Bucket, und prüfen Sie dessen Inhalt.