Daten von Autonomous Transaction Processing in Confluent Kafka replizieren

Dieser Schnellstart zeigt, wie Sie mit OCI GoldenGate Daten von Autonomous Transaction Processing in Confluent Kafka replizieren.

Bevor Sie beginnen

Um diesen Schnellstart erfolgreich abzuschließen, benötigen Sie Folgendes:

  • Eine Autonomous Transaction Processing-Quellinstanz.
  • Eine Confluent Platform-Instanz.

Einrichtung der Umgebung: Autonomous Transaction Processing

Wenn noch keine Quelldatenbank für die Replikation eingerichtet ist, können Sie mit den folgenden Schritten ein Beispielschema laden, das für diesen Schnellstart verwendet werden soll. Dieser Schnellstart verwendet Autonomous Transaction Processing für die Quelldatenbank.

So richten Sie die autonome Quelldatenbank ein:

  1. Laden Sie das Beispieldatenbankschema herunter, und dekomprimieren Sie es.
  2. Wählen Sie in der Oracle Cloud-Konsole auf der Seite für autonome Datenbanken die Autonomous Transaction Processing-(ATP-)Instanz aus, um die zugehörigen Details anzuzeigen und auf Database Actions zuzugreifen.
  3. Sperre des GGADMIN-Benutzers aufheben:
    1. Klicken Sie auf Datenbankaktionen und dann auf Datenbankbenutzer.
    2. Suchen Sie GGADMIN, klicken Sie dann auf das zugehörige Auslassungsmenü (drei Punkte), und wählen Sie Bearbeiten aus.
    3. Geben Sie im Bereich "Benutzer bearbeiten" das GGADMIN-Kennwort ein, bestätigen Sie es, und heben Sie die Auswahl von Account ist gesperrt auf.
    4. Klicken Sie auf Änderungen anwenden.
  4. Laden Sie das Beispielschema und die Daten der Quelle:
    1. Wählen Sie im Menü "Datenbankaktionen" unter "Entwicklung" die Option SQL aus.
    2. Kopieren Sie das Skript von OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql, und fügen Sie es in das SQL-Arbeitsblatt ein.
    3. Klicken Sie auf Skript ausführen. Auf der Registerkarte "Skriptausgabe" werden Bestätigungsmeldungen angezeigt.
    4. Löschen Sie das SQL-Arbeitsblatt, kopieren Sie das SQL-Skript von OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql., und fügen Sie es ein.

      Tipp:

      Möglicherweise müssen Sie jede Anweisung separat ausführen, damit das SQL-Tool die Skripte erfolgreich ausführen kann.
    5. Um zu prüfen, ob die Tabellen erfolgreich erstellt wurden, schließen Sie das SQL-Fenster, und öffnen Sie es erneut. Suchen Sie auf der Registerkarte "Navigator" nach dem Schema SRC_OCIGGLL, und wählen Sie dann Tabellen in den entsprechenden Dropdown-Listen aus.
  5. Aktivieren Sie zusätzliches Logging:
    1. Leeren Sie das SQL-Arbeitsblatt.
    2. Geben Sie die folgende Anweisung ein, und klicken Sie auf Anweisung ausführen:
      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

Einrichtung der Umgebung: Confluent Cloud

Wenn Sie noch kein Confluent Cloud-Zielcluster, -Thema und -Schema haben, können Sie Folgendes tun:
  1. Cluster erstellen.
  2. Erstellen Sie einen API-Schlüssel für das Cluster. Beachten Sie den API-Schlüssel und das Secret für die nächsten Schritte.
  3. Schemaregistry aktivieren, Erstellen Sie einen API-Schlüssel für Confluent Cloud Schema Registry. Beachten Sie den API-Schlüssel und das Secret für die nächsten Schritte.
  4. Erstellen Sie ein Thema im Cluster. Beachten Sie den Namen der Lerneinheit für die nächsten Schritte.

Aufgabe 1: OCI GoldenGate-Ressourcen erstellen

Für dieses Schnellstartbeispiel sind Deployments und Verbindungen sowohl für die Quelle als auch für das Ziel erforderlich.
  1. Erstellen Sie ein Oracle-Deployment für die Autonomous Transaction Processing-Quellinstanz.
  2. Erstellen Sie ein Big Data Deployment für das Confluent Cloud-Ziel.
  3. Erstellen Sie eine Verbindung zur Quelle von Autonomous Transaction Processing.
  4. Konfluente Kafka-Verbindung erstellen.
  5. Erstellen Sie eine Confluent Schema Registry.
  6. (Optional) Wenn das Big Data Deployment keinen öffentlichen Endpunkt aufweist, erstellen Sie eine Verbindung zu GoldenGate, und weisen Sie diese Verbindung dem Oracle-Quell-Deployment zu.
  7. Weisen Sie die Autonomous Transaction Processing-Verbindung dem Oracle-Quell-Deployment zu.
  8. Weisen Sie dem Big Data-Ziel-Deployment Confluent Kafka- und Confluent Schema Registry-Verbindungen zu.

Aufgabe 2: Extract hinzufügen

  1. Wählen Sie auf der Seite "Deployments" das Autonomous Transaction Processing-Quell-Deployment aus.
  2. Klicken Sie auf der Seite "Deployment" auf Konsole starten.
  3. Melden Sie sich mit dem Benutzernamen und Kennwort des Quell-Deployment-Administrators an.
  4. Fügen Sie Transaktionsinformationen hinzu.
  5. Fügen Sie einen Extract hinzu.

Aufgabe 3: Distribution Path hinzufügen und ausführen

  1. Wenn Sie den Zugangsdatenspeicher GoldenGate verwenden, erstellen Sie einen Benutzer für den Verteilungspfad im Ziel-Big Data-Deployment. Fahren Sie andernfalls mit Schritt 3 fort.
  2. Fügen Sie in der Deployment-Konsole für die ATP Quelle GoldenGate eine Pfadverbindung für den in Schritt 1 erstellten Benutzer hinzu.
    1. Klicken Sie in der Deployment-Konsole für die ATP-Quelle GoldenGate in der linken Navigation auf Pfadverbindungen.
    2. Klicken Sie auf Pfadverbindung hinzufügen (Plussymbol), und führen Sie die folgenden Schritte aus:
      1. Geben Sie unter Zugangsdatenalias GGSNetwork ein.
      2. Geben Sie unter Benutzer-ID den Namen des in Schritt 1 erstellten Benutzers ein.
      3. Geben Sie das Kennwort des Benutzers zur Bestätigung zweimal ein.
    3. Klicken Sie auf Weiterleiten.

      Die Pfadverbindung wird in der Liste "Pfadverbindungen" angezeigt.

  3. Fügen Sie in der Quell-ATP-Deployment-Konsole einen Verteilungspfad mit den folgenden Werten hinzu:
    1. Auf der Seite Quelloptionen:
      • Wählen Sie unter Quell-Extract den in Aufgabe 2 erstellten Extract aus.
      • Geben Sie unter Trailname einen Namen aus zwei Zeichen ein, wie E1.
    2. Auf der Seite Zieloptionen:
      • Geben Sie unter Zielhost die Hostdomain des Ziel-Deployments ein.
      • Geben Sie unter Portnummer die Nummer 443 ein.
      • Geben Sie unter Trailname einen Namen aus zwei Zeichen ein, wie E1.
      • Geben Sie unter Alias den in Schritt 2 erstellten Zugangsdatenalias ein.
  4. Prüfen Sie in der Big Data-Deployment-Konsole von Ziel die Receiver Path, die als Ergebnis von Distribution Path erstellt wurde.
    1. Klicken Sie in der Big Data-Ziel-Deployment-Konsole auf Receiver Service.
    2. Prüfen Sie die Pfaddetails. Dieser Pfad wurde als Ergebnis der Distribution Path erstellt, die im vorherigen Schritt erstellt wurde.

Aufgabe 4: Replicat hinzufügen und ausführen

  1. Klicken Sie in der Big Data-Ziel-Deployment-Konsole auf Administrator Service und dann auf Add Replicat (Plussymbol).
  2. Fügen Sie eine Replicat mit den folgenden Werten hinzu:
    1. Wählen Sie auf der Seite Replicat-Informationen unter dem Typ Replicat die Option Coordinated Replicat aus, geben Sie einen Prozessnamen ein, und klicken Sie auf Weiter.
    2. Gehen Sie auf der Seite {\b Replikationsoptionen} wie folgt vor:
      • Geben Sie unter Name den Namen des Trail aus Aufgabe 2 ein.
      • Wählen Sie unter Domain eine Domain aus.
      • Wählen Sie unter Alias die in Aufgabe 1 erstellte Confluent Kafka-Verbindung aus.
      • Wählen Sie unter Checkpoint-Tabelle die Checkpoint-Tabelle aus, die Sie für das Ziel-Deployment erstellt haben.
    3. Ersetzen Sie auf der Seite Replicat-Parameter MAP *.*, TARGET *.*; durch:
      MAP SRC_OCIGGLL.SRC_CUSTOMER, Table SRC.CUSTOMER;
  3. Klicken Sie auf Erstellen und ausführen.
Sie zurückkehren zur Seite "Überblick", auf der Sie die Replicat-Details prüfen können.

Aufgabe 5: Replikation prüfen

Nehmen Sie einige Änderungen an der Quell-Autonomous Transaction Processing-Instanz vor, um zu prüfen, ob diese in Confluent Kafka Cloud repliziert werden.
  1. Öffnen Sie in der Oracle Cloud-Konsole das Navigationsmenü, und wählen Sie Oracle Database, Autonome Transaktionsverarbeitung aus.
  2. Wählen Sie in der Liste der Autonomous Transaction Processing-Instanzen Ihre Quellinstanz aus, um deren Details anzuzeigen.
  3. Klicken Sie auf der Seite "Datenbankdetails" auf Datenbankaktionen.

    Hinweis:

    Sie sollten automatisch angemeldet werden. Andernfalls melden Sie sich mit den Datenbankzugangsdaten an.
  4. Wählen Sie auf der Homepage der Datenbankaktionen SQL aus.
  5. Geben Sie Folgendes in das Arbeitsblatt ein, und klicken Sie auf Skript ausführen.
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
  6. Wählen Sie in der Deployment-Konsole für die ATP-Quelle den Extract-Namen aus, und klicken Sie auf Statistiken. Stellen Sie sicher, dass unter SRC_OCIGGLL.SRC_CITY 10 Insert-Vorgänge vorhanden sind.
  7. Wählen Sie in der Deployment-Konsole von Big Data OCI GoldenGate den Replicat-Namen aus, und klicken Sie auf Statistiken. Prüfen Sie, ob SRC_OCIGGLL.SRC_CUSTOMER über 7 Einfügungen verfügt.

Aufgabe 6: (Optional) Prüfen der Replikation in der konfluenten CLI

  1. Installieren Sie die Confluent CLI in Ihrem System.
  2. Ausführen:
    export PATH=$(pwd)/bin:$PATH
confluent login
  3. Umgebungen auflisten und Umgebung auswählen
    confluent environment list
confluent environment use <your_environment_ID>
  4. Cluster auflisten und Cluster auswählen
    confluent kafka cluster list
confluent kafka cluster use <your_cluster_id>
  5. API-Schlüssel und Secret lokal speichern
    confluent api-key store <cluster_api_key> <cluster_api_secret>
confluent api-key use <cluster_api_key> --resource <cluster_id>
  6. Themen auflisten 
    confluent kafka topic list
  7. Meldungen anzeigen
    confluent kafka topic consume --value-format avro --from-beginning <topic_name>