Daten von Autonomous Transaction Processing in Apache Kafka replizieren

Überblick

Mit OCI GoldenGate können Sie Daten von einer autonomen Datenbank in ein Big-Data-Ziel wie Apache Kafka replizieren. Dieser Schnellstart zeigt, wie Sie ein OCI GoldenGate-Deployment, Quell- und Zielverbindungen und Replikationsprozesse einrichten.

Bevor Sie beginnen

Um diesen Schnellstart erfolgreich abzuschließen, benötigen Sie Folgendes:

Ein VCN, in dem Port 9092 (oder ein anderer Port, der für den Bootstrap-Server verwendet wird) gemäß Ingress-Regeln geöffnet ist.
Eine Autonomous Transaction Processing-Quellinstanz
Einen Apache Kafka-Zielknoten

Einrichtung der Umgebung: Autonomous Transaction Processing

Wenn noch keine Quelldatenbank für die Replikation eingerichtet ist, können Sie mit den folgenden Schritten ein Beispielschema laden, das für diesen Schnellstart verwendet werden soll. Dieser Schnellstart verwendet Autonomous Transaction Processing für die Quelldatenbank.

So richten Sie die autonome Quelldatenbank ein:

Laden Sie das Beispieldatenbankschema herunter, und dekomprimieren Sie es.
Wählen Sie in der Oracle Cloud-Konsole auf der Seite für autonome Datenbanken die Autonomous Transaction Processing-(ATP-)Instanz aus, um die zugehörigen Details anzuzeigen und auf Database Actions zuzugreifen.
Sperre des GGADMIN-Benutzers aufheben:
1. Klicken Sie auf Datenbankaktionen und dann auf Datenbankbenutzer.
2. Suchen Sie GGADMIN, klicken Sie dann auf das zugehörige Auslassungsmenü (drei Punkte), und wählen Sie Bearbeiten aus.
3. Geben Sie im Bereich "Benutzer bearbeiten" das GGADMIN-Kennwort ein, bestätigen Sie es, und heben Sie die Auswahl von Account ist gesperrt auf.
4. Klicken Sie auf Änderungen anwenden.
Laden Sie das Beispielschema und die Daten der Quelle:
1. Wählen Sie im Menü "Datenbankaktionen" unter "Entwicklung" die Option SQL aus.
2. Kopieren Sie das Skript von OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql, und fügen Sie es in das SQL-Arbeitsblatt ein.
3. Klicken Sie auf Skript ausführen. Auf der Registerkarte "Skriptausgabe" werden Bestätigungsmeldungen angezeigt.
4. Löschen Sie das SQL-Arbeitsblatt, kopieren Sie das SQL-Skript von OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql., und fügen Sie es ein.
  
  Tipp:
  Möglicherweise müssen Sie jede Anweisung separat ausführen, damit das SQL-Tool die Skripte erfolgreich ausführen kann.
5. Um zu prüfen, ob die Tabellen erfolgreich erstellt wurden, schließen Sie das SQL-Fenster, und öffnen Sie es erneut. Suchen Sie auf der Registerkarte "Navigator" nach dem Schema SRC_OCIGGLL, und wählen Sie dann Tabellen in den entsprechenden Dropdown-Listen aus.
Aktivieren Sie zusätzliches Logging:
1. Leeren Sie das SQL-Arbeitsblatt.
2. Geben Sie die folgende Anweisung ein. Klicken Sie dann auf Anweisung ausführen:
```
ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;
```

Aufgabe 1: OCI GoldenGate-Ressourcen erstellen

Für dieses Schnellstartbeispiel sind Deployments und Verbindungen sowohl für die Quelle als auch für das Ziel erforderlich.

Erstellen Sie ein Oracle-Deployment für die Autonomous Transaction Processing-Quellinstanz.
Erstellen Sie ein Big Data Deployment für den Apache Kafka-Zielknoten.
Erstellen Sie eine Verbindung für die Autonomous Transaction Processing-Quellinstanz.
Erstellen Sie eine Verbindung für den Kafka-Zielknoten.
Erstellen Sie eine Verbindung zu GoldenGate, und weisen Sie diese Verbindung dem Oracle-Quell-Deployment zu.
Weisen Sie die ATP-Verbindung dem Oracle-Quell-Deployment zu.
Weisen Sie die Kafka-Verbindung dem Big-Data-Ziel-Deployment zu.

Aufgabe 2: Extract hinzufügen.

Wählen Sie auf der Seite "Deployments" das Autonomous Transaction Processing-Quell-Deployment aus.
Klicken Sie auf der Seite "Deployment" auf Konsole starten.
Melden Sie sich mit dem Benutzernamen und Kennwort des Quell-Deployment-Administrators an.
Fügen Sie Transaktionsinformationen hinzu.
Hinzufügen Sie eine Extract.

Aufgabe 3: Distribution Path hinzufügen und ausführen

Wenn Sie den Zugangsdatenspeicher GoldenGate verwenden, erstellen Sie einen Benutzer für den Verteilungspfad im Ziel-Big Data-Deployment. Fahren Sie andernfalls mit Schritt 3 fort.
Fügen Sie in der Deployment-Konsole für die ATP Quelle GoldenGate eine Pfadverbindung für den in Schritt 1 erstellten Benutzer hinzu.
1. Klicken Sie in der Deployment-Konsole für die ATP-Quelle GoldenGate in der linken Navigation auf Pfadverbindungen.
2. Klicken Sie auf Pfadverbindung hinzufügen (Plussymbol), und führen Sie die folgenden Schritte aus:
  1. Geben Sie unter Zugangsdatenalias GGSNetwork ein.
  2. Geben Sie unter Benutzer-ID den Namen des in Schritt 1 erstellten Benutzers ein.
  3. Geben Sie das Kennwort des Benutzers zur Bestätigung zweimal ein.
3. Klicken Sie auf Weiterleiten.
  
  Die Pfadverbindung wird in der Liste "Pfadverbindungen" angezeigt.
Fügen Sie in der Quell-ATP-Deployment-Konsole einen Verteilungspfad mit den folgenden Werten hinzu:
1. Auf der Seite Quelloptionen:
  - Wählen Sie unter Quell-Export den in Aufgabe 2 erstellten Export aus.
  - Geben Sie unter Trailname einen Namen aus zwei Zeichen ein, wie E1.
2. Auf der Seite Zieloptionen:
  - Geben Sie unter Zielhost die Hostdomain des Ziel-Deployment ein.
  - Geben Sie unter Portnummer die Nummer 443 ein.
  - Geben Sie unter Trailname einen Namen aus zwei Zeichen ein, wie E1.
  - Geben Sie unter Alias den in Schritt 2 erstellten Zugangsdatenalias ein.
Prüfen Sie in der Big Data-Deployment-Konsole von Ziel die Receiver Path, die als Ergebnis von Distribution Path erstellt wurde.
1. Klicken Sie in der Big Data-Ziel-Deployment-Konsole auf Receiver Service.
2. Prüfen Sie die Pfaddetails. Dieser Pfad wurde als Ergebnis der Distribution Path erstellt, die im vorherigen Schritt erstellt wurde.

Aufgabe 4: Replicat hinzufügen

Klicken Sie in der Big Data-Ziel-Deployment-Konsole auf Administration Service und dann auf Replicat hinzufügen (Plussymbol).
Fügen Sie eine Replicat mit den folgenden Werten hinzu:
1. Wählen Sie auf der Seite Replicat-Informationen unter dem Typ Replicat die Option Klassisch Replicat aus, geben Sie einen Prozessnamen ein, und klicken Sie auf Weiter.
2. Gehen Sie auf der Seite "Optionen" unter Replicat wie folgt vor:
  - Geben Sie unter Name den Namen des Trail aus Aufgabe 3 ein.
  - Wählen Sie unter Ziel die Option Kafka aus.
  - Wählen Sie unter Alias die in Aufgabe 1 erstellte Kafka-Verbindung aus.
3. Behalten Sie auf der Seite Replicat "Parameter" den Standardwert bei.
4. Geben Sie auf der Seite "Eigenschaftendatei" einen Themennamen für die folgende Eigenschaft an:
```
gg.handler.kafkahandler.topicMappingTemplate=
```
  Wenn kein Thema vorhanden ist, erstellt OCI GoldenGate ein Thema für Sie.
Click Create and Run.

Sie kehren zur Seite Replicats zurück, auf der Sie die Replicat-Details prüfen können.

Aufgabe 5: Replikation prüfen

Nehmen Sie einige Änderungen an der Autonomous Transaction Processing-Quellinstanz vor, um zu prüfen, ob diese in Apache Kafka repliziert werden.

Öffnen Sie in der Oracle Cloud-Konsole das Navigationsmenü, wählen Sie Oracle Database aus, und wählen Sie Autonomous Transaction Processing aus.
Wählen Sie in der Liste der Autonomous Transaction Processing-Instanzen Ihre Quellinstanz aus, um deren Details anzuzeigen.
Klicken Sie auf der Seite "Datenbankdetails" auf Datenbankaktionen.

Hinweis:
Sie sollten automatisch angemeldet werden. Andernfalls melden Sie sich mit den Datenbankzugangsdaten an.
Wählen Sie auf der Homepage der Datenbankaktionen SQL aus.

Geben Sie im Arbeitsblatt Folgendes ein, und klicken Sie auf Skript ausführen.

Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

Wählen Sie in der Deployment-Konsole für die ATP-Quelle den Namen Extract aus, und klicken Sie auf Statistiken. Stellen Sie sicher, dass unter SRC_OCIGGLL.SRC_CITY 10 Einfügungen vorhanden sind.
Wählen Sie in der Big Data-Ziel-Deployment-Konsole den Replicat-Namen aus, und klicken Sie auf Statistiken. Stellen Sie sicher, dass unter SRC_OCIGGLL.SRC_CITY 10 Einfügungen vorhanden sind.