Daten in Streamanalysen replizieren

Hier erfahren Sie, wie Sie Daten von OCI GoldenGate in Stream Analytics replizieren.

GoldenGate Stream Analytics begann als komplexe Ereignisverarbeitungs-Engine, die auf Laufzeit-Frameworks mit Apache Spark und Apache Kafka ausgeführt wurde. Stream Analytics kann einen Datenstrom aus einer beliebigen Quelle aufnehmen, wie einer Datenbank, GoldenGate, Kafka, JMS, REST oder sogar einer Dateisystemdatei. Nachdem die Daten aufgenommen wurden, können Sie Analysen für Livedaten ausführen.

Bevor Sie beginnen

Um diesen Schnellstart erfolgreich abzuschließen, benötigen Sie:

• Eine autonome KI-Quelldatenbank mit geladenen Beispieldaten und aktiviertem ergänzendem Logging.

  Tipp:

  Sie können die OCI GoldenGate-Beispieldaten herunterladen, wenn Sie Beispieldaten für die Arbeit benötigen.

  • Bearbeiten Sie zunächst SETUP_USERS_ATP.sql, und ändern Sie das Kennwort des SRC_OCIGGLL-Benutzers, um die Sonderzeichen zu entfernen.

  • Verwenden Sie das SQL-Tool für Datenbankaktionen der autonomen KI-Datenbank, um die beiden Skripte zum Erstellen des Benutzerschemas und der Tabellen auszuführen.

  • Mit dem SQL-Tool können Sie zusätzliches Logging aktivieren.

  Befolgen Sie die Schritte unter Übung 1, Aufgabe 3: Verfügbarkeitsschema laden, um weitere Details zu erhalten.

• GGADMIN-Benutzer in der autonomen KI-Quelldatenbankinstanz entsperren

  1. Wählen Sie auf der Seite "Details zur autonomen KI-Datenbank" im Menü Datenbankaktionen die Option Datenbankbenutzer aus.

     Tipp: Verwenden Sie die Zugangsdaten des Autonomen KI-Datenbankadministrators, die Sie bei der Erstellung der Instanz zur Anmeldung angegeben haben, wenn Sie dazu aufgefordert werden.

  2. Suchen Sie den Benutzer GGGADMIN, und wählen Sie im Menü mit den Auslassungspunkten (drei Punkte) die Option Bearbeiten aus.

  3. Geben Sie im Bereich "Benutzer bearbeiten" ein Kennwort ein, bestätigen Sie das Kennwort, und deaktivieren Sie die Option Account ist gesperrt.

  4. Wählen Sie Apply Changes aus.

Aufgabe 1: OCI GoldenGate-Ressourcen erstellen

1. Erstellen Sie das OCI GoldenGate-Deployment für die Datenreplikation.

2. Verbindung für die Quelldatenbank erstellen.

3. Weisen Ihnen die Verbindung zum Deployment zu.

4. Extraktion erstellen und ausführen.

Aufgabe 2: Stream Analytics-Ressourcen erstellen

1. Stream Analytics-Deployment erstellen.

2. Erstellen Sie eine Kafka-Verbindung mit der öffentlichen IP der Kafka-Instanz, und wählen Sie Plaintext als Sicherheitsprotokoll aus.

3. GoldenGate-Verbindung erstellen.

4. Weisen Sie die Verbindungen dem Stream Analytics-Deployment zu.

Aufgabe 3: Pipelines erstellen und ausführen

1. Starten Sie die Stream Analytics-Deployment-Konsole.

2. Prüfen Sie die Verbindungen in der Stream Analytics-Deployment-Konsole.

   1. Wählen Sie in der Stream Analytics-Deployment-Konsole die Option Katalog aus.

   2. Prüfen Sie auf der Seite "Katalog" die Liste der Verbindungen. Die GoldenGate-Verbindung, die autonome AI-Datenbankverbindung und die Kafka-Verbindung werden angezeigt.

3. GoldenGate Big Data-Cluster starten:

   1. Wählen Sie in der OCI GoldenGate Stream Analytics-Deployment-Konsole im Benutzermenü ossaadmin die Option Systemeinstellungen aus.

   2. Wählen Sie im Dialogfeld "Systemeinstellung" die Option Cluster verwalten aus, und blenden Sie GGDB-Cluster ein.

   3. Wählen Sie Cluster starten aus. Warten Sie, bis der Clusterstatus Wird ausgeführt lautet, und schließen Sie das Dialogfeld.

4. Zugangsdaten für GoldenGate-Verbindung aktualisieren:

   Obwohl die GoldenGate-Verbindung in der Stream Analytics-Deployment-Konsole verfügbar ist, werden die GoldenGate-Zugangsdaten nicht übertragen. Aktualisieren Sie das Kennwort, und testen Sie die Verbindung.

   1. Wählen Sie Katalog, GoldenGate-Verbindung aus.

   2. Wählen Sie im Dialogfeld Verbindung bearbeiten die Option Weiter.

   3. Geben Sie unter GG Username oggadmin ein.

   4. Wählen Sie unter GG-Kennwort die Option Kennwort ändern aus, und geben Sie das Kennwort ein, das Sie beim Erstellen des OCI GoldenGate-Deployments für die Datenreplikation in Aufgabe 1 angegeben haben.

   5. Wählen Sie Verbindung testen aus. Wenn erfolgreich, wählen Sie Speichern.

5. Mit GoldenGate Extract können Sie GoldenGate-Änderungsdaten erstellen und starten.

   Stellen Sie sicher, dass Sie die in Aufgabe 1 auf der Seite GG-Änderungsdaten - Details angegebenen Extraktionsdetails verwenden.

6. Aktualisieren Sie den Benutzernamen der autonomen KI-Datenbank.

   Datenbankverbindungen werden mit dem Standardbenutzer ggadmin erstellt. Aktualisieren Sie den Benutzernamen in SRC_OCIGGLL (wenn Sie die bereitgestellten Beispieldaten verwendet haben), um auf das Schema und die Tabellen zuzugreifen.

   1. Wählen Sie Katalog aus, und wählen Sie dann die Autonomous AI Database-Verbindung aus.

   2. Wählen Sie im Dialogfeld "Verbindung bearbeiten" die Option Weiter.

   3. Geben Sie unter Username SRC_OCIGGLL ein.

   4. Geben Sie unter Kennwort das SRC_OCIGGLL-Passwort ein, das Sie in den Schritten vor dem Start dieses Schnellstarts geändert haben.

   5. Wählen Sie Verbindung testen aus. Wenn erfolgreich, wählen Sie Speichern.

7. Verwenden Sie die Lookup-Tabellen der autonomen KI-Datenbank, um Referenzen für Kunden und Aufträge zu erstellen.

8. Verwenden Sie die Kafka-Verbindung, um Kafka-Streams für Kunden und Aufträge zu erstellen.

9. Mit dem SQL-Tool für die autonome KI-Datenbank können Sie Einfügungen in die Quelldatenbank ausführen.

   Beispiel: Sie können die folgenden Einfügevorgänge ausführen:

   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (11,'COM',101,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (12,'COM',102,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (13,'COM',103,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (14,'COM',104,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (15,'COM',105,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (16,'COM',106,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (17,'COM',107,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (18,'COM',201,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (19,'COM',202,to_date('16-AUG-2023','DD-MON-YYYY'),null);

10. Erstellen Sie eine Pipeline, die den in Schritt 8 erstellten Kafka-Stream verwendet.

11. Fügen Sie eine Abfragephase hinzu, und fügen Sie dann einen Filter hinzu, um nur Aufträge zurückzugeben, deren CUST_ID des Auftragsstreams mit der CUSTID des Kundenstreams übereinstimmt.

12. Zielphase hinzufügen.

13. Pipeline veröffentlichen.