Daten in Streamanalysen replizieren

Hier erfahren Sie, wie Sie Daten aus OCI GoldenGate in Stream Analytics replizieren.

GoldenGate Stream Analytics begann als komplexe Ereignisverarbeitungs-Engine, die auf Laufzeit-Frameworks mit Apache Spark und Apache Kafka ausgeführt wurde. Stream Analytics kann einen Datenstrom aus jeder Quelle aufnehmen, z.B. einer Datenbank, GoldenGate, Kafka, JMS, REST oder sogar einer Dateisystemdatei. Nachdem die Daten aufgenommen wurden, können Sie Analysen für Livedaten ausführen.

Bevor Sie beginnen

Um diesen Schnellstart erfolgreich abzuschließen, benötigen Sie:

  • Eine Autonomous Database-Quelldatenbank mit geladenen Beispieldaten und aktiviertem zusätzlichem Logging.

    Tipp:

    Sie können die OCI GoldenGate-Beispieldaten herunterladen, wenn Sie Beispieldaten für die Arbeit benötigen.
    • Bearbeiten Sie zunächst SETUP_USERS_ATP.sql, und ändern Sie das Kennwort des SRC_OCIGGLL-Benutzers, um die Sonderzeichen zu entfernen.
    • Mit dem SQL-Tool für Datenbankaktionen von Autonomous Database können Sie die beiden Skripte ausführen, um das Benutzerschema und die Tabellen zu erstellen.
    • Mit dem SQL-Tool können Sie zusätzliches Logging aktivieren.
    Befolgen Sie die Schritte unter Übung 1, Aufgabe 3: Verfügbarkeitsschema laden, um weitere Details zu erhalten.
  • GGADMIN-Benutzer in der Autonomous Database-Quellinstanz entsperren
    1. Wählen Sie auf der Seite "Autonomous Database Details" im Menü Database actions die Option Database Users aus.

      Tipp:

      Verwenden Sie die Autonomous Database-Administratorzugangsdaten, die Sie beim Erstellen der Instanz angegeben haben, um sich anzumelden, wenn Sie dazu aufgefordert werden.
    2. Suchen Sie den Benutzer GGGADMIN, und wählen Sie dann im Menü mit den Auslassungspunkten (drei Punkte) die Option Bearbeiten aus.
    3. Geben Sie im Bereich "Benutzer bearbeiten" ein Kennwort ein, bestätigen Sie das Kennwort, und deaktivieren Sie die Option Account ist gesperrt.
    4. Klicken Sie auf Änderungen anwenden.

Aufgabe 1: OCI GoldenGate-Ressourcen erstellen

  1. Erstellen Sie das OCI GoldenGate-Deployment für die Datenreplikation.
  2. Verbindung für die Quelldatenbank erstellen.
  3. Weisen Ihnen die Verbindung zum Deployment zu.
  4. Extraktion erstellen und ausführen.

Aufgabe 2: Stream Analytics-Ressourcen erstellen

  1. Stream Analytics-Deployment erstellen.
  2. Erstellen Sie eine Kafka-Verbindung mit der öffentlichen IP der Kafka-Instanz, und wählen Sie Plaintext als Sicherheitsprotokoll aus.
  3. GoldenGate-Verbindung erstellen.
  4. Weisen Sie die Verbindungen dem Stream Analytics-Deployment zu.

Aufgabe 3: Pipelines erstellen und ausführen

  1. Starten Sie die Stream Analytics-Deployment-Konsole.
  2. Prüfen Sie die Verbindungen in der Stream Analytics-Deployment-Konsole.
    1. Klicken Sie in der Stream Analytics-Deployment-Konsole auf Katalog.
    2. Prüfen Sie auf der Seite "Katalog" die Liste der Verbindungen. Die GoldenGate-Verbindung, die Autonomous Database-Verbindung und die Kafka-Verbindung werden angezeigt.
  3. Starten Sie das Big Data-Cluster GoldenGate:
    1. Wählen Sie in der OCI GoldenGate Stream Analytics-Deployment-Konsole im Benutzermenü ossaadmin die Option Systemeinstellungen aus.
    2. Klicken Sie im Dialogfeld "Systemeinstellung" auf Cluster verwalten, und blenden Sie GGDB-Cluster ein.
    3. Klicken Sie auf Cluster starten. Warten Sie, bis der Clusterstatus Wird ausgeführt lautet, und schließen Sie das Dialogfeld.
  4. Aktualisieren Sie die Zugangsdaten für die Verbindung GoldenGate:

    Die Verbindung GoldenGate ist zwar in der Stream Analytics-Deployment-Konsole verfügbar, die Zugangsdaten GoldenGate werden jedoch nicht übertragen. Aktualisieren Sie das Kennwort, und testen Sie die Verbindung.

    1. Klicken Sie auf Katalog und dann auf die Verbindung GoldenGate.
    2. Klicken Sie im Dialogfeld Verbindung bearbeiten auf Weiter.
    3. Geben Sie unter GG-Benutzername oggadmin ein.
    4. Klicken Sie unter GG-Kennwort auf Kennwort ändern, und geben Sie das Kennwort ein, das Sie beim Erstellen des OCI-Deployments GoldenGate für die Datenreplikation in Aufgabe 1 angegeben haben.
    5. Klicken Sie auf Verbindung testen. Wenn der Vorgang erfolgreich war, klicken Sie auf Speichern.
  5. Verwenden Sie den Extract GoldenGate, um GoldenGate Change Data zu erstellen und zu starten.

    Stellen Sie sicher, dass Sie die in Aufgabe 1 auf der Seite GG-Änderungsdaten - Details angegebenen Extraktionsdetails verwenden.

  6. Autonomous Database-Benutzername aktualisieren.

    Datenbankverbindungen werden mit dem Standardbenutzer ggadmin erstellt. Aktualisieren Sie den Benutzernamen in SRC_OCIGGLL (wenn Sie die bereitgestellten Beispieldaten verwendet haben), um auf das Schema und die Tabellen zuzugreifen.

    1. Klicken Sie auf Katalog und dann auf die Autonomous Database-Verbindung.
    2. Klicken Sie im Dialogfeld "Verbindung bearbeiten" auf Weiter.
    3. Geben Sie unter Benutzername SRC_OCIGGLL ein.
    4. Geben Sie unter Kennwort das SRC_OCIGGLL-Passwort ein, das Sie in den Schritten vor dem Start dieses Schnellstarts geändert haben.
    5. Klicken Sie auf Verbindung testen. Wenn der Vorgang erfolgreich war, klicken Sie auf Speichern.
  7. Verwenden Sie die Autonomous Database-Lookup-Tabellen, um Referenzen für Kunden und Aufträge zu erstellen.
  8. Verwenden Sie die Kafka-Verbindung, um Kafka-Streams für Kunden und Aufträge zu erstellen.
  9. Verwenden Sie das SQL-Tool von Autonomous Database, um Einfügungen in die Quelldatenbank auszuführen.
    Beispiel: Sie können die folgenden Einfügevorgänge ausführen:
    Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (11,'COM',101,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (12,'COM',102,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (13,'COM',103,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (14,'COM',104,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (15,'COM',105,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (16,'COM',106,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (17,'COM',107,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (18,'COM',201,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (19,'COM',202,to_date('16-AUG-2023','DD-MON-YYYY'),null);
  10. Erstellen Sie eine Pipeline, die den in Schritt 8 erstellten Kafka-Stream verwendet.
  11. Fügen Sie eine Abfragephase hinzu, und fügen Sie dann einen Filter hinzu, um nur Aufträge zurückzugeben, bei denen die CUST_ID des Auftragsstreams der CUSTID des Kundenstreams entspricht.
  12. Zielphase hinzufügen.
  13. Pipeline veröffentlichen.