Daten von Kafka-Plattformen erfassen

Mit OCI GoldenGate können Sie Nachrichten aus Streamingquellen der Kafka-Plattform extrahieren.

Überblick

Mit OCI GoldenGate können Sie Nachrichten aus den folgenden Streamingquellen erfassen:

OCI GoldenGate liest Nachrichten aus einem oder mehreren Kafka-Themes und konvertiert die Daten dann in logische Änderungsdatensätze, die In GoldenGate-Traildateien geschrieben werden. GoldenGate Replicat-Prozesse können dann die Traildateien generieren, um Daten zur Unterstützung von RDBMS-Implementierungen zu propagieren.

Aufgabe 1: Consumer-Eigenschaften konfigurieren

  1. Erstellen Sie eine Kafka Consumer-Eigenschaftendatei mit einem der folgenden Deserializer oder Konverter. Wenn die Quelle ein Thema in Confluent Kafka mit Confluent Schema Registry ist, können Sie den Avro-Konverter verwenden. Verwenden Sie für andere Quellen den JSON-Konverter oder Deserializer nach Bedarf:

    • Kafka-Consumer-Eigenschaften für JSON-Deserializer:

      key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer

    • Kafka-Consumer-Eigenschaften für JSON-Konverter:

      key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter

    • Kafka Verbrauchereigenschaften für Avro Konverter:

      key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter

  2. Speichern Sie die Eigenschaftendatei, und notieren Sie sich ihren Speicherort.

Aufgabe 2: OCI GoldenGate-Ressourcen erstellen

In dieser Aufgabe wird beschrieben, wie Sie neue Ressourcen erstellen, wenn sie noch nicht vorhanden sind. Stellen Sie sicher, dass das von Ihnen verwendete Big Data-Deployment auf die neueste verfügbare Version upgegradet wird.

  1. Erstellen Sie ein OCI GoldenGate-Deployment für Big Data.

  2. Erstellen Sie eine Verbindung.

    Hinweis: Wenn Sie eine der folgenden Verbindungen erstellen, stellen Sie sicher, dass Sie die Option Erweiterte Optionen anzeigen auswählen und dann die Consumer-Eigenschaftendatei hochladen.

  3. Weisen sie die Verbindung zum Big Data-Deployment zu.

Aufgabe 3: Zugangsdaten erstellen

Bevor Sie den Extract erstellen können, müssen Sie zunächst Zugangsdaten erstellen.

So erstellen Sie Zugangsdaten:

  1. Wählen Sie auf der Seite "Deployments" das Big Data Deployment aus.

  2. Wählen Sie auf der Seite "Deployment-Details" die Option Konsole starten aus.

  3. Melden Sie sich bei dem Big Data-Deployment mit dem Benutzernamen und Kennwort an, die Sie beim Erstellen des Deployments in Aufgabe 2, Schritt 1 angegeben haben.

  4. Wählen Sie im Navigationsmenü die Option DB-Verbindungen.

  5. Wählen Sie auf der Seite "Konfiguration" auf der Registerkarte "Datenbank" die Option DB-Verbindung hinzufügen (Plussymbol), und füllen Sie das Formular wie folgt aus:

    1. Geben Sie unter Zugangsdatendomain OracleGoldenGate ein.

    2. Geben Sie unter Zugangsdatenalias kafka ein.

    3. Geben Sie unter Benutzer-ID kafka:// ein.

    4. Geben Sie unter Kennwort und Kennwort bestätigen ein Passwort ein.

    5. Klicken Sie auf Weiterleiten.

Aufgabe 4: Extract erstellen

  1. Wählen Sie auf der Homepage Extract hinzufügen (Plussymbol).

  2. Extract hinzufügen mit den folgenden Werten:

    1. Füllen Sie auf der Seite "Exportinformationen" das Feld wie folgt aus, und wählen Sie Weiter aus:

      • Wählen Sie unter Extract-Typ die Option "Integrierter Extract" aus.

      • Geben Sie unter Prozessname einen Namen für den Extract ein.

    2. Füllen Sie auf der Seite "Extract-Optionen" die Felder folgendermaßen aus, und wählen Sie Weiter aus:

      • Wählen Sie unter Domain die Domain aus.

      • Wählen Sie unter Alias die Verbindung aus, die dem Deployment zugewiesen ist.

      • Geben Sie unter Name einen 2-stelligen Namen ein.

    3. Behalten Sie die Felder auf der Seite "Verwaltete Optionen" bei, und wählen Sie Weiter aus.

    4. Gehen Sie auf der Seite "Parameterdatei" wie folgt vor:

      • Übernehmen Sie für die Tabellenzuordnung den Wert TABLE TESTSCHEMA.*;, um alle Topics im angegebenen Bootstrap-Server zu überwachen. Sie können die Tabellenzuordnung auch als TABLE TESTSCHEMA.<topic-name>; festlegen, um sie aus einem angegebenen Thema zu erfassen.

      • Aktualisieren Sie SOURCEDB USERIDALIAS auf SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate.

    5. Wählen Sie Erstellen und ausführen aus.

Sie kehren zur Oracle GoldenGate-Homepage zurück, auf der Sie den Start des Extract-Prozesses beobachten und Ereignisnachrichten prüfen können.