Daten von Kafka-Plattformen erfassen

Mit OCI GoldenGate können Sie Nachrichten aus Kafka-Plattformstreamingquellen extrahieren.

Überblick

Mit OCI GoldenGate können Sie Nachrichten von den folgenden Streamingquellen erfassen:

  • Apache Kafka
  • OCI Streaming
  • Confluent Kafka, mit oder ohne Schema-Registry
  • Azure Event Hubs
  • Amazon MSK

OCI GoldenGate liest Nachrichten aus einem oder mehreren Kafka-Themen und konvertiert die Daten dann in logische Änderungsdatensätze, die in GoldenGate-Traildateien geschrieben werden. GoldenGate Replicat-Prozesse können dann mit den generierten Traildateien Daten zur Unterstützung von RDBMS-Implementierungen bereitstellen.

Aufgabe 1: Consumer-Eigenschaften konfigurieren

  1. Erstellen Sie eine Kafka Consumer-Eigenschaftendatei mit einem der folgenden Deserialisierer oder Konverter. Wenn es sich bei der Quelle um ein Thema in Confluent Kafka mit Schema Registry handelt, können Sie den Avro-Konverter verwenden. Verwenden Sie für andere Quellen den JSON-Konverter oder Deserializer nach Bedarf:
    • Kafka-Consumer-Eigenschaften für JSON-Deserializer: 
      key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
    • Kafka Consumer-Eigenschaften für JSON-Konverter:
      key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
    • Kafka Consumer-Eigenschaften für Avro-Konverter:
      key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
  2. Speichern Sie die Eigenschaftendatei, und notieren Sie sich ihren Speicherort.

Aufgabe 2: OCI GoldenGate-Ressourcen erstellen

In dieser Aufgabe wird beschrieben, wie Sie neue Ressourcen erstellen, wenn sie noch nicht vorhanden sind. Stellen Sie sicher, dass das verwendete Big Data-Deployment auf die neueste verfügbare Version upgegradet wird.

  1. Erstellen Sie ein OCI GoldenGate-Deployment für Big Data.
  2. Erstellen Sie eine Verbindung.

    Hinweis:

    Stellen Sie beim Erstellen einer der folgenden Verbindungen sicher, dass Sie auf Erweiterte Optionen anzeigen klicken, und laden Sie dann die Consumer-Eigenschaftendatei hoch.
  3. Weisen Sie die Verbindung dem Big Data Deployment zu.

Aufgabe 3: Zugangsdaten erstellen

Bevor Sie die Extract erstellen können, müssen Sie zuerst Zugangsdaten erstellen.
So erstellen Sie Zugangsdaten:
  1. Wählen Sie auf der Seite "Deployments" das Big Data Deployment aus.
  2. Klicken Sie auf der Seite "Deployment" auf Konsole starten.
  3. Melden Sie sich beim Big Data Deployment mit dem Benutzernamen und Kennwort an, die Sie bei der Erstellung des Deployments in Aufgabe 2, Schritt 1 angegeben haben.
  4. Wählen Sie im Navigationsmenü die Option DB-Verbindungen aus.
  5. Klicken Sie auf der Seite "Konfiguration" auf der Registerkarte "Datenbank" auf DB-Verbindung hinzufügen (Plussymbol), und füllen Sie das Formular folgendermaßen aus:
    1. Geben Sie unter Zugangsdatendomain OracleGoldenGate ein.
    2. Geben Sie unter Zugangsdatenalias kafka ein.
    3. Geben Sie unter Benutzer-ID kafka:// ein.
    4. Geben Sie unter Kennwort und Kennwort bestätigen ein Kennwort ein.
    5. Klicken Sie auf Weiterleiten.

Aufgabe 4: Extract erstellen

  1. Klicken Sie auf der Seite "Überblick" des Administration Service auf Extract hinzufügen (Pluszeichen).
  2. Fügen Sie einen Extract hinzu mit den folgenden Werten:
    1. Füllen Sie auf der Seite Extract Information das Feld wie folgt aus, und klicken Sie auf Next (Weiter):
      • Wählen Sie unter Extract Type die Option Integrated Extract aus.
      • Geben Sie unter Prozessname einen Namen für den Extract ein.
    2. Geben Sie auf der Seite "Extract Options" die Felder wie folgt ein, und klicken Sie auf Next (Weiter):
      • Wählen Sie unter Domain die Domain aus.
      • Wählen Sie unter Alias die Verbindung aus, die dem Deployment zugewiesen ist.
      • Geben Sie unter Name einen 2-stelligen Namen ein.
    3. Lassen Sie die Felder auf der Seite "Verwaltete Optionen" unverändert, und klicken Sie auf Weiter.
    4. Gehen Sie auf der Seite "Parameterdatei" wie folgt vor:
      • Lassen Sie die Tabellenzuordnung als TABLE TESTSCHEMA.*;, um alle Themen im angegebenen Bootstrap-Server zu überwachen. Sie können die Tabellenzuordnung auch als TABLE TESTSCHEMA.<topic-name>; festlegen, um sie aus einem angegebenen Thema zu erfassen.
      • Aktualisieren Sie SOURCEDB USERIDALIAS in SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate.
    5. Klicken Sie auf Erstellen und ausführen.
Sie kehren zur Administration Service-Überblickseite zurück, auf der Sie den Start des Extract-Prozesses beobachten und die Ereignisnachrichten prüfen können.