Extract für Kafka hinzufügen

Das Hinzufügen eines Extract für eine Kafka-Quelle unterscheidet sich zwischen Big Data-Deployment-Versionen. Befolgen Sie die Anweisungen entsprechend Ihrer Big Data-Deployment-Version.

Um die OCI-Version GoldenGate zu prüfen, zeigen Sie die Versionsinformationen auf der Seite mit den Deployment-Details an.

Sie können Nachrichten aus den folgenden Streamingquellen erfassen:

  • Apache Kafka
  • OCI Streaming
  • Confluent Kafka, mit oder ohne Schema Registry
  • Azure Event Hubs
  • Amazon MSK

OCI GoldenGate liest Nachrichten aus einem oder mehrere Kafka-Themes und konvertiert die Daten dann in logische Änderungsdatensätze, die in GoldenGate-Traildateien geschrieben werden. GoldenGate Replicat-Prozesse können dann die generierten Traildateien verwenden, um Daten zur Unterstützung von RDBMS-Implementierungen (Relational Database Management System) zu propagieren.

Ein OCI GoldenGate Big Data-Deployment unterstützt mehrere Quelltechnologien innerhalb desselben Deployments, sodass Sie mehrere Extrakte aus verschiedenen unterstützten Quelltechnologien innerhalb desselben Deployments konfigurieren können. OCI GoldenGate verwendet Zugangsdatenspeichereinträge, um die Quelltechnologie zu identifizieren. Beispiel: OCI GoldenGate verwendet die Benutzer-ID der Zugangsdaten, um zu bestimmen, ob ein Kafka-(kafka://-) oder Mongo-(Mongo://-)Extrakt gestartet werden soll.

Extract hinzufügen (23ai)

Bevor Sie einen Extract hinzufügen und ausführen, müssen Sie Folgendes sicherstellen:
  • Details zu diesem Quellverbindungstyp prüfen.
  • Erstellen Sie Zugangsdaten in der Big Data-Deployment-Konsole:
    1. Starten Sie die Big Data-Deployment-Konsole auf der Seite mit den Deployment-Details, und melden Sie sich dann an.
    2. Klicken Sie im linken Navigationsmenü des Administrationsservice auf DB-Verbindungen.
    3. Klicken Sie auf der Seite "DB-Verbindungen" auf "Zugangsdaten hinzufügen" (Plussymbol).
    4. Geben Sie die folgenden Details in die angegebenen Felder ein, und klicken Sie auf Weiterleiten:
      • Geben Sie unter Zugangsdatendomain OracleGoldenGate ein.
      • Geben Sie unter Zugangsdatenalias kafka ein.
      • Geben Sie unter Benutzer-ID kafka:// ein.
      • Geben Sie unter Kennwort ein Kennwort ein.
      • Geben Sie unter Verify Password (Passwort prüfen) das Passwort erneut ein.
So fügen Sie einen Extract in Oracle GoldenGate 23ai hinzu:
  1. Klicken Sie in der OCI GoldenGate-Deployment-Konsole auf der Administrationsservice-Homepage auf Extract hinzufügen.
  2. Füllen Sie im Bereich "Extract hinzufügen" auf der Seite Extract-Informationen die folgenden Felder nach Bedarf aus, und klicken Sie auf Weiter:
    • Geben Sie einen Prozessnamen ein, der nicht länger als 8 Zeichen ist.
    • Geben Sie eine Beschreibung (optional) ein, damit Sie diesen Prozess von anderen unterscheiden können.
    • Wählen Sie eine Quelle aus der Dropdown-Liste aus.
  3. Füllen Sie auf der Seite Extraktionsoptionen die folgenden Felder nach Bedarf aus, und klicken Sie auf Weiter:
    1. Für Extract Trail:
      1. Geben Sie einen Namen für den Extract-Prozess ein.
      2. Geben Sie einen Unterverzeichnisnamen ein, um einen benutzerdefinierten Speicherort für die generierte Traildatei festzulegen.
      3. Geben Sie Trailsequenz ein, um die Startnummer für Traildateien festzulegen.
      4. Geben Sie eine Trailgröße ein, um die maximale Größe für die generierte Traildatei festzulegen.
      5. Wählen Sie ein Verschlüsselungsprofil aus. Das Profil "Lokales Wallet" wird standardmäßig ausgewählt, wenn kein Verschlüsselungsprofil erstellt wurde.
      6. Wählen Sie einen Verschlüsselungsalgorithmus aus:
        • NONE
        • AES256
        • AES192
        • AES128
    2. Wählen Sie unter Quellzugangsdaten die folgenden Optionen aus:
      1. Domain
      2. Alias
      3. Wann/wo beginnt
  4. Füllen Sie auf der Seite Verwaltete Optionen die folgenden optionalen Felder nach Bedarf aus, und klicken Sie auf Weiter:
    • Profilname
    • Kritisch für den Deployment-Zustand
    • Autom. Start
    • Automatischer Neustart

    Hinweis:

    Wenn Sie ein Profil hinzufügen und die Optionen "Automatischer Start" und "Automatischer Neustart" konfigurieren, kann Ihr Deployment nach einer Netzwerkunterbrechung automatisch neu gestartet werden. Weitere Informationen finden Sie unter Konfigurieren verwalteter Prozesse.

  5. Aktualisieren Sie auf der Seite "Parameterdatei" Folgendes:
    1. Aktualisieren Sie SOURCEDB USERIDALIAS auf SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate.
    2. Lassen Sie die Tabellenzuordnung unverändert (TABLE source.*;), um alle Topics im angegebenen Bootstrap-Server zu überwachen. Um aus einem angegebenen Thema zu erfassen, ändern Sie die Zuordnung in TABLE source.<topic-name>;, wobei <topic-name> der Name des Themas ist, aus dem erfasst werden soll.

      Hinweis:

      Das Extract-Zuordnungsformat ist Table SourceSchema.Table. In Kafka sind keine Quellschemas/Tabellen vorhanden. OCI GoldenGate schreibt den ersten Teil ("Quelle" im obigen Schritt) als Schemanamen und den zweiten Teil als Tabellenname in die Traildatei. Auf diese Weise können Sie die erfasste Kafka-Nachricht in andere von GoldenGate unterstützte Ziele replizieren.
  6. Klicken Sie auf Erstellen und ausführen, um den Extract zu erstellen und zum Starten zu verwenden. Wenn Sie auf Erstellen klicken, können Sie den Extract später auf der Seite "Exporte" manuell starten.

Extract hinzufügen (21c)

Bevor Sie einen Extract erstellen, erstellen Sie Zugangsdaten in der Big Data-Deployment-Konsole:

  1. Wählen Sie auf der Seite "Deployments" das Big Data-Deployment aus, um seine Details anzuzeigen.
  2. Melden Sie sich bei der Big Data-Deployment-Konsole mit den Zugangsdaten an, die Sie beim Erstellen des Deployments angegeben haben. Sie gelangen zur Seite {\b Administration Server Overview}.
  3. Zugangsdaten hinzufügen:
    1. Öffnen Sie das Navigationsmenü und klicken Sie dann auf Konfiguration.
    2. Klicken Sie auf der Seite "Zugangsdaten" auf Zugangsdaten hinzufügen (Plussymbol).
    3. Geben Sie die folgenden Details in die angegebenen Felder ein, und klicken Sie auf Weiterleiten:
      • Geben Sie unter Zugangsdatendomain OracleGoldenGate ein.
      • Geben Sie unter Zugangsdatenalias kafka ein.
      • Geben Sie unter Benutzer-ID kafka:// ein.
      • Geben Sie unter Kennwort ein Kennwort ein.
      • Geben Sie unter Verify Password (Passwort prüfen) das Passwort erneut ein.
So fügen Sie einen Extract für Kafka in OCI GoldenGate für Big Data-Deployments ab Version 21.9 hinzu:
  1. Klicken Sie im Navigationsmenü auf Überblick, um zur Überblickseite für den Administrationsservice zurückzukehren.
  2. Klicken Sie auf Extract hinzufügen (Plussymbol).
  3. Wählen Sie auf der Seite "Extract hinzufügen" Folgendes aus, und klicken Sie auf Weiter:
    • Quelle: Kafka
    • Extraktionstyp: Change Data Capture Extract
  4. Füllen Sie die Felder wie folgt auf der Seite "Extract-Optionen" aus, und klicken Sie auf Weiter:
    • Geben Sie unter "Prozessname" einen Namen mit bis zu 8 Zeichen an.
    • (Optional) Geben Sie eine Beschreibung ein.
    • Wählen Sie für Verbindungsalias den zuvor zugewiesenen Verbindungsalias aus.
    • Wählen Sie für "Beginn" die Option Jetzt.
    • Geben Sie unter Trailname einen aus 2 Zeichen bestehenden Namen an.
    • (Optional) Aktivieren Sie Kafka Connect, wenn die Quelle ein Kafka Connect-Framework ist.
    • (Optional) Wenn Kafka Connect ausgewählt ist, wählen Sie einen der verfügbaren Konvertierer aus:
      • JSON
      • AVRO
    • (Optional) Wenn AVRO ausgewählt ist, wählen Sie Schema-Registry aus.
    • (Optional) Unter "Verwaltete Optionen" können Sie Folgendes konfigurieren:
      • Profilname
      • Autom. Start
      • Automatischer Neustart

      Hinweis:

      Wenn Sie ein Profil hinzufügen und die Optionen "Automatischer Start" und "Automatischer Neustart" konfigurieren, kann Ihr Deployment nach einer Netzwerkunterbrechung automatisch neu gestartet werden. Weitere Informationen finden Sie unter Verwaltete Prozesse konfigurieren.
  5. Aktualisieren Sie auf der Seite "Parameterdatei" Folgendes:
    1. Aktualisieren Sie SOURCEDB USERIDALIAS auf SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate.
    2. Lassen Sie die Tabellenzuordnung unverändert (TABLE source.*;), um alle Topics im angegebenen Bootstrap-Server zu überwachen. Um aus einem angegebenen Thema zu erfassen, ändern Sie die Zuordnung in TABLE source.<topic-name>;, wobei <topic-name> der Name des Themas ist, aus dem erfasst werden soll.

      Hinweis:

      Das Extract-Zuordnungsformat ist Table SourceSchema.Table. In Kafka sind keine Quellschemas/Tabellen vorhanden. OCI GoldenGate schreibt den ersten Teil ("Quelle" im obigen Schritt) als Schemanamen und den zweiten Teil als Tabellenname in die Traildatei. Auf diese Weise können Sie die erfasste Kafka-Nachricht in andere von GoldenGate unterstützte Ziele replizieren.
  6. Klicken Sie auf Erstellen und ausführen.
Kehren Sie zur Seite "Überblick" des Administrationsservice zurück und können den Extract-Status beobachten. Anschließend können Sie den Extract auswählen, um die zugehörigen Details, Statistiken und Berichte anzuzeigen.