Verbindung zu Apache Kafka herstellen

Erfahren Sie, wie Sie eine Verbindung zu Apache Kafka erstellen, die als OCI-GoldenGate-Quelle oder -Ziel verwendet werden soll.

Bevor Sie beginnen

Bevor Sie die Verbindung erstellen, stellen Sie sicher, dass Sie:

Quellverbindung erstellen

So erstellen Sie eine Apache Kafka-Quellverbindung:
  1. Klicken Sie auf der OCI GoldenGate-Seite "Überblick" auf Verbindungen.
    Sie können auch im Abschnitt "Erste Schritte" auf Verbindung erstellen klicken und mit Schritt 3 fortfahren.
  2. Klicken Sie auf der Seite "Verbindungen" auf Verbindung erstellen.
  3. Füllen Sie auf der Seite "Verbindung erstellen" die Felder wie folgt aus:
    1. Geben Sie unter Name einen Namen für die Verbindung ein.
    2. (Optional) Geben Sie unter Beschreibung eine Beschreibung ein, mit der Sie diese Verbindung von anderen unterscheiden können.
    3. Wählen Sie unter Compartment das Compartment aus, in dem die Verbindung erstellt werden soll.
    4. Wählen Sie in der Dropdown-Liste Typ die Option "Apache Kafka" aus.
    5. Unter Bootstrap-Servern:
      1. Geben Sie den Host und die Portnummer für den Bootstrap-Server ein. Geben Sie die private IP nur ein, wenn der Hostname aus Ihrem Subnetz nicht aufgelöst werden kann oder SSL/TLS verwendet werden kann.
        Hinweis

        Wenn Sie eine private IP eingeben, schreibt OCI GoldenGate die private IP im Format ip-10-0-0-0.ociggsvc.oracle.vcn.com neu.

        Tipp:

        Alle Knoten im Cluster müssen über FQDNs verfügen, damit ein Durchlaufen über private Endpunkte möglich ist.
      2. (Optional) Klicken Sie auf + Bootstrap-Server, um einen weiteren Bootstrap-Server hinzuzufügen.
    6. Wählen Sie unter Sicherheitsprotokoll eine der folgenden Optionen aus, und füllen Sie die entsprechenden Felder aus:
      • Nur Text
      • SASL über Plaintext
      • SASL über SSL
      • SSL
    7. Erweitern Sie Erweiterte Optionen anzeigen. Sie können folgende Optionen konfigurieren:
      • Sicherheitseinstellungen
        • Heben Sie die Auswahl von Vault Secrets verwenden auf, damit Sie keine Kennwort-Secrets für diese Verbindung verwenden. Wenn diese Option nicht ausgewählt ist:
          • Wählen Sie Von Oracle verwalteten Verschlüsselungsschlüssel verwenden aus, um Oracle die gesamte Verschlüsselungsschlüsselverwaltung zu überlassen.
          • Wählen Sie Vom Kunden verwalteten Verschlüsselungsschlüssel verwenden aus, um einen bestimmten Verschlüsselungsschlüssel auszuwählen, der in Ihrem OCI Vault gespeichert ist, um Ihre Verbindungszugangsdaten zu verschlüsseln.
      • Netzwerkkonnektivität
        • Gemeinsam verwendeter Endpunkt, um einen Endpunkt mit dem zugewiesenen Deployment zu teilen. Sie müssen die Konnektivität von der Ingress-IP des Deployments zulassen.
        • Dedizierter Endpunkt für Netzwerktraffic über einen dedizierten Endpunkt im zugewiesenen Subnetz in Ihrem VCN. Sie müssen die Konnektivität von den Ingress-IPs dieser Verbindung zulassen.
          Hinweis

          • Wenn eine dedizierte Verbindung sieben Tage lang nicht zugewiesen bleibt, konvertiert der Service sie in eine gemeinsame Verbindung.
          • Weitere Informationen zur Oracle GoldenGate-Konnektivität.
      • Einstellungen
        • Kafka-Consumer-Eigenschaften für JSON-Deserializer:
          key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
          value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
        • Kafka-Consumer-Eigenschaften für JSON-Converter:
          key.converter=org.apache.kafka.connect.json.JsonConverter
          value.converter=org.apache.kafka.connect.json.JsonConverter
        • Kafka Consumer-Eigenschaften für Avro-Konverter:
          key.converter=io.confluent.connect.avro.AvroConverter
          value.converter=io.confluent.connect.avro.AvroConverter
      • Tags: Fügen Sie Tags hinzu, um Ihre Ressourcen zu organisieren.
  4. Klicken Sie auf Erstellen.
Nachdem die Verbindung erstellt wurde, wird sie in der Liste "Verbindungen" angezeigt. Weisen Sie die Verbindung einem Deployment zu, um sie als Quelle oder Ziel in einer Replikation zu verwenden.

Zielverbindung erstellen

So erstellen Sie eine Apache Kafka-Zielverbindung:
  1. Klicken Sie auf der OCI GoldenGate-Seite "Überblick" auf Verbindungen.
    Sie können auch im Abschnitt "Erste Schritte" auf Verbindung erstellen klicken und mit Schritt 3 fortfahren.
  2. Klicken Sie auf der Seite "Verbindungen" auf Verbindung erstellen.
  3. Füllen Sie auf der Seite "Verbindung erstellen" die Felder wie folgt aus:
    1. Geben Sie unter Name einen Namen für die Verbindung ein.
    2. (Optional) Geben Sie unter Beschreibung eine Beschreibung ein, mit der Sie diese Verbindung von anderen unterscheiden können.
    3. (Nur für GoldenGate auf Multicloud) Wählen Sie Ihr Abonnement aus, und füllen Sie die folgenden Felder aus.
      1. Wählen Sie aus der Dropdown-Liste Compartment das Compartment aus, in dem der Ressourcenanker gespeichert ist.
      2. Wählen Sie die Multicloud-Partnerregion aus.
      3. Wählen Sie Ihre Partnerverfügbarkeitszone aus. Die verfügbaren Optionen werden basierend auf der ausgewählten Multicloud-Partnerregion aufgefüllt.
    4. Wählen Sie unter Compartment das Compartment aus, in dem die Verbindung erstellt werden soll.
    5. Wählen Sie in der Dropdown-Liste Typ die Option "Apache Kafka" aus.
    6. Unter Bootstrap-Servern:
      1. Geben Sie den Host und die Portnummer für den Bootstrap-Server ein. Geben Sie die private IP nur ein, wenn der Hostname aus Ihrem Subnetz nicht aufgelöst werden kann oder SSL/TLS verwendet werden kann.
        Hinweis

        Wenn Sie eine private IP eingeben, schreibt OCI GoldenGate die private IP im Format ip-10-0-0-0.ociggsvc.oracle.vcn.com neu.

        Tipp:

        Alle Knoten im Cluster müssen über FQDNs verfügen, damit ein Durchlaufen über private Endpunkte möglich ist.
      2. (Optional) Klicken Sie auf + Bootstrap-Server, um einen weiteren Bootstrap-Server hinzuzufügen.
    7. Wählen Sie unter Sicherheitsprotokoll eine der folgenden Optionen aus, und füllen Sie die entsprechenden Felder aus:
      • Nur Text
      • SASL über Plaintext
      • SASL über SSL
      • SSL
    8. Erweitern Sie Erweiterte Optionen anzeigen. Sie können folgende Optionen konfigurieren:
      • Sicherheitseinstellungen
        • Heben Sie die Auswahl von Vault Secrets verwenden auf, damit Sie keine Kennwort-Secrets für diese Verbindung verwenden. Wenn diese Option nicht ausgewählt ist:
          • Wählen Sie Von Oracle verwalteten Verschlüsselungsschlüssel verwenden aus, um Oracle die gesamte Verschlüsselungsschlüsselverwaltung zu überlassen.
          • Wählen Sie Vom Kunden verwalteten Verschlüsselungsschlüssel verwenden aus, um einen bestimmten Verschlüsselungsschlüssel auszuwählen, der in Ihrem OCI Vault gespeichert ist, um Ihre Verbindungszugangsdaten zu verschlüsseln.
      • Netzwerkkonnektivität
        • Gemeinsam verwendeter Endpunkt, um einen Endpunkt mit dem zugewiesenen Deployment zu teilen. Sie müssen die Konnektivität von der Ingress-IP des Deployments zulassen.
        • Dedizierter Endpunkt für Netzwerktraffic über einen dedizierten Endpunkt im zugewiesenen Subnetz in Ihrem VCN. Sie müssen die Konnektivität von den Ingress-IPs dieser Verbindung zulassen.
          Hinweis

          • Wenn eine dedizierte Verbindung sieben Tage lang nicht zugewiesen bleibt, konvertiert der Service sie in eine gemeinsame Verbindung.
          • Weitere Informationen zur Oracle GoldenGate-Konnektivität.
      • EinstellungenUm die Snappy-Komprimierung in der Kafka-Replikation zu verwenden, ziehen Sie sie per Drag-and-Drop, oder wählen Sie Producereigenschaften aus, und ändern Sie die Replikationseinstellungen, wie unter Compression OCI GoldenGate (Confluent) Kafka-Replikation verwenden beschrieben.
      • Sicherheitsattribute: Fügen Sie Sicherheitsattribute hinzu, um den Zugriff auf diese Verbindung mit Zero Trust Packet Routing (ZPR) zu kontrollieren.
      • Tags: Fügen Sie Tags hinzu, um Ihre Ressourcen zu organisieren.
  4. Klicken Sie auf Erstellen.
Nachdem die Verbindung erstellt wurde, wird sie in der Liste "Verbindungen" angezeigt. Weisen Sie die Verbindung einem Deployment zu, um sie als Quelle oder Ziel in einer Replikation zu verwenden.

Fehler bei Kafka-Verbindungen beheben

Die meisten Verbindungsprobleme führen zu TimeoutException-Fehlern. Beispiel:

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

Wenn diese Meldung in der Replicat-Berichtsdatei angezeigt wird, können Sie:

  • Stellen Sie sicher, dass das Zielthema vorhanden ist, oder prüfen Sie, ob die automatische Themenerstellung in den Kafka-Zieleinstellungen aktiviert ist.
  • Stellen Sie sicher, dass keine Firewallregeln den Datenverkehr blockieren.
  • Wenn Sie Kafka auf OCI mit einem privaten Endpunkt ausführen, stellen Sie sicher, dass Sie den internen FQDN als Bootstrap-Server in server.properties und in der Kafka-Verbindung verwenden.
  • Wenn Sie eine Verbindung zu einer Confluent Cloud mit privaten Endpunkten herstellen:
    • Stellen Sie sicher, dass die DNS-Zonen und DNS-Datensätze sowohl in OCI als auch in der Drittanbieter-Ziel-Cloud ordnungsgemäß konfiguriert sind.
    • Stellen Sie sicher, dass die Netzwerkverbindung zwischen OCI und der Ziel-Cloud ordnungsgemäß funktioniert.
    • Testen Sie, ob Sie über eine OCI-VM, die im selben Subnetz ausgeführt wird, das mit der Drittanbieter-Cloud verbunden ist, eine Verbindung zur Confluent Cloud mit OpenSSL (openssl s_client -connect <bootstrap>) herstellen können.
    • Testen Sie, ob Sie Nachrichten von einem Kafka-Client veröffentlichen oder konsumieren können, der auf OCI im selben Subnetz ausgeführt wird, das mit der Drittanbieter-Cloud verbunden ist. Wenn dies nicht erfolgreich ist, prüfen Sie Ihre Netzwerkeinstellungen in OCI und der Drittanbieter-Cloud.