Connexion à Apache Kafka

Découvrez comment créer une connexion à Apache Kafka à utiliser en tant que source ou cible OCI GoldenGate.

Avant de commencer

Avant de créer la connexion, veillez à :

Créer une connexion source

Pour créer une connexion à Apache Kafka source, procédez comme suit :
  1. Sur la page de présentation d'OCI GoldenGate, cliquez sur Connexions.
    Vous pouvez également cliquer sur Créer une connexion sous la section Introduction et passer à l'étape 3.
  2. Sur la page Connexions, cliquez sur Créer une connexion.
  3. Sur la page Créer une connexion, renseignez les champs comme suit :
    1. Dans Nom, saisissez le nom de la connexion.
    2. (Facultatif) Dans Description, entrez une description permettant de distinguer la connexion des autres.
    3. Dans Compartiment, sélectionnez le compartiment dans lequel créer la connexion.
    4. Dans la liste déroulante Type, sélectionnez Apache Kafka.
    5. Sous les serveurs de démarrage :
      1. Saisissez le nom d'hôte et le numéro de port du serveur de démarrage. Entrez l'adresse IP privée uniquement si le nom d'hôte ne peut pas être résolu à partir de votre sous-réseau ou s'il utilise SSL/TLS.
        Remarque

        Si vous entrez une adresse IP privée, OCI GoldenGate réécrit l'adresse IP privée au format ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Conseil :

        Tous les noeuds du cluster doivent disposer de noms de domaine qualifiés complets pour permettre le parcours sur des adresses privées.
      2. (Facultatif) Cliquez sur + Serveur de démarrage pour ajouter un autre serveur de démarrage.
    6. Dans Protocole de sécurité, sélectionnez l'une des options suivantes, puis renseignez les champs correspondants :
      • Texte normal
      • SASL sur texte brut
      • SASL sur SSL
      • SSL
    7. Développez Afficher les options avancées. Vous pouvez configurer les options suivantes :
      • Sécurité
        • Désélectionnez Utiliser les clés secrètes de coffre pour lesquelles vous préférez ne pas utiliser de clés secrètes de mot de passe pour cette connexion. Si cette option n'est pas sélectionnée :
          • Sélectionnez Utiliser la clé de cryptage gérée par Oracle pour laisser Oracle s'occuper de la gestion de la clé de cryptage.
          • Sélectionnez Utiliser une clé de cryptage gérée par le client pour sélectionner une clé de cryptage spécifique stockée dans OCI Vault afin de crypter vos informations d'identification de connexion.
      • Connectivité du réseau
        • Adresse partagée : permet de partager une adresse avec le déploiement affecté. Vous devez autoriser la connectivité à partir de l'adresse IP entrante du déploiement.
        • Adresse dédiée, pour le trafic réseau via une adresse dédiée dans le sous-réseau affecté de votre VCN. Vous devez autoriser la connectivité à partir des adresses IP entrantes de cette connexion.
          Remarque

          • Si l'affectation d'une connexion dédiée reste annulée pendant sept jours, le service la convertit en connexion partagée.
          • En savoir plus sur la connectivité Oracle GoldenGate.
      • Paramètres
        • Propriétés de consommateur Kafka pour le désérialiseur JSON :
          key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
          value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
        • Propriétés de consommateur Kafka pour le convertisseur JSON :
          key.converter=org.apache.kafka.connect.json.JsonConverter
          value.converter=org.apache.kafka.connect.json.JsonConverter
        • Propriétés Kafka Consumer pour le convertisseur Avro :
          key.converter=io.confluent.connect.avro.AvroConverter
          value.converter=io.confluent.connect.avro.AvroConverter
      • Balises : ajoutez des balises pour organiser vos ressources.
  4. Cliquez sur Créer.
Une fois la connexion créée, elle apparaît dans la liste Connexions. Veillez à affecter la connexion à un déploiement pour l'utiliser en tant que source ou cible dans une réplication.

Créer la connexion cible

Pour créer une connexion à Apache Kafka cible, procédez comme suit :
  1. Sur la page de présentation d'OCI GoldenGate, cliquez sur Connexions.
    Vous pouvez également cliquer sur Créer une connexion sous la section Introduction et passer à l'étape 3.
  2. Sur la page Connexions, cliquez sur Créer une connexion.
  3. Sur la page Créer une connexion, renseignez les champs comme suit :
    1. Dans Nom, saisissez le nom de la connexion.
    2. (Facultatif) Dans Description, entrez une description permettant de distinguer la connexion des autres.
    3. Dans Compartiment, sélectionnez le compartiment dans lequel créer la connexion.
    4. Dans la liste déroulante Type, sélectionnez Apache Kafka.
    5. Sous les serveurs de démarrage :
      1. Saisissez le nom d'hôte et le numéro de port du serveur de démarrage. Entrez l'adresse IP privée uniquement si le nom d'hôte ne peut pas être résolu à partir de votre sous-réseau ou s'il utilise SSL/TLS.
        Remarque

        Si vous entrez une adresse IP privée, OCI GoldenGate réécrit l'adresse IP privée au format ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Conseil :

        Tous les noeuds du cluster doivent disposer de noms de domaine qualifiés complets pour permettre le parcours sur des adresses privées.
      2. (Facultatif) Cliquez sur + Serveur de démarrage pour ajouter un autre serveur de démarrage.
    6. Dans Protocole de sécurité, sélectionnez l'une des options suivantes, puis renseignez les champs correspondants :
      • Texte normal
      • SASL sur texte brut
      • SASL sur SSL
      • SSL
    7. Développez Afficher les options avancées. Vous pouvez configurer les options suivantes :
      • Sécurité
        • Désélectionnez Utiliser les clés secrètes de coffre pour lesquelles vous préférez ne pas utiliser de clés secrètes de mot de passe pour cette connexion. Si cette option n'est pas sélectionnée :
          • Sélectionnez Utiliser la clé de cryptage gérée par Oracle pour laisser Oracle s'occuper de la gestion de la clé de cryptage.
          • Sélectionnez Utiliser une clé de cryptage gérée par le client pour sélectionner une clé de cryptage spécifique stockée dans OCI Vault afin de crypter vos informations d'identification de connexion.
      • Connectivité du réseau
        • Adresse partagée : permet de partager une adresse avec le déploiement affecté. Vous devez autoriser la connectivité à partir de l'adresse IP entrante du déploiement.
        • Adresse dédiée, pour le trafic réseau via une adresse dédiée dans le sous-réseau affecté de votre VCN. Vous devez autoriser la connectivité à partir des adresses IP entrantes de cette connexion.
          Remarque

          • Si l'affectation d'une connexion dédiée reste annulée pendant sept jours, le service la convertit en connexion partagée.
          • En savoir plus sur la connectivité Oracle GoldenGate.
      • ParamètresPour utiliser la compression Snappy dans la réplication Kafka, glissez-déplacez ou sélectionnez Propriétés du fournisseur, et modifiez les paramètres de réplication comme indiqué dans Utilisation de la réplication Kafka OCI de compression GoldenGate (confluent).
      • Balises : ajoutez des balises pour organiser vos ressources.
  4. Cliquez sur Créer.
Une fois la connexion créée, elle apparaît dans la liste Connexions. Veillez à affecter la connexion à un déploiement pour l'utiliser en tant que source ou cible dans une réplication.

Résoudre les erreurs de connexion Kafka

La plupart des problèmes de connexion entraînent des erreurs TimeoutException. Par exemple :

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

Si vous rencontrez ce message dans votre fichier de rapport Replicat, vous pouvez :

  • Assurez-vous que le sujet cible est présent ou vérifiez que la création automatique de sujet est activée dans les paramètres Kafka cible.
  • Assurez-vous qu'aucune règle de pare-feu ne bloque le trafic.
  • Si vous exécutez Kafka sur OCI avec une adresse privée, veillez à utiliser le nom de domaine qualifié complet interne en tant que serveur d'initialisation dans server.properties et dans la connexion Kafka.
  • Si vous êtes connecté à un cloud Confluent avec des adresses privées :
    • Assurez-vous que les zones DNS et les enregistrements DNS sont configurés correctement dans OCI et le cloud tiers cible.
    • Assurez-vous que la connexion réseau entre OCI et le cloud cible fonctionne correctement.
    • Testez la connexion au cloud Confluent cible avec OpenSSL (openssl s_client -connect <bootstrap>) à partir d'une machine virtuelle OCI exécutée sur le même sous-réseau connecté au cloud tiers.
    • Testez la possibilité de publier ou d'utiliser des messages à partir d'un client Kafka exécuté sur OCI sur le même sous-réseau connecté au cloud tiers. En cas d'échec, vérifiez vos paramètres réseau à la fois sur OCI et sur le cloud tiers.