Se connecter à Apache Kafka

Voyez comment créer une connexion à Apache Kafka à utiliser en tant que source ou cible pour OCI GoldenGate.

Avant de commencer

Avant de créer la connexion, assurez-vous de :

Créer une connexion source

Pour créer une connexion à Apache Kafka source :
  1. Dans la page Aperçu d'OCI GoldenGate, cliquez sur Connexions.
    Vous pouvez également cliquer sur Créer une connexion dans la section Démarrer et passer à l'étape 3.
  2. Dans la page Connexions, cliquez sur Créer une connexion.
  3. Dans la page Create Connection, remplissez les champs comme suit :
    1. Dans Nom, entrez un nom pour la connexion.
    2. (Facultatif) Pour Description, entrez une description qui vous aide à distinguer cette connexion des autres.
    3. Pour compartiment, sélectionnez le compartiment dans lequel créer la connexion.
    4. Dans la liste déroulante Type, sélectionnez Apache Kafka.
    5. Sous Bootstrap server :
      1. Entrez le numéro d'hôte et le numéro de port du serveur d'amorçage. Entrez l'adresse IP privée uniquement si le nom d'hôte ne peut pas être résolu à partir de votre sous-réseau ou s'il utilise le protocole SSL/TLS.

        Note :

        Si vous entrez une adresse IP privée, OCI GoldenGate réécrit l'adresse IP privée dans le format ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Conseil :

        Tous les noeuds de la grappe doivent avoir des noms de domaine complets pour permettre le parcours sur des points d'extrémité privés.
      2. (Facultatif) Cliquez sur + Serveur d'amorçage pour ajouter un serveur d'amorçage.
    6. Pour Protocole de sécurité, sélectionnez l'une des options suivantes, puis remplissez les champs correspondants :
      • Texte brut
      • SASL sur texte brut
      • SASL sur SSL
      • SSL
    7. Développez Afficher les options avancées. Vous pouvez configurer les options suivantes :
      • Sécurité
        • Désélectionnez Utiliser les clés secrètes de chambre forte que vous préférez ne pas utiliser de clés secrètes de mot de passe pour cette connexion. Si non sélectionné :
          • Sélectionnez Utiliser une clé de chiffrement gérée par Oracle pour laisser toute la gestion des clés de chiffrement à Oracle.
          • Sélectionnez Utiliser une clé de chiffrement gérée par le client pour sélectionner une clé de chiffrement spécifique stockée dans votre chambre forte OCI pour chiffrer vos données d'identification de connexion.
      • Connectivité réseau
        • Point d'extrémité partagé, pour partager un point d'extrémité avec le déploiement affecté. Vous devez autoriser la connectivité à partir de l'adresse IP entrante du déploiement.
        • Point d'extrémité dédié, pour le trafic réseau au moyen d'un point d'extrémité dédié dans le sous-réseau affecté dans votre VCN. Vous devez autoriser la connectivité à partir des adresses IP entrantes de cette connexion.

          Note :

          • Si une connexion dédiée reste non affectée pendant sept jours, le service la convertit en une connexion partagée.
          • En savoir plus sur la connectivité à Oracle GoldenGate.
      • Paramètres
        • Propriétés du consommateur Kafka pour le désérialiseur JSON :
          key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
          value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
        • Propriétés du consommateur Kafka pour le convertisseur JSON :
          key.converter=org.apache.kafka.connect.json.JsonConverter
          value.converter=org.apache.kafka.connect.json.JsonConverter
        • Propriétés du consommateur Kafka pour le convertisseur Avro :
          key.converter=io.confluent.connect.avro.AvroConverter
          value.converter=io.confluent.connect.avro.AvroConverter
      • Marqueurs : Ajoutez des marqueurs pour organiser vos ressources.
  4. Cliquez sur Créer.
Une fois la connexion créée, elle apparaît dans la liste Connexions. Assurez-vous d'affecter la connexion à un déploiement pour pouvoir l'utiliser en tant que source ou cible dans une réplication.

Créer la connexion cible

Pour créer une connexion à Apache Kafka cible :
  1. Dans la page Aperçu d'OCI GoldenGate, cliquez sur Connexions.
    Vous pouvez également cliquer sur Créer une connexion dans la section Démarrer et passer à l'étape 3.
  2. Dans la page Connexions, cliquez sur Créer une connexion.
  3. Dans la page Create Connection, remplissez les champs comme suit :
    1. Dans Nom, entrez un nom pour la connexion.
    2. (Facultatif) Pour Description, entrez une description qui vous aide à distinguer cette connexion des autres.
    3. Pour compartiment, sélectionnez le compartiment dans lequel créer la connexion.
    4. Dans la liste déroulante Type, sélectionnez Apache Kafka.
    5. Sous Bootstrap server :
      1. Entrez le numéro d'hôte et le numéro de port du serveur d'amorçage. Entrez l'adresse IP privée uniquement si le nom d'hôte ne peut pas être résolu à partir de votre sous-réseau ou s'il utilise le protocole SSL/TLS.

        Note :

        Si vous entrez une adresse IP privée, OCI GoldenGate réécrit l'adresse IP privée dans le format ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Conseil :

        Tous les noeuds de la grappe doivent avoir des noms de domaine complets pour permettre le parcours sur des points d'extrémité privés.
      2. (Facultatif) Cliquez sur + Serveur d'amorçage pour ajouter un serveur d'amorçage.
    6. Pour Protocole de sécurité, sélectionnez l'une des options suivantes, puis remplissez les champs correspondants :
      • Texte brut
      • SASL sur texte brut
      • SASL sur SSL
      • SSL
    7. Développez Afficher les options avancées. Vous pouvez configurer les options suivantes :
      • Sécurité
        • Désélectionnez Utiliser les clés secrètes de chambre forte que vous préférez ne pas utiliser de clés secrètes de mot de passe pour cette connexion. Si non sélectionné :
          • Sélectionnez Utiliser une clé de chiffrement gérée par Oracle pour laisser toute la gestion des clés de chiffrement à Oracle.
          • Sélectionnez Utiliser une clé de chiffrement gérée par le client pour sélectionner une clé de chiffrement spécifique stockée dans votre chambre forte OCI pour chiffrer vos données d'identification de connexion.
      • Connectivité réseau
        • Point d'extrémité partagé, pour partager un point d'extrémité avec le déploiement affecté. Vous devez autoriser la connectivité à partir de l'adresse IP entrante du déploiement.
        • Point d'extrémité dédié, pour le trafic réseau au moyen d'un point d'extrémité dédié dans le sous-réseau affecté dans votre VCN. Vous devez autoriser la connectivité à partir des adresses IP entrantes de cette connexion.

          Note :

          • Si une connexion dédiée reste non affectée pendant sept jours, le service la convertit en une connexion partagée.
          • En savoir plus sur la connectivité à Oracle GoldenGate.
      • ParamètresPour utiliser la compression Snappy dans la réplication Kafka, glissez-déposez ou sélectionnez Propriétés du producteur et modifiez les paramètres de réplication comme indiqué dans Utilisation de la réplication Kafka dans Compression OCI GoldenGate (Confluent).
      • Marqueurs : Ajoutez des marqueurs pour organiser vos ressources.
  4. Cliquez sur Créer.
Une fois la connexion créée, elle apparaît dans la liste Connexions. Assurez-vous d'affecter la connexion à un déploiement pour pouvoir l'utiliser en tant que source ou cible dans une réplication.

Dépanner les erreurs de connexion Kafka

La plupart des problèmes de connexion entraînent des erreurs TimeoutException. Par exemple :

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

Si vous rencontrez ce message dans votre fichier de rapport Replicat, vous pouvez :

  • Assurez-vous que le sujet cible est présent ou vérifiez que la création automatique de sujet est activée dans les paramètres Kafka cibles.
  • Assurez-vous qu'aucune règle de pare-feu ne bloque le trafic.
  • Si vous exécutez Kafka sur OCI avec un point d'extrémité privé, assurez-vous d'utiliser le nom de domaine complet interne comme serveur d'amorçage dans server.properties et dans la connexion Kafka.
  • Si vous êtes connecté à un nuage Confluent avec des points d'extrémité privés :
    • Assurez-vous que les zones DNS et les enregistrements DNS sont configurés correctement dans OCI et dans le nuage de tierce partie cible.
    • Assurez-vous que la connexion réseau entre OCI et le nuage cible fonctionne correctement.
    • Testez que vous pouvez vous connecter au nuage Confluent cible avec OpenSSL (openssl s_client -connect <bootstrap>) à partir d'une machine virtuelle OCI s'exécutant dans le même sous-réseau connecté au nuage de tierce partie.
    • Testez que vous pouvez publier ou consommer des messages à partir d'un client Kafka s'exécutant sur OCI dans le même sous-réseau connecté au nuage de tierce partie. En cas d'échec, vérifiez vos paramètres de réseau sur OCI et le nuage de tierce partie.