Se connecter au service de diffusion en continu pour OCI avec Apache Kafka

Voyez comment créer une connexion au service de diffusion en continu pour OCI avec Apache Kafka pour utiliser une source ou une cible OCI GoldenGate.

Avant de commencer

Avant de créer la connexion, assurez-vous de :
  • Vérifiez la façon dont OCI GoldenGate se connecte à votre source et à vos cibles.

  • Configurer les politiques requises pour activer l'accès sécurisé au service de chambre forte et aux clés secrètes, telles que l'utilisation de clés secrètes, l'utilisation de chambres fortes et la lecture de regroupements de clés secrètes. Pour plus d'informations, voir Politiques recommandées minimales.

  • Si vous utilisez TLS/mTLS, convertissez le magasin de certificats SSL ou le magasin de certificats SSL et le magasin de clés JKS au format PKCS12 à utiliser dans la connexion.
    1. Utilisez l'utilitaire keytool du JDK pour convertir au format PKCS12.

      Pour le fichier de clés d'accès, l'utilitaire keytool vous invite à entrer un mot de passe, comme illustré dans l'exemple suivant :
      keytool -importkeystore -srckeystore [MY_KEYSTORE.jks] -destkeystore [MY_KEYSTORE.p12] -srcstoretype JKS -deststoretype PKCS12 -deststorepass [PASSWORD_PKCS12]
      Pour le magasin de certificats SSL, l'utilitaire keytool demande un mot de passe, comme illustré dans l'exemple suivant :
      keytool -importkeystore -srckeystore [MY_TRUSTSTORE.jks] -destkeystore [MY_TRUSTSTORE.p12] -srcstoretype JKS -deststoretype PKCS12 -deststorepass [PASSWORD_PKCS12]
    2. Après avoir converti le magasin de clés et le magasin de certificats SSL, ajoutez les lignes suivantes au fichier de propriétés du fournisseur de portlets Kafka, puis enregistrez vos modifications :
      ssl.truststore.type=PKCS12
      ssl.keystore.type=PKCS12
    3. Chargez le fichier dans les propriétés du producteur de la connexion dans la section Paramètres des options avancées.

Créer la connexion au service de diffusion en continu pour OCI avec Apache Kafka source

Pour créer la connexion au service de diffusion en continu pour OCI avec Apache Kafka source :
  1. Dans la page Aperçu d'OCI GoldenGate, cliquez sur Connexions.
    Vous pouvez également cliquer sur Créer une connexion dans la section Démarrer et sauter à l'étape 3.
  2. Dans la page Connexions, cliquez sur Créer une connexion.
  3. Dans la page Créer une connexion, remplissez les champs comme suit :
    1. Dans Nom, entrez un nom pour la connexion.
    2. ((Facultatif) Pour Description, entrez une description qui vous aide à distinguer cette connexion des autres.
    3. (Pour GoldenGate sur multinuage uniquement) Sélectionnez votre abonnement, puis remplissez les champs suivants.
      1. Dans la liste déroulante Compartiment, sélectionnez le compartiment dans lequel réside l'ancre de ressource.
      2. Sélectionnez la région partenaire multinuage.
      3. Sélectionnez votre zone de disponibilité du partenaire. Les options disponibles sont alimentées en fonction de la région partenaire multinuage sélectionnée.
    4. Pour compartiment, sélectionnez le compartiment dans lequel créer la connexion.
    5. Pour Type, sélectionnez Service de diffusion en continu pour OCI avec Apache Kafka dans la liste déroulante.
    6. Pour Serveurs d'amorçage :
      1. Entrez l'hôte et le numéro de port du serveur d' démarrage. Entrez l'adresse IP privée uniquement si le nom d'hôte ne peut pas être résolu à partir de votre sous-réseau ou s'il utilise le protocole SSL/TLS.

        Note :

        Si vous entrez une adresse IP privée, OCI GoldenGate réécrit l'adresse IP privée dans le format ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Conseil :

        Tous les noeuds de la grappe doivent avoir des noms de domaine complets pour permettre le parcours sur des points d'extrémité privés.
      2. (Facultatif) Cliquez sur + Serveur d'initialisation pour ajouter un serveur d'initialisation.
    7. Pour le protocole Security, sélectionnez l'une des options suivantes :
      • Texte brut
      • SASL sur texte brut
      • SASL sur SSL
      • SSL

      Pour plus d'informations sur ces options, voir Gestion de la sécurité des grappes.

  4. Développez Afficher les options avancées. Vous pouvez configurer les options suivantes :
    • Sécurité
      • Désélectionnez Utiliser les clés secrètes de chambre forte que vous préférez ne pas utiliser de clés secrètes de mot de passe pour cette connexion. Si non sélectionné :
        • Sélectionnez Utiliser la clé de chiffrement gérée par Oracle pour laisser toute la gestion des clés de chiffrement à Oracle.
        • Sélectionnez Utiliser la clé de chiffrement gérée par le client pour sélectionner une clé de chiffrement spécifique stockée dans votre chambre forte OCI pour chiffrer vos données d'identification de connexion.
    • Connectivité réseau
      • Point d'extrémité partagé, pour partager un point d'extrémité avec le déploiement affecté. Vous devez autoriser la connectivité à partir de l'adresse IP entrante du déploiement.
      • Point d'extrémité dédié, pour le trafic réseau au moyen d'un point d'extrémité dédié dans le sous-réseau affecté de votre VCN. Vous devez autoriser la connectivité à partir des adresses IP entrantes de cette connexion.

        Note :

    • Paramètres
      • Si vous utilisez cette connexion pour l'extraction, effectuez un glisser-déposer ou sélectionnez le fichier Consommateur ou Propriétés du producteur (.properties).
      • Pour effectuer une capture à partir de Kafka, créez un fichier de propriétés de consommateur Kafka (.properties) avec l'un des désérialisateurs ou convertisseurs suivants :
        • Propriétés de consommateur Kafka pour le désérialisateur JSON :
          key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
          value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
        • Propriétés de consommateur Kafka pour le convertisseur JSON :
          key.converter=org.apache.kafka.connect.json.JsonConverter
          value.converter=org.apache.kafka.connect.json.JsonConverter
        • Propriétés du consommateur Kafka pour le convertisseur Avro :
          key.converter=io.confluent.connect.avro.AvroConverter
          value.converter=io.confluent.connect.avro.AvroConverter
    • Attributs de sécurité : Ajoutez des attributs de sécurité pour contrôler l'accès à cette connexion à l'aide du routage ZPR (Zero Trust Packet Routing).
    • Marqueurs : Ajoutez des marqueurs pour organiser vos ressources.
  5. Cliquez sur Créer.

Une fois la connexion créée, elle apparaît dans la liste Connexions. Assurez-vous d'affecter la connexion à un déploiement pour pouvoir l'utiliser en tant que source ou cible dans une réplication.

Créer la connexion au service de diffusion en continu pour OCI avec Apache Kafka cible

Pour créer la connexion au service de diffusion en continu pour OCI avec Apache Kafka cible :
  1. Dans la page Aperçu d'OCI GoldenGate, cliquez sur Connexions.
    Vous pouvez également cliquer sur Créer une connexion dans la section Démarrer et sauter à l'étape 3.
  2. Dans la page Connexions, cliquez sur Créer une connexion.
  3. Dans la page Créer une connexion, remplissez les champs comme suit :
    1. Dans Nom, entrez un nom pour la connexion.
    2. ((Facultatif) Pour Description, entrez une description qui vous aide à distinguer cette connexion des autres.
    3. (Pour GoldenGate sur multinuage uniquement) Sélectionnez votre abonnement, puis remplissez les champs suivants.
      1. Dans la liste déroulante Compartiment, sélectionnez le compartiment dans lequel réside l'ancre de ressource.
      2. Sélectionnez la région partenaire multinuage.
      3. Sélectionnez votre zone de disponibilité du partenaire. Les options disponibles sont alimentées en fonction de la région partenaire multinuage sélectionnée.
    4. Pour compartiment, sélectionnez le compartiment dans lequel créer la connexion.
    5. Pour Type, sélectionnez Service de diffusion en continu pour OCI avec Apache Kafka dans la liste déroulante.
    6. Pour Serveurs d'amorçage :
      1. Entrez l'hôte et le numéro de port du serveur d' démarrage. Entrez l'adresse IP privée uniquement si le nom d'hôte ne peut pas être résolu à partir de votre sous-réseau ou s'il utilise le protocole SSL/TLS.

        Note :

        Si vous entrez une adresse IP privée, OCI GoldenGate réécrit l'adresse IP privée dans le format ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Conseil :

        Tous les noeuds de la grappe doivent avoir des noms de domaine complets pour permettre le parcours sur des points d'extrémité privés.
      2. (Facultatif) Cliquez sur + Serveur d'initialisation pour ajouter un serveur d'initialisation.
    7. Pour le protocole Security, sélectionnez l'une des options suivantes :
      • Texte brut
      • SASL sur texte brut
      • SASL sur SSL
      • SSL

      Pour plus d'informations sur ces options, voir Gestion de la sécurité des grappes.

  4. Développez Afficher les options avancées. Vous pouvez configurer les options suivantes :
    • Sécurité
      • Désélectionnez Utiliser les clés secrètes de chambre forte que vous préférez ne pas utiliser de clés secrètes de mot de passe pour cette connexion. Si non sélectionné :
        • Sélectionnez Utiliser la clé de chiffrement gérée par Oracle pour laisser toute la gestion des clés de chiffrement à Oracle.
        • Sélectionnez Utiliser la clé de chiffrement gérée par le client pour sélectionner une clé de chiffrement spécifique stockée dans votre chambre forte OCI pour chiffrer vos données d'identification de connexion.
    • Connectivité réseau
      • Point d'extrémité partagé, pour partager un point d'extrémité avec le déploiement affecté. Vous devez autoriser la connectivité à partir de l'adresse IP entrante du déploiement.
      • Point d'extrémité dédié, pour le trafic réseau au moyen d'un point d'extrémité dédié dans le sous-réseau affecté de votre VCN. Vous devez autoriser la connectivité à partir des adresses IP entrantes de cette connexion.

        Note :

    • Paramètres : Pour utiliser la compression Snappy dans la réplication Kafka, glissez-déposez ou sélectionnez Propriétés du producteur et modifiez les paramètres de réplication comme indiqué dans Utilisation de la réplication Kafka dans Compression OCI GoldenGate (Confluent).
    • Attributs de sécurité : Ajoutez des attributs de sécurité pour contrôler l'accès à cette connexion à l'aide du routage ZPR (Zero Trust Packet Routing).
    • Marqueurs : Ajoutez des marqueurs pour organiser vos ressources.
  5. Cliquez sur Créer.

Une fois la connexion créée, elle apparaît dans la liste Connexions. Assurez-vous d'affecter la connexion à un déploiement pour pouvoir l'utiliser en tant que source ou cible dans une réplication.

Dépanner les erreurs de connexion Kafka

La plupart des problèmes de connexion entraînent des erreurs TimeoutException. Par exemple :

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

Si ce message se trouve dans votre fichier de rapport Replicat, vous pouvez :

  • Assurez-vous que le sujet cible est présent ou vérifiez que la création automatique de sujet est activée dans les paramètres Kafka cibles.
  • Assurez-vous qu'aucune règle de pare-feu ne bloque le trafic.
  • Si vous exécutez Kafka sur OCI avec un point d'extrémité privé, assurez-vous d'utiliser le nom de domaine complet interne comme serveur d'amorçage dans server.properties et dans la connexion Kafka.
  • Si vous êtes connecté à un nuage Confluent avec des points d'extrémité privés :
    • Assurez-vous que les zones DNS et les enregistrements DNS sont configurés correctement dans OCI et le nuage de tierce partie cible.
    • Assurez-vous que la connexion réseau entre OCI et le nuage cible fonctionne correctement.
    • Testez que vous pouvez vous connecter au nuage Confluent cible avec OpenSSL (openssl s_client -connect <bootstrap>) à partir d'une machine virtuelle OCI exécutée dans le même sous-réseau connecté au nuage tiers.
    • Testez la possibilité de publier ou de consommer des messages à partir d'un client Kafka s'exécutant sur OCI dans le même sous-réseau connecté au nuage de tierce partie. En cas d'échec, vérifiez les paramètres réseau sur OCI et dans le nuage tiers.