Connexion à Confluent Kafka

Découvrez comment créer une connexion à Confluent Kafka, que vous utilisez avec la connexion au registre de schémas Confluent, pour servir de source ou de cible dans un déploiement Big Data OCI GoldenGate.

Avant de commencer

Effectuez les opérations suivantes :

Consultez la façon dont OCI GoldenGate se connecte à la source et aux cibles.
Configurez les stratégies requises pour activer l'accès sécurisé au coffre et aux clés secrètes, telles que l'utilisation de clés secrètes, l'utilisation de coffres et la lecture de groupes de clés secrètes. Pour plus d'informations, reportez-vous à Stratégies minimales recommandées.
Si vous utilisez TLS/ mTLS, convertissez le truststore ou le truststore JKS et le keystore au format PKCS12 à utiliser dans la connexion.
1. Utilisez l'utilitaire keytool du kit JDK pour effectuer la conversion au format PKCS12.
  
  Pour le fichier de clés, l'utilitaire keytool vous invite à saisir un mot de passe, comme indiqué dans l'exemple suivant :
```
keytool -importkeystore -srckeystore [MY_KEYSTORE.jks] -destkeystore [MY_KEYSTORE.p12] -srcstoretype JKS -deststoretype PKCS12 -deststorepass [PASSWORD_PKCS12]
```
  Pour le truststore, l'utilitaire keytool vous invite à saisir un mot de passe, comme indiqué dans l'exemple suivant :
```
keytool -importkeystore -srckeystore [MY_TRUSTSTORE.jks] -destkeystore [MY_TRUSTSTORE.p12] -srcstoretype JKS -deststoretype PKCS12 -deststorepass [PASSWORD_PKCS12]
```
2. Après avoir converti le fichier de clés et le truststore, ajoutez les lignes suivantes au fichier de propriétés du fournisseur de portlets Kafka, puis enregistrez vos modifications :
```
ssl.truststore.type=PKCS12
ssl.keystore.type=PKCS12
```
3. Téléchargez le fichier vers les propriétés du fournisseur de la connexion dans la section Paramètres des options avancées.
Créez une connexion au registre de schéma Confluent à utiliser avec cette connexion. Vous devez ensuite affecter les deux connexions au même déploiement Big Data OCI GoldenGate.

Créer une connexion source

Pour créer une connexion Confluent Kafka source, procédez comme suit :

Sur la page Présentation d'OCI GoldenGate, sélectionnez Connexions.

Vous pouvez également sélectionner Créer une connexion sous la section Démarrage et passer à l'étape 3.
Sur la page Connexions, sélectionnez Créer une connexion.
Sur la page Créer une connexion, renseignez les champs comme suit :
1. Dans Nom, entrez le nom de la connexion.
2. (Facultatif) Dans Description, entrez une description permettant de distinguer la connexion des autres.
3. (Pour GoldenGate sur le multicloud uniquement) Sélectionnez votre abonnement, puis renseignez les champs suivants.
  1. Dans la liste déroulante Compartiment, sélectionnez le compartiment dans lequel réside l'ancre de ressource.
  2. Sélectionnez la région partenaire multicloud.
  3. Sélectionnez votre zone de disponibilité Partenaire. Les options disponibles sont renseignées en fonction de la région partenaire multicloud sélectionnée.
4. Dans Compartiment, sélectionnez le compartiment dans lequel créer la connexion.
5. Dans la liste déroulante Type, sélectionnez Confluent Kafka.
6. Sous les serveurs Bootstrap :
  1. Saisissez le numéro d'hôte et de port du serveur de démarrage. Entrez l'adresse IP privée uniquement si le nom d'hôte ne doit pas être résolu à partir de votre sous-réseau ou s'il utilise SSL/TLS.
    
    Remarque : si vous entrez une adresse IP privée, OCI GoldenGate réécrit l'adresse IP privée au format ip-10-0-0-0.ociggsvc.oracle.vcn.com.
    
    A savoir : Tous les noeuds du cluster doivent avoir des noms de domaine qualifiés complets pour permettre le parcours sur des adresses privées.
  2. (Facultatif) Sélectionnez + Serveur de démarrage pour ajouter un autre serveur de démarrage.
7. Pour le protocole de sécurité, sélectionnez l'une des options suivantes :
  - Texte normal
  - SASL sur texte brut, puis indiquez le nom utilisateur et le mot de passe.
  - SASL sur SSL, puis fournissez les valeurs Username, Password et Truststore et Keystore si nécessaire.
  - SSL, puis fournissez les valeurs Truststore et Keystore si nécessaire.
8. Développez Show advanced options (Afficher les options avancées). Vous pouvez configurer les options suivantes :
  - Sécurité (Security)
    - Désélectionnez Utiliser les clés secrètes de coffre pour lesquelles vous préférez ne pas utiliser de clés secrètes de mot de passe pour cette connexion. Si cette option n'est pas sélectionnée :
      - Sélectionnez Utiliser la clé de cryptage gérée par Oracle pour laisser toutes les clés de cryptage gérées à Oracle.
      - Sélectionnez Utiliser la clé de cryptage gérée par le client pour sélectionner une clé de cryptage spécifique stockée dans OCI Vault afin de crypter vos informations d'identification de connexion.
  - Connectivité réseau
    - Adresse partagée, pour partager une adresse avec le déploiement affecté. Vous devez autoriser la connectivité à partir de l'adresse IP entrante du déploiement.
    - Adresse dédiée, pour le trafic réseau via une adresse dédiée dans le sous-réseau affecté dans votre VCN. Vous devez autoriser la connectivité à partir des adresses IP entrantes de cette connexion.
      Remarque :
      
      Si une connexion dédiée n'est pas affectée pendant sept jours, le service la convertit en connexion partagée.
      
      En savoir plus sur la connectivité Oracle GoldenGate.
  - Paramètres : pour effectuer une capture à partir de Kafka, créez un fichier de propriétés de consommateur Kafka avec l'un des désérialiseurs ou convertisseurs suivants :
    - Propriétés du consommateur Kafka pour le désérialiseur JSON :
```
key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
```
    - Propriétés du consommateur Kafka pour le convertisseur JSON :
```
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
```
    - Propriétés Kafka Consumer pour le convertisseur Avro :
```
key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
```
  - Attributs de sécurité : ajoutez des attributs de sécurité pour contrôler l'accès à cette connexion à l'aide de Zero Trust Packet Routing (ZPR).
  - Balises : ajoutez des balises pour organiser vos ressources.
Choisissez Créer.

La connexion apparaît dans la liste Connexions. Vous pouvez la sélectionner pour en afficher les détails. Veillez également à créer une connexion au registre de schémas Confluent, puis à affecter les deux connexions à un déploiement Big Data.

Créer une connexion cible

Pour créer une connexion Confluent Kafka cible, procédez comme suit :

Sur la page Présentation d'OCI GoldenGate, sélectionnez Connexions.

Vous pouvez également sélectionner Créer une connexion sous la section Démarrage et passer à l'étape 3.
Sur la page Connexions, sélectionnez Créer une connexion.
Sur la page Créer une connexion, renseignez les champs comme suit :
1. Dans Nom, entrez le nom de la connexion.
2. (Facultatif) Dans Description, entrez une description permettant de distinguer la connexion des autres.
3. (Pour GoldenGate sur le multicloud uniquement) Sélectionnez votre abonnement, puis renseignez les champs suivants.
  1. Dans la liste déroulante Compartiment, sélectionnez le compartiment dans lequel réside l'ancre de ressource.
  2. Sélectionnez la région partenaire multicloud.
  3. Sélectionnez votre zone de disponibilité Partenaire. Les options disponibles sont renseignées en fonction de la région partenaire multicloud sélectionnée.
4. Dans Compartiment, sélectionnez le compartiment dans lequel créer la connexion.
5. Dans la liste déroulante Type, sélectionnez Confluent Kafka.
6. Sous les serveurs Bootstrap :
  1. Sélectionnez une méthode de routage de trafic :
  2. Saisissez le numéro d'hôte et de port du serveur de démarrage. Entrez l'adresse IP privée uniquement si le nom d'hôte ne doit pas être résolu à partir de votre sous-réseau ou s'il utilise SSL/TLS.
    
    Remarque : si vous entrez une adresse IP privée, OCI GoldenGate réécrit l'adresse IP privée au format ip-10-0-0-0.ociggsvc.oracle.vcn.com.
    
    A savoir : Tous les noeuds du cluster doivent avoir des noms de domaine qualifiés complets pour permettre le parcours sur des adresses privées.
  3. (Facultatif) Sélectionnez + Serveur de démarrage pour ajouter un autre serveur de démarrage.
7. Pour le protocole de sécurité, sélectionnez l'une des options suivantes :
  - Texte normal
  - SASL sur texte brut, puis indiquez le nom utilisateur et le mot de passe.
  - SASL sur SSL, puis fournissez les valeurs Username, Password et Truststore et Keystore si nécessaire.
  - SSL, puis fournissez les valeurs Truststore et Keystore si nécessaire.
8. Développez Show advanced options (Afficher les options avancées). Vous pouvez configurer les options suivantes :
  - Sécurité (Security)
    - Désélectionnez Utiliser les clés secrètes de coffre pour lesquelles vous préférez ne pas utiliser de clés secrètes de mot de passe pour cette connexion. Si cette option n'est pas sélectionnée :
      - Sélectionnez Utiliser la clé de cryptage gérée par Oracle pour laisser toutes les clés de cryptage gérées à Oracle.
      - Sélectionnez Utiliser la clé de cryptage gérée par le client pour sélectionner une clé de cryptage spécifique stockée dans OCI Vault afin de crypter vos informations d'identification de connexion.
  - Connectivité réseau
    - Adresse partagée, pour partager une adresse avec le déploiement affecté. Vous devez autoriser la connectivité à partir de l'adresse IP entrante du déploiement.
    - Adresse dédiée, pour le trafic réseau via une adresse dédiée dans le sous-réseau affecté dans votre VCN. Vous devez autoriser la connectivité à partir des adresses IP entrantes de cette connexion.
      Remarque :
      
      Si une connexion dédiée n'est pas affectée pendant sept jours, le service la convertit en connexion partagée.
      
      En savoir plus sur la connectivité Oracle GoldenGate.
  - Paramètres : pour utiliser la compression Snappy dans la réplication Kafka, glissez-déplacez ou sélectionnez Propriétés du fournisseur, et modifiez les paramètres de réplication comme indiqué dans Utilisation de la réplication Kafka OCI GoldenGate (Confluent) de compression.
  - Attributs de sécurité : ajoutez des attributs de sécurité pour contrôler l'accès à cette connexion à l'aide de Zero Trust Packet Routing (ZPR).
  - Balises : ajoutez des balises pour organiser vos ressources.
Choisissez Créer.

Créer une connexion au cloud Confluent avec des liens privés

Private Link vous permet d'accéder à votre cluster Confluent Cloud exécuté sur un cloud tiers via une adresse privée qui existe dans votre réseau virtuel.

Avant de créer la connexion, assurez-vous que vous disposez des éléments suivants :

Créez une connectivité de réseau privé entre Oracle Cloud Infrastructure (OCI) et le cloud tiers cible.
Lors de l'ajout d'une configuration réseau pour une liaison privée dans le cloud Confluent, veillez à sélectionner Résolution DNS privée.
Configurez des zones DNS et configurez des enregistrements DNS dans le cloud tiers où vous avez configuré Confluent Cloud et dans OCI. Dans OCI, vous pouvez créer des zones dans les vues privées de votre VCN. Dans les zones, vous pouvez ajouter les enregistrements DNS requis.

Vous pouvez utiliser les instructions ci-dessus pour créer la connexion, mais à la place des étapes 5 et 6, procédez comme suit :

Pour l'étape 3e :
- Fournissez les détails de port et d'hôte des serveurs Bootstrap.
- Vous pouvez ajouter plusieurs serveurs Bootstrap.
Pour 3f :
- Pour le protocole de sécurité, sélectionnez SASL sur texte brut.
- Entrez le nom d'utilisateur et le mot de passe.

Etapes suivantes

Résoudre les erreurs de connexion Kafka

La plupart des problèmes de connexion entraînent des erreurs TimeoutException. Exemple :

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

Si ce message s'affiche dans votre fichier de rapport Replicat, vous pouvez :

Assurez-vous que la rubrique cible est présente ou vérifiez que la création automatique de rubrique est activée dans les paramètres Kafka cible.
Assurez-vous qu'aucune règle de pare-feu ne bloque le trafic.
Si vous exécutez Kafka sur OCI avec une adresse privée, assurez-vous d'utiliser le nom de domaine qualifié complet interne comme serveur d'amorçage dans server.properties et dans la connexion Kafka.
Si vous êtes connecté à un cloud Confluent avec des adresses privées :
- Assurez-vous que les zones DNS et les enregistrements DNS sont configurés correctement dans OCI et dans le cloud tiers cible.
- Assurez-vous que la connexion réseau entre OCI et le cloud cible fonctionne correctement.
- Vérifiez que vous pouvez vous connecter au cloud Confluent cible avec OpenSSL (openssl s_client -connect <bootstrap>) à partir d'une machine virtuelle OCI exécutée sur le même sous-réseau connecté au cloud tiers.
- Testez que vous pouvez publier ou utiliser des messages à partir d'un client Kafka exécuté sur OCI au sein du même sous-réseau connecté au cloud tiers. En cas d'échec, vérifiez les paramètres réseau sur OCI et le cloud tiers.