Connexion à Confluent Kafka
Découvrez comment créer une connexion à Confluent Kafka, que vous utilisez avec la connexion au registre de schémas Confluent, afin de servir de source ou de cible dans un déploiement Big Data OCI GoldenGate.
Avant de commencer
- Consultez la façon dont OCI GoldenGate se connecte à la source et aux cibles.
- Configurez les stratégies requises pour activer l'accès sécurisé au coffre et aux clés secrètes, telles que l'utilisation de clés secrètes, l'utilisation de coffres et la lecture de groupes de clés secrètes. Pour plus d'informations, reportez-vous à Stratégies minimales recommandées.
Créer une connexion source
Créer une connexion cible
Créer une connexion à Confluent Cloud avec des liens privés
Private Link vous permet d'accéder à votre cluster Confluent Cloud exécuté sur un cloud tiers via une adresse privée qui existe dans votre réseau virtuel.
Avant de créer la connexion, assurez-vous que vous disposez des éléments suivants :
- Créez une connectivité de réseau privé entre Oracle Cloud Infrastructure (OCI) et le cloud tiers cible.
- Lors de l'ajout de la configuration réseau pour le lien privé dans Confluent Cloud, assurez-vous de sélectionner Résolution DNS privée.
- Configurez des zones DNS et configurez des enregistrements DNS dans le cloud tiers où vous avez configuré Confluent Cloud et dans OCI. Dans OCI, vous pouvez créer des zones dans les vues privées de votre VCN. Dans les zones, vous pouvez ajouter les enregistrements DNS requis.
Vous pouvez utiliser les instructions ci-dessus pour créer la connexion, mais à la place des étapes 5 et 6, procédez comme suit :
- Pour l'étape 3e :
- Fournissez les détails de port et d'hôte des serveurs Bootstrap.
- Vous pouvez ajouter plusieurs serveurs Bootstrap.
- Pour 3f :
- Pour le protocole de sécurité, sélectionnez SASL sur texte brut.
- Saisissez le nom utilisateur et le mot de passe.
Résoudre les erreurs de connexion Kafka
La plupart des problèmes de connexion entraînent des erreurs TimeoutException. Par exemple :
A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not present in metadata after 60000/120000 ms.
Si vous rencontrez ce message dans votre fichier de rapport Replicat, vous pouvez :
- Assurez-vous que le sujet cible est présent ou vérifiez que la création automatique de sujet est activée dans les paramètres Kafka cible.
- Assurez-vous qu'aucune règle de pare-feu ne bloque le trafic.
- Si vous exécutez Kafka sur OCI avec une adresse privée, veillez à utiliser le nom de domaine qualifié complet interne en tant que serveur d'initialisation dans server.properties et dans la connexion Kafka.
- Si vous êtes connecté à un cloud Confluent avec des adresses privées :
- Assurez-vous que les zones DNS et les enregistrements DNS sont configurés correctement dans OCI et le cloud tiers cible.
- Assurez-vous que la connexion réseau entre OCI et le cloud cible fonctionne correctement.
- Testez la connexion au cloud Confluent cible avec OpenSSL (
openssl s_client -connect <bootstrap>
) à partir d'une machine virtuelle OCI exécutée sur le même sous-réseau connecté au cloud tiers. - Testez la possibilité de publier ou d'utiliser des messages à partir d'un client Kafka exécuté sur OCI sur le même sous-réseau connecté au cloud tiers. En cas d'échec, vérifiez vos paramètres réseau à la fois sur OCI et sur le cloud tiers.