Documentation Oracle Cloud Infrastructure

Utilisation de Kafka Connect

Utilisez Kafka Connect avec Oracle Cloud Infrastructure Streaming.

La gestion des configurations Kafka Connect indique les étapes d'utilisation de la console, de l'interface de ligne de commande et de l'API.

Pour utiliser vos connecteurs Kafka avec Oracle Cloud Infrastructure Streaming, créez une configuration Kafka Connect. L'API Streaming appelle ces configurations des outils.

Remarque

Les configurations Kafka Connect ne fonctionnent que pour les flux de données du même compartiment.

Vous pouvez utiliser plusieurs connecteurs Kafka avec la même configuration Kafka Connect. Pour les cas qui nécessitent une production ou une utilisation de flux de données dans des compartiments distincts, ou qui requièrent une capacité supplémentaire afin d'éviter d'atteindre les limites de ralentissement sur la configuration Kafka Connect (par exemple : trop de connecteurs ou connecteurs ayant trop de processus actifs), vous pouvez créer d'autres configurations Kafka Connect.

Pour plus d'informations sur la gestion des configurations Kafka Connect, reportez-vous à Gestion des configurations Kafka Connect.

Connecteurs Kafka

La compatibilité Kafka Connect dans Streaming signifie que vous pouvez utiliser les nombreux connecteurs internes et tiers existants pour déplacer des données des sources vers les cibles.

Connecteurs Kafka pour les produits Oracle :

Pour obtenir la liste complète des connecteurs source et de récepteur Kafka tiers, reportez-vous au Hub officiel de Confluent Kafka.

Rubriques Kafka Connect

Le service Streaming crée automatiquement les trois rubriques (config, offset et status) requises pour utiliser Kafka Connect lors de la création de la configuration Kafka Connect. Le nom de ces rubriques contient l'OCID de la configuration Kafka Connect.

Placez ces noms de rubrique dans le fichier connect-distributed.properties du connecteur Kafka à utiliser avec Streaming.

Par exemple :

# Relevant Kafka Connect setting
config.storage.topic:<connect_configuration_OCID>-config
offset.storage.topic:<connect_configuration_OCID>-offset
status.storage.topic:<connect_configuration_OCID>-status
Remarque

Ces trois rubriques compressées sont destinées à être utilisées par Kafka Connect et Streaming pour stocker les données de configuration et de gestion des états. Ne les utilisez pas pour stocker vos données. Pour s'assurer que les rubriques de la configuration Kafka Connect sont utilisées aux fins prévues par les connecteurs, des limites de ralentissement strictes de 50 ko/s et de 50 tr/s sont mises en place pour elles.

Serveur de démarrage

Définissez le serveur de démarrage dans le fichier de propriétés du connecteur Kafka sur l'adresse de Streaming pour le port 9092. Par exemple :

streaming.us-phoenix-1.oci.oraclecloud.com:9092
Remarque

Pour obtenir la liste des adresses de Streaming, reportez-vous à la section Streaming dans Adresses et référence d'API.

Authentification

L'authentification avec le protocole Kafka utilise des jetons d'authentification et le mécanisme SASL/PLAIN. Vous pouvez générer des jetons sur la page de détails de l'utilisateur de la console. Pour plus d'informations, reportez-vous à Utilisation des jetons d'authentification.

Conseil

Créez un groupe dédié et octroyez-lui le droit d'accès permettant de gérer les flux de données dans la location ou le compartiment approprié. Vous pouvez ensuite générer un jeton d'authentification pour l'utilisateur que vous avez créé et l'utiliser dans votre configuration client Kafka.

Exemple de fichier de propriétés de connecteur Kafka

Voici un exemple de fichier connect-distributed.properties de connecteur Kafka :

bootstrap.servers=<streaming_endpoint>:9092
sasl.mechanism=PLAIN
security.protocol=SASL_PLAINTEXT
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<userid>" password="<authToken>";
producer.sasl.mechanism=PLAIN
producer.security.protocol=SASL_PLAINTEXT
producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<userid>" password="<authToken>";
consumer.sasl.mechanism=PLAIN
consumer.security.protocol=SASL_PLAINTEXT
consumer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<userid>" password="<authToken>";
config.storage.topic:<connect_configuration_OCID>-config
offset.storage.topic:<connect_configuration_OCID>-offset
status.storage.topic:<connect_configuration_OCID>-status

Stratégie IAM requis

Pour utiliser Oracle Cloud Infrastructure, un administrateur doit être membre d'un groupe disposant d'un accès sécurisé dans une stratégie par un administrateur de location. Cet accès est requis, que vous utilisiez la console ou l'API REST avec un kit SDK, une interface de ligne de commande ou un autre outil. Si un message vous indique que vous ne disposez pas des droits d'accès ou des autorisations nécessaires, vérifiez auprès de l'administrateur de location le type d'accès dont vous disposez et le compartiment dans lequel votre accès fonctionne.

Pour autoriser un groupe à gérer des configurations Kafka Connect, vous devez créer la stratégie appropriée dans la location. Par exemple :

allow group <identity_domain_name>/<group_name> KafkaAdmins to manage connect-harnesses in tenancy

Pour les administrateurs : la stratégie dans Autoriser les administrateurs du service Streaming à gérer les ressources Streaming permet au groupe indiqué de réaliser toutes les opérations de transmission en continu et celles relatives aux ressources associées au service Streaming.

Si vous ne connaissez pas les stratégies, reportez-vous à Présentation des stratégies IAM. Pour plus d'informations, reportez-vous à :