Documentation sur Oracle Cloud Infrastructure

Utilisation de Kafka Connect

Utilisez Kafka Connect avec Oracle Cloud Infrastructure Streaming.

La rubrique Gestion des configurations Kafka Connect fournit des étapes pour l'utilisation de la console, de l'interface de ligne de commande et de l'API.

Pour utiliser vos connecteurs Kafka avec Oracle Cloud Infrastructure Streaming, créez une configuration Kafka Connect. L'API de diffusion en continu appelle ces ensembles de configurations.

Note

Les configurations Kafka Connect fonctionnent uniquement pour les flux du même compartiment.

Vous pouvez utiliser plusieurs connecteurs Kafka avec la même configuration Kafka Connect. Pour les cas nécessitant la production ou la consommation de flux dans des compartiments distincts ou une capacité supérieure pour éviter d'atteindre les limitations dans la configuration Kafka Connect (par exemple, un trop grand nombre de connecteurs ou des connecteurs avec trop de processus de travail), vous pouvez créer d'autres configurations de connecteur Kafka.

Pour plus d'informations sur la gestion des configurations Kafka Connect, voir Gestion des configurations Kafka Connect.

Connecteurs Kafka

La compatibilité Kafka Connect dans le service de diffusion en continu vous permet de tirer parti des nombreux connecteurs existants de première et de tierce partie pour déplacer des données de vos sources vers vos cibles.

Connecteurs Kafka pour les produits Oracle :

Pour obtenir la liste complète des connecteurs source et récepteur Kafka tiers, voir le centre Confluent Kafka officiel.

Rubriques Kafka Connect

Le service de diffusion en continu crée automatiquement les trois rubriques (configuration, décalage et statut) nécessaires pour utiliser Kafka Connect lorsque vous créez la configuration Kafka Connect. Ces rubriques contiennent l'OCID de la configuration Kafka Connect dans leurs noms.

Placez ces noms de rubrique dans le fichier connect-distributed.properties du connecteur Kafka que vous voulez utiliser avec le service de diffusion en continu.

Par exemple :

# Relevant Kafka Connect setting
config.storage.topic:<connect_configuration_OCID>-config
offset.storage.topic:<connect_configuration_OCID>-offset
status.storage.topic:<connect_configuration_OCID>-status
Note

Ces trois rubriques compactées sont destinées à être utilisées par Kafka Connect et le service de diffusion en continu pour stocker les données de configuration et de gestion d'état. Ne les utilisez pas pour stocker vos données. Pour vous assurer que les rubriques de configuration Kafka Connect sont utilisées aux fins prévues par les connecteurs, il existe des limitations strictes de 50 ko/s et de 50 demandes par seconde pour ces rubriques.

Serveur d'amorçage

Réglez le serveur d'amorçage dans le fichier de propriétés du connecteur Kafka au point d'extrémité pour le service de diffusion en continu sur le port 9092. Par exemple :

streaming.us-phoenix-1.oci.oraclecloud.com:9092
Note

Pour obtenir une liste des points d'extrémité pour le service Diffusion en continu, voir la section Diffusion en continu dans Informations de référence sur les API et les points d'extrémité.

Authentification

L'authentification avec le protocole Kafka utilise des jetons d'authentification et le mécanisme SASL/PLAIN. Vous pouvez générer des jetons dans la page des détails de l'utilisateur de la console. Pour plus d'informations, voir Utilisation de jetons d'authentification.

Conseil

Créez un groupe dédié et accordez à ce groupe l'autorisation de gérer les flux dans le compartiment ou la location approprié. Vous pouvez ensuite générer un jeton d'authentification pour l'utilisateur que vous avez créé et l'utiliser dans votre configuration de client Kafka.

Exemple de fichier de propriétés de connecteur Kafka

Voici un exemple de fichier connect-distributed.properties pour le connecteur Kafka :

bootstrap.servers=<streaming_endpoint>:9092
sasl.mechanism=PLAIN
security.protocol=SASL_PLAINTEXT
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<userid>" password="<authToken>";
producer.sasl.mechanism=PLAIN
producer.security.protocol=SASL_PLAINTEXT
producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<userid>" password="<authToken>";
consumer.sasl.mechanism=PLAIN
consumer.security.protocol=SASL_PLAINTEXT
consumer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<userid>" password="<authToken>";
config.storage.topic:<connect_configuration_OCID>-config
offset.storage.topic:<connect_configuration_OCID>-offset
status.storage.topic:<connect_configuration_OCID>-status

Politique GIA requise

Pour utiliser Oracle Cloud Infrastructure, un administrateur doit être membre d'un groupe auquel l'accès de sécurité est accordé dans une politique par un administrateur de location. Cet accès est requis que vous utilisiez la console ou l'API REST avec une trousse SDK, l'interface de ligne de commande ou un autre outil. Si vous obtenez un message indiquant que vous ne disposez pas de l'autorisation requise, vérifiez auprès de l'administrateur de la location quel type d'accès vous avez et dans quel compartiment votre accès fonctionne.

Pour permettre à un groupe de gérer les configurations Kafka Connect, vous devez créer la politique appropriée dans votre location. Par exemple :

allow group <identity_domain_name>/<group_name> KafkaAdmins to manage connect-harnesses in tenancy

Pour les administrateurs : La politique sous Permettre aux administrateurs de gérer les ressources de diffusion en continu permet au groupe indiqué de tout faire avec la diffusion en continu et les ressources connexes du service de diffusion en continu.

Pour en savoir plus sur les politiques, voir Aperçu des politiques IAM. Pour plus d'informations, voir :