Documentation sur Oracle Cloud Infrastructure

Configuration du service de stockage d'objets avec Kafka

Configurez la connexion Kafka au stockage d'objets à l'aide du connecteur S3.

  1. Téléchargez le connecteur d'évier S3.
  2. Démarrez la connexion Kafka, puis copiez le fichier zip dans la grappe où kafka-connect est installé.
  3. Extrayez le fichier zip dans /usr/odh/current/kafka-broker/plugins.
  4. Fournissez l'accès à l'utilisateur Kafka pour le dossier des plugiciels.
  5. Créez un fichier de propriétés (par exemple, connect.properties) avec le paramètre connect.
  6. Mettez à jour le paramètre plugin.path avec le chemin d'accès des plugiciels, /usr/odh/current/kafka-broker/plugins.
  7. Créez connect-log4j.properties sous /usr/odh/current/kafka-broker/config.
    1. Créez de nouvelles clés d'API à partir de la console OCI. Voir Création d'une clé d'API de stockage d'objets pour une grappe.
    2. Générez la clé d'accès et les clés secrètes. Voir Créer des clés secrètes.
  8. Copiez les clés d'accès et de clé secrète.
  9. Exportez les variables d'environnement suivantes requises pour accéder au stockage d'objets.
    • export AWS_SECRET_KEY=<secret key>
    • export AWS_ACCESS_KEY=<access key>
  10. Démarrez le serveur de connexion : 
    sudo -u kafka sh /usr/odh/current/kafka-broker/bin/connect-distributed.sh /usr/odh/current/kafka-broker/config/connect.properties --bootstrap.servers <broker_hostname>:6667
  11. Ajoutez le serveur de stockage d'objets :
    curl
  12. Vérifiez que le connecteur est en cours d'exécution : 
    source /usr/odh/current/kafka-broker/config/kafka-env.sh ; sudo -u kafka sh /usr/odh/current/kafka-broker/bin/kafka-console-producer.sh --broker-list <broker_hostname>:6667 --topic hdfs-kafka --producer.config /usr/odh/current/kafka-broker/config/server.properties
  13. Créez un message et un fichier dans le service de stockage d'objets.