Remarques :

Accéder aux buckets OCI Object Storage à partir du cluster Oracle Big Data Service à l'aide du principal de ressource

Introduction

Oracle Big Data Service est un service cloud fourni par Oracle qui permet aux utilisateurs de créer et de gérer des clusters Hadoop, des clusters Spark, Trino et d'autres services Big Data. Oracle Cloud Infrastructure (OCI) permet une intégration transparente entre les clusters Oracle Big Data Service et OCI Object Storage à l'aide du principal de ressource.

Ce tutoriel vous guidera tout au long des tâches de configuration et d'accès au bucket OCI Object Storage à partir d'un cluster Oracle Big Data Service, en tirant parti du principal de ressource pour une authentification sécurisée.

Objectifs

Prérequis

Tâche 1 : créer des stratégies

  1. Connectez-vous à la console OCI, accédez à Identité et sécurité et cliquez sur Stratégies.

  2. Créez les stratégies suivantes pour accorder au cluster Oracle Big Data Service l'accès au bucket OCI Object Storage.

    allow any-user to read buckets in tenancy where ALL {request.principal.id='<BDS OCID>', target.bucket.name='<bucket name>'}

allow any-user to read objects in tenancy where ALL {request.principal.id='<BDS OCID>', target.bucket.name='<bucket name>'}

    Remarque : remplacez <BDS OCID> et <bucket name> par l'OCID de cluster Oracle Big Data Service et le nom de bucket, respectivement.

Tâche 2 : création du principal de ressource dans le cluster Oracle Big Data Service

  1. Accédez à la console OCI, accédez à Analytics et IA et cliquez sur Big Data Service.

  2. Cliquez sur le cluster déployé.

  3. Cliquez sur Principal de ressource et sur Créer un principal de ressource.

  4. Entrez le nom d'affichage et la durée de vie du jeton de session (en heures), puis cliquez sur Créer.

Tâche 3 : mettre à jour la configuration du système de fichiers distribué Hadoop (HDFS)

  1. Accédez à la console Apache Ambari, accédez à HDFS, à Configurations et à Advanced.

  2. Mettez à jour les propriétés suivantes pour votre configuration HDFS.

    fs.oci.client.custom.authenticator=com.oracle.oci.bds.commons.auth.BDSResourcePrincipalAuthenticator
fs.oci.client.regionCodeOrId=us-region-1
fs.oci.rp.pem.passphrase.path=/etc/security/tokens/rpst.pass
fs.oci.rp.pem.path=/etc/security/tokens/rpst.pem
fs.oci.rp.rpst.path=/etc/security/tokens/rpst.token

    Remarque : le groupe bds_rp_users possède le jeton rpst et les clés de ce principal de ressource dans le cluster.

  3. Enregistrez les modifications et redémarrez les services nécessaires dans Apache Ambari.

Tâche 4 : définition des variables d'environnement (facultatif)

Pour les applications accédant au bucket via le kit SDK OCI ou d'autres clients, assurez-vous que les variables d'environnement suivantes sont définies.

OCI_RESOURCE_PRINCIPAL_VERSION=2.2
OCI_RESOURCE_PRINCIPAL_PRIVATE_PEM=/etc/security/tokens/rpst.pem
OCI_RESOURCE_PRINCIPAL_REGION=us-region-1
OCI_RESOURCE_PRINCIPAL_RPST=/etc/security/tokens/rpst.token

Tâche 5 : test de l'accès au bucket OCI Object Storage

Connectez-vous via SSH au cluster Oracle Big Data Service et testez l'accès au bucket à l'aide des commandes HDFS.

hdfs dfs -ls oci://<bucket name>@<namespace>/

Remarque : veillez à remplacer <bucket name> par le bucket OCI utilisé dans les stratégies et la valeur <namespace>.

Dépannage et conseils

Etapes suivantes

Remerciements

Ressources de formation supplémentaires

Explorez d'autres ateliers sur docs.oracle.com/learn ou accédez à d'autres contenus de formation gratuits sur le canal Oracle Learning YouTube. De plus, visitez le site education.oracle.com/learning-explorer pour devenir un explorateur Oracle Learning.

Pour obtenir la documentation produit, consultez le site Oracle Help Center.