Note :
- Ce tutoriel nécessite l'accès à Oracle Cloud. Pour vous inscrire à un compte gratuit, voir Introduction à l' niveau gratuit d'Oracle Cloud Infrastructure.
- Il utilise des exemples de valeurs pour les données d'identification, la location et les compartiments Oracle Cloud Infrastructure. À la fin de votre laboratoire, remplacez ces valeurs par celles propres à votre environnement en nuage.
Accéder aux seaux de stockage d'objets OCI à partir d'une grappe Oracle Big Data Service à l'aide d'un principal de ressource
Présentation
Oracle Big Data Service est un service en nuage fourni par Oracle qui permet aux utilisateurs de créer et de gérer des grappes Hadoop, des grappes Spark, Trino et d'autres services de mégadonnées. Oracle Cloud Infrastructure (OCI) permet une intégration transparente entre les grappes Oracle Big Data Service et le service de stockage d'objets OCI à l'aide du principal de ressource.
Ce tutoriel vous guidera tout au long des tâches de configuration du seau de stockage d'objets OCI à partir d'une grappe Oracle Big Data Service et d'accès à celui-ci, en tirant parti du principal de ressource pour une authentification sécurisée.
Objectifs
-
Configurez Oracle Big Data Service pour accéder au service de stockage d'objets OCI à l'aide du principal de ressource.
-
Configurez des politiques dans OCI.
-
Testez l'accès au seau à partir de la grappe Oracle Big Data Service.
Préalables
-
Grappe Oracle Big Data Service déployée.
-
Accès à une location OCI.
-
Autorisations pour créer des politiques dans OCI.
Tâche 1 : Créer des politiques
-
Connectez-vous à la console OCI, naviguez jusqu'à Identité et sécurité et cliquez sur Politiques.
-
Créez les politiques suivantes pour accorder à la grappe Oracle Big Data Service l'accès au seau de stockage d'objets OCI.
allow any-user to read buckets in tenancy where ALL {request.principal.id='<BDS OCID>', target.bucket.name='<bucket name>'} allow any-user to read objects in tenancy where ALL {request.principal.id='<BDS OCID>', target.bucket.name='<bucket name>'}
Note : Remplacez
<BDS OCID>
et<bucket name>
par l'OCID de la grappe Oracle Big Data Service et le nom du seau, respectivement.
Tâche 2 : Créer un principal de ressource dans la grappe Oracle Big Data Service
-
Allez à la console OCI, naviguez jusqu'à Analyse et intelligence artificielle et cliquez sur Service de mégadonnées.
-
Cliquez sur votre grappe déployée.
-
Cliquez sur Principal de ressource et sur Créer un principal de ressource.
-
Entrez le nom d'affichage et la durée de vie du jeton de session (en heures), puis cliquez sur Créer.
Tâche 3 : Mettre à jour la configuration du système de fichiers distribué (HDFS) Hadoop
-
Allez à la console Apache Ambari, naviguez jusqu'à HDFS, Configurations et Avancé.
-
Mettez à jour les propriétés suivantes pour votre configuration HDFS.
fs.oci.client.custom.authenticator=com.oracle.oci.bds.commons.auth.BDSResourcePrincipalAuthenticator fs.oci.client.regionCodeOrId=us-region-1 fs.oci.rp.pem.passphrase.path=/etc/security/tokens/rpst.pass fs.oci.rp.pem.path=/etc/security/tokens/rpst.pem fs.oci.rp.rpst.path=/etc/security/tokens/rpst.token
Note : Le groupe
bds_rp_users
possède le jeton et les clésrpst
pour ce principal de ressource dans la grappe. -
Enregistrez les modifications et redémarrez les services nécessaires dans Apache Ambari.
Tâche 4 : Définir les variables d'environnement (Facultatif)
Pour les applications accédant au seau au moyen de la trousse SDK ou d'autres clients OCI, assurez-vous que les variables d'environnement suivantes sont définies.
OCI_RESOURCE_PRINCIPAL_VERSION=2.2
OCI_RESOURCE_PRINCIPAL_PRIVATE_PEM=/etc/security/tokens/rpst.pem
OCI_RESOURCE_PRINCIPAL_REGION=us-region-1
OCI_RESOURCE_PRINCIPAL_RPST=/etc/security/tokens/rpst.token
Tâche 5 : Tester l'accès au seau de stockage d'objets OCI
Accédez par SSH à la grappe Oracle Big Data Service et testez l'accès au seau à l'aide des commandes HDFS.
hdfs dfs -ls oci://<bucket name>@<namespace>/
Note : Veillez à remplacer
<bucket name>
par votre seau OCI utilisé dans les politiques et la valeur<namespace>
.
Dépannage et conseils
-
Vérification
Core-site.xml
: Si le contenu du seau n'est pas accessible, vérifiez si le fichiercore-site.xml
a été généré correctement par Apache Ambari et contient les valeurs de configuration du principal de ressource correctes. -
Redémarrage HDFS : Après avoir mis à jour la configuration HDFS, assurez-vous que tous les services nécessaires sont redémarrés pour appliquer les modifications.
-
Portée de la politique : Vérifiez que les politiques sont correctement définies et appliquées à votre grappe Oracle Big Data Service.
Étapes suivantes
-
Explorez les intégrations avancées de la trousse SDK pour OCI pour un accès aux données plus sophistiqué.
-
Charger et télécharger des données à l'aide de
DistCp
: Après avoir configuré l'accès au seau, vous pouvez utiliser la commandeDistCp
de Hadoop pour transférer efficacement des jeux de données volumineux entre HDFS et le stockage d'objets OCI. Cette fonction est particulièrement utile pour les sauvegardes, les migrations et les déplacements de données à grande échelle. -
Programmer le transfert de données avec Oozie : Automatisez le processus de chargement et de téléchargement en programmant des tâches DistCp régulières à l'aide d'Oozie pour des sauvegardes récurrentes ou la synchronisation des données.
Liens connexes
-
Introduction à une grappe de service de mégadonnées ODH à haute disponibilité
-
Kits de développement de logiciels OCI et interface de ligne de commande
Confirmation
- Auteurs - Pavan Upadhyay (ingénieur en nuage principal), Saket Bihari (ingénieur en nuage principal)
Autres ressources d'apprentissage
Explorez d'autres laboratoires sur la page docs.oracle.com/learn ou accédez à plus de contenu d'apprentissage gratuit sur le canal YouTube d'Oracle Learning. De plus, visitez education.oracle.com/learning-explorer pour devenir un explorateur Oracle Learning.
Pour obtenir de la documentation sur le produit, visitez Oracle Help Center.
Access OCI Object Storage Buckets from Oracle Big Data Service Cluster Using Resource Principal
G16223-01
September 2024