Hinweis:
- Dieses Tutorial erfordert Zugriff auf Oracle Cloud. Informationen zur Registrierung für einen kostenlosen Account finden Sie unter Erste Schritte mit Oracle Cloud Infrastructure Free Tier.
- Es verwendet Beispielwerte für Oracle Cloud Infrastructure-Zugangsdaten, -Mandanten und -Compartments. Ersetzen Sie diese Werte nach Abschluss der Übung durch Werte, die für Ihre Cloud-Umgebung spezifisch sind.
Mit Resource Principal über Oracle Big Data Service-Cluster auf OCI Object Storage-Buckets zugreifen
Einführung
Oracle Big Data Service ist ein cloud-basierter Service von Oracle, mit dem Benutzer Hadoop-Cluster, Spark-Cluster, Trino und andere Big Data-Services erstellen und verwalten können. Oracle Cloud Infrastructure (OCI) ermöglicht eine nahtlose Integration zwischen Oracle Big Data Service-Clustern und OCI Object Storage mit Resource Principal.
In diesem Tutorial werden Sie durch die Aufgaben zum Konfigurieren und Aufrufen des OCI Object Storage-Buckets aus einem Oracle Big Data Service-Cluster geführt. Dabei wird der Resource Principal für die sichere Authentifizierung verwendet.
Ziele
-
Konfigurieren Sie Oracle Big Data Service für den Zugriff auf OCI Object Storage mit Resource Principal.
-
Richten Sie Policys in OCI ein.
-
Testen Sie den Bucket-Zugriff über das Oracle Big Data Service-Cluster.
Voraussetzungen
-
Oracle Big Data Service-Cluster bereitgestellt.
-
Zugriff auf einen OCI-Mandanten.
-
Berechtigungen zum Erstellen von Policys in OCI.
Aufgabe 1: Policys erstellen
-
Melden Sie sich bei der OCI-Konsole an, navigieren Sie zu ID und Sicherheit, und klicken Sie auf Policys.
-
Erstellen Sie die folgenden Policys, um dem Oracle Big Data Service-Cluster Zugriff auf den OCI Object Storage-Bucket zu erteilen.
allow any-user to read buckets in tenancy where ALL {request.principal.id='<BDS OCID>', target.bucket.name='<bucket name>'} allow any-user to read objects in tenancy where ALL {request.principal.id='<BDS OCID>', target.bucket.name='<bucket name>'}
Hinweis: Ersetzen Sie
<BDS OCID>
und<bucket name>
durch die Oracle Big Data Service-Cluster-OCID bzw. den Bucket-Namen.
Aufgabe 2: Resource Principal im Oracle Big Data Service-Cluster erstellen
-
Gehen Sie zur OCI-Konsole, navigieren Sie zu Analysen und KI, und klicken Sie auf Big Data Service.
-
Klicken Sie auf das bereitgestellte Cluster.
-
Klicken Sie auf Resource Principal und Resource Principal erstellen.
-
Geben Sie Anzeigename und Lebensdauer des Sessiontokens (in Stunden) ein, und klicken Sie auf Erstellen.
Aufgabe 3: Konfiguration des verteilten Hadoop-Dateisystems (HDFS) aktualisieren
-
Navigieren Sie zur Apache Ambari-Konsole, und navigieren Sie zu HDFS, Konfigurationen und Erweitert.
-
Aktualisieren Sie die folgenden Eigenschaften für Ihre HDFS-Konfiguration.
fs.oci.client.custom.authenticator=com.oracle.oci.bds.commons.auth.BDSResourcePrincipalAuthenticator fs.oci.client.regionCodeOrId=us-region-1 fs.oci.rp.pem.passphrase.path=/etc/security/tokens/rpst.pass fs.oci.rp.pem.path=/etc/security/tokens/rpst.pem fs.oci.rp.rpst.path=/etc/security/tokens/rpst.token
Hinweis: Die Gruppe
bds_rp_users
ist Eigentümer des Tokens und der Schlüsselrpst
für diesen Resource Principal im Cluster. -
Speichern Sie die Änderungen, und starten Sie die erforderlichen Services in Apache Ambari neu.
Aufgabe 4: Umgebungsvariablen festlegen (Optional)
Stellen Sie für Anwendungen, die über das OCI Software Development Kit (SDK) oder andere Clients auf den Bucket zugreifen, sicher, dass die folgenden Umgebungsvariablen festgelegt sind.
OCI_RESOURCE_PRINCIPAL_VERSION=2.2
OCI_RESOURCE_PRINCIPAL_PRIVATE_PEM=/etc/security/tokens/rpst.pem
OCI_RESOURCE_PRINCIPAL_REGION=us-region-1
OCI_RESOURCE_PRINCIPAL_RPST=/etc/security/tokens/rpst.token
Aufgabe 5: Zugriff auf OCI Object Storage-Buckets testen
Stellen Sie eine SSH-Verbindung zum Oracle Big Data Service-Cluster her, und testen Sie den Zugriff auf den Bucket mit HDFS-Befehlen.
hdfs dfs -ls oci://<bucket name>@<namespace>/
Hinweis: Ersetzen Sie
<bucket name>
durch den OCI-Bucket, der in Policys verwendet wird, und den Wert<namespace>
.
Fehlerbehebung und Tipps
-
Core-site.xml
-Verifizierung: Wenn auf den Bucket-Inhalt nicht zugegriffen werden kann, prüfen Sie, ob die Dateicore-site.xml
ordnungsgemäß von Apache Ambari generiert wurde und die korrekten Konfigurationswerte für den Resource Principal enthält. -
HDFS-Neustart: Stellen Sie nach dem Aktualisieren der HDFS-Konfiguration sicher, dass alle erforderlichen Services neu gestartet werden, um die Änderungen anzuwenden.
-
Policy-Geltungsbereich: Prüfen Sie, ob die Policys korrekt definiert und auf das Oracle Big Data Service-Cluster angewendet wurden.
Nächste Schritte
-
Entdecken Sie erweiterte OCI SDK-Integrationen für einen komplexeren Datenzugriff.
-
Daten mit
DistCp
hochladen und herunterladen: Nachdem Sie den Bucket-Zugriff eingerichtet haben, können Sie mit demDistCp
-Befehl von Hadoop große Datasets effizient zwischen HDFS und OCI Object Storage übertragen. Dies ist besonders nützlich für Backup, Migration oder groß angelegte Datenverschiebung. -
Datenübertragung mit Oozie planen: Automatisieren Sie den Upload- und Downloadprozess, indem Sie regelmäßige DistCp-Jobs mit Oozie für wiederkehrende Backups oder Datensynchronisierungen planen.
Verwandte Links
-
Erste Schritte mit einem hochverfügbaren ODH Big Data-Cluster
-
OCI Software Development Kits und Befehlszeilenschnittstelle
Danksagungen
- Autoren - Pavan Upadhyay (Principal Cloud Engineer), Saket Bihari (Principal Cloud Engineer)
Weitere Lernressourcen
Sehen Sie sich andere Übungen zu docs.oracle.com/learn an, oder greifen Sie im Oracle Learning YouTube-Channel auf weitere kostenlose Lerninhalte zu. Besuchen Sie außerdem education.oracle.com/learning-explorer, um Oracle Learning Explorer zu werden.
Die Produktdokumentation finden Sie im Oracle Help Center.
Access OCI Object Storage Buckets from Oracle Big Data Service Cluster Using Resource Principal
G16221-01
September 2024