JupyterHub in Big Data Service 3.0.26 oder früher verwenden

Die Voraussetzungen müssen erfüllt sein, damit der Benutzer Notizbücher starten kann.

1. Rufen Sie JupyterHub auf.
2. Melden Sie sich mit Administratorzugangsdaten an. Die Autorisierung funktioniert nur, wenn der Benutzer auf dem Linux-Host vorhanden ist. JupyterHub sucht den Benutzer auf dem Linux-Host, während versucht wird, den Notizbuchserver zu starten.
3. Sie werden umgeleitet auf eine Seite mit Serveroptionen, auf der Sie ein Kerberos-Ticket anfordern müssen. Dieses Ticket kann entweder mit dem Kerberos-Principal und der Keytab-Datei oder mit dem Kerberos-Kennwort angefordert werden. Der Clusteradministrator kann den Kerberos- Principal und die Keytab-Datei oder das Kerberosos-Kennwort angeben.

   Sie benötigen das Kerberos-Ticket, um Zugriff auf die HDFS-Verzeichnis und anderen Big-Data-Services zu erhalten, die Sie verwenden möchten.

Die Voraussetzungen müssen erfüllt sein, damit der Benutzer Notizbücher starten kann.

1. Rufen Sie JupyterHub auf.
2. Melden Sie sich mit Administratorzugangsdaten an. Die Autorisierung funktioniert nur, wenn der Benutzer auf dem Linux-Host vorhanden ist. JupyterHub sucht den Benutzer auf dem Linux-Host, während versucht wird, den Notizbuchserver zu starten.

Vor der erfolgreichen Integration von JupyterHub mit Object Storage müssen Sie folgende Schritte ausführen:

• Erstellen Sie einen Bucket im Objektspeicher, um Daten zu speichern.
• Erstellen Sie einen Object Storage-API-Schlüssel.

Folgende Eigenschaften müssen Sie in den Spark-Konfigurationen definieren:

• TenantID
• Userid
• Fingerprint
• PemFilePath
• PassPhrase
• Region

Rufen Sie die Werte für diese Eigenschaften ab:

1. Öffnen Sie das Navigationsmenü, und wählen Sie Analysen und KI aus. Wählen Sie unter Data Lake die Option Big Data Service aus.
2. Wählen Sie auf der Listenseite Cluster das Cluster, mit dem Sie arbeiten möchten. Wenn Sie Hilfe beim Suchen der Listenseite oder des Clusters benötigen, finden Sie weitere Informationen unter Cluster in einem Compartment auflisten.

3. Um Cluster in einem anderen Compartment anzuzeigen, verwenden Sie den Filter Compartment, um die Compartments zu wechseln.

   Sie benötigen die Berechtigung, in einem Compartment zu arbeiten, um die darin enthaltenen Ressourcen anzuzeigen. Wenn Sie nicht sicher sind, welches Compartment zu verwenden ist, wenden Sie sich an einen Administrator. Weitere Informationen finden Sie unter Compartments.

4. Wählen Sie auf der Seite "Clusterdetails" unter Ressourcen die Option Object Storage-API-Schlüssel aus.
5. Wählen Sie im Menü Aktionen (drei Punkte) des API-Schlüssels, den Sie anzeigen möchten, Konfigurationsdatei anzeigen aus.

Die Konfigurationsdatei enthält alle Details der Systemeigenschaften mit Ausnahme der Passphrase. Die Passphrase wird beim Erstellen des Object Storage-API-Schlüssels angegeben. Sie müssen dieselbe Passphrase erneut ermitteln und verwenden.

1. Rufen Sie JupyterHub auf.
2. Öffnen Sie ein neues Notizbuch.
3. Kopieren Sie die folgenden Befehle, und fügen Sie sie ein, um eine Verbindung zu Spark herzustellen.

   import findspark
   findspark.init()
   import pyspark

4. Kopieren Sie die folgenden Befehle, und fügen Sie sie ein, um eine Spark-Session mit den angegebenen Konfigurationen zu erstellen. Ersetzen Sie die Variablen durch die zuvor abgerufenen Systemeigenschaftswerte.

   from pyspark.sql import SparkSession
   
   spark = SparkSession \
       .builder \
       .enableHiveSupport() \
       .config("spark.driver.extraJavaOptions", "-DBDS_OSS_CLIENT_REGION=<Region> -DBDS_OSS_CLIENT_AUTH_TENANTID=<TenantId> -DBDS_OSS_CLIENT_AUTH_USERID=<UserId> -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<FingerPrint> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<PemFile> -DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<PassPhrase>")\
       .config("spark.executor.extraJavaOptions" , "-DBDS_OSS_CLIENT_REGION=<Region> -DBDS_OSS_CLIENT_AUTH_TENANTID=<TenantId> -DBDS_OSS_CLIENT_AUTH_USERID=<UserId> -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<FingerPrint> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<PemFile> -DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<PassPhrase>")\
       .appName("<appname>") \
       .getOrCreate()

5. Kopieren Sie die folgenden Befehle, und fügen Sie sie ein, um die Object Storage-Verzeichnisse und -Dateien zu erstellen und Daten im Parquet-Format zu speichern.

   demoUri = "oci://<BucketName>@<Tenancy>/<DirectoriesAndSubDirectories>/"
   parquetTableUri = demoUri + "<fileName>"
   spark.range(10).repartition(1).write.mode("overwrite").format("parquet").save(parquetTableUri)

6. Kopieren Sie den folgenden Befehl, und fügen Sie ihn ein, um Daten aus Object Storage zu lesen.

   spark.read.format("parquet").load(parquetTableUri).show()

7. Führen Sie das Notizbuch mit all diesen Befehlen aus.

   

Die Ausgabe des Codes wird angezeigt. Sie können in der Konsole zum Objektspeicher-Bucket navigieren und die im Bucket erstellte Datei suchen.