Utilizzo di JupyterHub in Big Data Service 3.0.26 o precedente

I prerequisiti devono essere soddisfatti per l'utente che tenta di generare dinamicamente i notebook.

1. Accedere a JupyterHub.
2. Accedi con le credenziali di amministrazione. L'autorizzazione funziona solo se l'utente è presente sull'host Linux. JupyterHub cerca l'utente sull'host Linux durante il tentativo di generare dinamicamente il server notebook.
3. Si viene reindirizzati a una pagina Opzioni server in cui è necessario richiedere un ticket Kerberos. Questo ticket può essere richiesto utilizzando il principal Kerberos e il file keytab o la password Kerberos. L'amministratore del cluster può fornire il nome principale Kerberos e il file keytab o la password Kerberos.

   Il ticket Kerberos è necessario per accedere alle directory HDFS e ad altri servizi Big Data che si desidera utilizzare.

I prerequisiti devono essere soddisfatti per l'utente che tenta di generare dinamicamente i notebook.

1. Accedere a JupyterHub.
2. Accedi con le credenziali di amministrazione. L'autorizzazione funziona solo se l'utente è presente sull'host Linux. JupyterHub cerca l'utente sull'host Linux durante il tentativo di generare dinamicamente il server notebook.

Prima di poter integrare correttamente JupyterHub con lo storage degli oggetti, devi:

• Creare un bucket nell'area di memorizzazione degli oggetti per memorizzare i dati.
• Creare una chiave API di storage degli oggetti.

Le proprietà da definire nelle configurazioni Spark sono le seguenti:

• TenantID
• Userid
• Fingerprint
• PemFilePath
• PassPhrase
• Region

È possibile recuperare i valori per le seguenti proprietà:

1. Aprire il menu di navigazione e selezionare Analytics e AI. In Data lake, selezionare Big Data Service.
2. Nella pagina della lista Cluster selezionare il cluster che si desidera utilizzare. Se è necessaria assistenza per trovare la pagina della lista o il cluster, vedere Elenca cluster in un compartimento.

3. Per visualizzare i cluster in un compartimento diverso, utilizzare il filtro Compartimento per cambiare compartimento.

   È necessario disporre dell'autorizzazione per lavorare in un compartimento e visualizzare le risorse al suo interno. In caso di dubbi su quale compartimento utilizzare, contattare un amministratore. Per ulteriori informazioni, vedere Introduzione ai compartimenti.

4. Nella pagina Dettagli cluster, in Risorse, selezionare Tasti API di storage degli oggetti.
5. Dal menu Azioni (tre punti) della chiave API che si desidera visualizzare, selezionare Visualizza file di configurazione.

Il file di configurazione include tutti i dettagli delle proprietà di sistema, ad eccezione della passphrase. La passphrase viene specificata durante la creazione della chiave API di storage degli oggetti ed è necessario ricordare e utilizzare la stessa passphrase.

1. Accedere a JupyterHub.
2. Aprire un nuovo notebook.
3. Copiare e incollare i seguenti comandi per connettersi a Spark.

   import findspark
   findspark.init()
   import pyspark

4. Copiare e incollare i comandi seguenti per creare una sessione Spark con le configurazioni specificate. Sostituire le variabili con i valori delle proprietà di sistema recuperati in precedenza.

   from pyspark.sql import SparkSession
   
   spark = SparkSession \
       .builder \
       .enableHiveSupport() \
       .config("spark.driver.extraJavaOptions", "-DBDS_OSS_CLIENT_REGION=<Region> -DBDS_OSS_CLIENT_AUTH_TENANTID=<TenantId> -DBDS_OSS_CLIENT_AUTH_USERID=<UserId> -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<FingerPrint> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<PemFile> -DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<PassPhrase>")\
       .config("spark.executor.extraJavaOptions" , "-DBDS_OSS_CLIENT_REGION=<Region> -DBDS_OSS_CLIENT_AUTH_TENANTID=<TenantId> -DBDS_OSS_CLIENT_AUTH_USERID=<UserId> -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<FingerPrint> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<PemFile> -DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<PassPhrase>")\
       .appName("<appname>") \
       .getOrCreate()

5. Copiare e incollare i comandi seguenti per creare le directory e il file dello storage degli oggetti e memorizzare i dati in formato Parquet.

   demoUri = "oci://<BucketName>@<Tenancy>/<DirectoriesAndSubDirectories>/"
   parquetTableUri = demoUri + "<fileName>"
   spark.range(10).repartition(1).write.mode("overwrite").format("parquet").save(parquetTableUri)

6. Copiare e incollare il comando seguente per leggere i dati dallo storage degli oggetti.

   spark.read.format("parquet").load(parquetTableUri).show()

7. Eseguire il notebook con tutti questi comandi.

   

Viene visualizzato l'output del codice. Puoi passare al bucket di storage degli oggetti dalla console e trovare il file creato nel bucket.