Uso de JupyterHub en Big Data Service 3.0.26 o versiones anteriores

Se deben cumplir los requisitos para que el usuario intente generar blocs de notas.

1. Acceda a JupyterHub.
2. Conéctese con las credenciales de administración. La autorización solo funciona si el usuario está presente en el host de Linux. JupyterHub busca el usuario en el host de Linux al intentar generar el servidor del bloc de notas.
3. Se le redirigirá a una página de opciones de servidor en la que debe solicitar un ticket de Kerberos. Este ticket se puede solicitar mediante el principal de Kerberos y el archivo keytab, o la contraseña de Kerberos. El administrador del cluster puede proporcionar el principal de Kerberos y el archivo keytab, o la contraseña de Kerberos.

   El ticket de Kerberos es necesario para obtener acceso a los directorios de HDFS y otros servicios de big data que desea utilizar.

Se deben cumplir los requisitos para que el usuario intente generar blocs de notas.

1. Acceda a JupyterHub.
2. Conéctese con las credenciales de administración. La autorización solo funciona si el usuario está presente en el host de Linux. JupyterHub busca el usuario en el host de Linux al intentar generar el servidor del bloc de notas.

Para integrar correctamente JupyterHub con Object Storage, debe:

• Crear un cubo en Object Store para almacenar datos.
• Crear una clave de API de Object Storage.

Las propiedades que debe definir en las configuraciones de Spark son:

• TenantID
• Userid
• Fingerprint
• PemFilePath
• PassPhrase
• Region

Recuperan los valores de estas propiedades:

1. Abra el menú de navegación y seleccione Analytics & AI. En Lago de datos, seleccione Big Data Service.
2. En la página de lista Clusters, seleccione el cluster con el que desea trabajar. Si necesita ayuda para buscar la página de lista o el cluster, consulte Lista de clusters en un compartimento.

3. Para ver clusters en un compartimento diferente, utilice el filtro Compartimento para cambiar de compartimento.

   Debe tener permiso para trabajar en un compartimento para ver los recursos que contiene. Si no está seguro de qué compartimiento utilizar, póngase en contacto con un administrador. Para obtener más información, consulte Descripción de los compartimentos.

4. En la página Detalles de cluster, en Recursos, seleccione Claves de API de Object Storage.
5. En el menú Acciones (tres puntos) de la clave de API que desea ver, seleccione Ver archivo de configuración.

El archivo de configuración tiene todos los detalles de las propiedades del sistema, excepto la frase de contraseña. La frase de contraseña se especifica cuando se crea la clave de API de Object Storage. Debe recordar y utilizar la misma frase de contraseña.

1. Acceda a JupyterHub.
2. Abra un nuevo bloc de notas.
3. Copie y pegue los siguientes comandos para conectarse a Spark.

   import findspark
   findspark.init()
   import pyspark

4. Copie y pegue los siguientes comandos para crear una sesión de Spark con las configuraciones especificadas. Cambie las variables por los valores de propiedades del sistema que ha recuperado antes.

   from pyspark.sql import SparkSession
   
   spark = SparkSession \
       .builder \
       .enableHiveSupport() \
       .config("spark.driver.extraJavaOptions", "-DBDS_OSS_CLIENT_REGION=<Region> -DBDS_OSS_CLIENT_AUTH_TENANTID=<TenantId> -DBDS_OSS_CLIENT_AUTH_USERID=<UserId> -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<FingerPrint> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<PemFile> -DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<PassPhrase>")\
       .config("spark.executor.extraJavaOptions" , "-DBDS_OSS_CLIENT_REGION=<Region> -DBDS_OSS_CLIENT_AUTH_TENANTID=<TenantId> -DBDS_OSS_CLIENT_AUTH_USERID=<UserId> -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<FingerPrint> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<PemFile> -DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<PassPhrase>")\
       .appName("<appname>") \
       .getOrCreate()

5. Copie y pegue los siguientes comandos para crear el archivo y los directorios de Object Storage y almacenar datos en formato de Parquet.

   demoUri = "oci://<BucketName>@<Tenancy>/<DirectoriesAndSubDirectories>/"
   parquetTableUri = demoUri + "<fileName>"
   spark.range(10).repartition(1).write.mode("overwrite").format("parquet").save(parquetTableUri)

6. Copie y pegue el siguiente comando para leer los datos de Object Storage.

   spark.read.format("parquet").load(parquetTableUri).show()

7. Ejecute el bloc de notas con todos estos comandos.

   

Se mostrará la salida del código. Puede desplazarse hasta el cubo de Object Storage desde la consola y buscar el archivo creado en el cubo.