Utilisation de JupyterHub dans Big Data Service 3.0.26 ou version antérieure

Les prérequis doivent être respectés par l'utilisateur qui tente de générer dynamiquement des blocs-notes.

1. Accédez à JupyterHub.
2. Connectez-vous avec les informations d'identification d'administration. L'autorisation fonctionne uniquement si l'utilisateur est présent sur l'hôte Linux. JupyterHub recherche l'utilisateur sur l'hôte Linux pendant la tentative de génération dynamique du serveur de bloc-notes.
3. Vous êtes redirigé vers une page d'options de serveur sur laquelle vous devez demander un ticket Kerberos. Ce ticket peut être demandé à l'aide du principal Kerberos et du fichier keytab, ou du mot de passe Kerberos. L'administrateur de cluster peut fournir le principal Kerberos et le fichier keytab, ou le mot de passe Kerberos.

   Le ticket Kerberos est nécessaire pour accéder aux répertoires HDFS et aux autres services Big Data que vous voulez utiliser.

Les prérequis doivent être respectés par l'utilisateur qui tente de générer dynamiquement des blocs-notes.

1. Accédez à JupyterHub.
2. Connectez-vous avec les informations d'identification d'administration. L'autorisation fonctionne uniquement si l'utilisateur est présent sur l'hôte Linux. JupyterHub recherche l'utilisateur sur l'hôte Linux pendant la tentative de génération dynamique du serveur de bloc-notes.

Pour pouvoir intégrer JupyterHub à Object Storage, vous devez :

• Créez un bucket dans la banque d'objets pour stocker les données.
• Créer une clé d'API Object Storage

Les propriétés que vous devez définir dans les configurations Spark sont les suivantes :

• TenantID
• Userid
• Fingerprint
• PemFilePath
• PassPhrase
• Region

Extrayez ensuite les valeurs de ces propriétés :

1. Ouvrez le menu de navigation et sélectionnez Analytics et IA. Sous Data Lake, sélectionnez Big Data Service.
2. Dans la page de liste Clusters, sélectionnez le cluster avec lequel vous voulez travailler. Si vous avez besoin d'aide pour trouver la page de liste ou le cluster, reportez-vous à Liste des clusters dans un compartiment.

3. Pour visualiser les clusters dans un autre compartiment, utilisez le filtre Compartiment pour changer de compartiment.

   Vous devez être autorisé à travailler dans un compartiment pour y voir les ressources. En cas de doute sur le compartiment à utiliser, contactez un administrateur. Pour plus d'informations, reportez-vous à Présentation des compartiments.

4. Sur la page de détails du cluster, sous Ressources, sélectionnez Clés d'API Object Storage.
5. Dans le menu Actions (trois points) de la clé d'API à afficher, sélectionnez Afficher le fichier de configuration.

Le fichier de configuration contient tous les détails des propriétés système, à l'exception de la phrase de passe. La phrase de passe est indiquée lors de la création de la clé d'API Object Storage. Vous devez vous en souvenir et utiliser la même phrase de passe.

1. Accédez à JupyterHub.
2. Ouvrez un nouveau bloc-notes.
3. Copiez et collez les commandes suivantes pour vous connecter à Spark.

   import findspark
   findspark.init()
   import pyspark

4. Copiez et collez les commandes suivantes pour créer une session Spark avec les configurations spécifiées. Remplacez les variables par les valeurs de propriétés système que vous avez extraites précédemment.

   from pyspark.sql import SparkSession
   
   spark = SparkSession \
       .builder \
       .enableHiveSupport() \
       .config("spark.driver.extraJavaOptions", "-DBDS_OSS_CLIENT_REGION=<Region> -DBDS_OSS_CLIENT_AUTH_TENANTID=<TenantId> -DBDS_OSS_CLIENT_AUTH_USERID=<UserId> -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<FingerPrint> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<PemFile> -DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<PassPhrase>")\
       .config("spark.executor.extraJavaOptions" , "-DBDS_OSS_CLIENT_REGION=<Region> -DBDS_OSS_CLIENT_AUTH_TENANTID=<TenantId> -DBDS_OSS_CLIENT_AUTH_USERID=<UserId> -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<FingerPrint> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<PemFile> -DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<PassPhrase>")\
       .appName("<appname>") \
       .getOrCreate()

5. Copiez et collez les commandes suivantes pour créer les répertoires et fichiers Object Storage, et stocker les données au format Parquet.

   demoUri = "oci://<BucketName>@<Tenancy>/<DirectoriesAndSubDirectories>/"
   parquetTableUri = demoUri + "<fileName>"
   spark.range(10).repartition(1).write.mode("overwrite").format("parquet").save(parquetTableUri)

6. Copiez et collez la commande suivante pour lire les données à partir d'Object Storage.

   spark.read.format("parquet").load(parquetTableUri).show()

7. Exécutez le bloc-notes avec toutes ces commandes.

   

La sortie du code est affichée. Vous pouvez accéder au bucket Object Storage à partir de la console et trouver le fichier créé dans le bucket.