Utilisation de JupyterHub dans le service de mégadonnées 3.0.26 ou version antérieure

Les préalables doivent être satisfaits pour l'utilisateur qui tente de générer des carnets.

1. Accédez à JupyterHub.
2. Connectez-vous avec les données d'identification de l'administrateur. L'autorisation ne fonctionne que si l'utilisateur est présent sur l'hôte Linux. JupyterHub recherche l'utilisateur sur l'hôte Linux lors de la tentative de génération du serveur de carnets.
3. Vous êtes dirigé vers une page d'options de serveur où vous devez demander un ticket Kerberos. Ce ticket peut être demandé à l'aide du principal Kerberos et du fichier keytab, ou du mot de passe Kerberos. L'administrateur de la grappe peut fournir le principal Kerberos et le fichier keytab, ou le mot de passe Kerberos.

   Le ticket Kerberos est nécessaire pour accéder aux répertoires HDFS et aux autres services de mégadonnées que vous voulez utiliser.

Les préalables doivent être satisfaits pour l'utilisateur qui tente de générer des carnets.

1. Accédez à JupyterHub.
2. Connectez-vous avec les données d'identification de l'administrateur. L'autorisation ne fonctionne que si l'utilisateur est présent sur l'hôte Linux. JupyterHub recherche l'utilisateur sur l'hôte Linux lors de la tentative de génération du serveur de carnets.

Avant de pouvoir intégrer JupyterHub avec le stockage d'objets, vous devez :

• Créer un seau dans le magasin d'objets pour stocker des données.
• Créer une clé d'API de stockage d'objets.

Les propriétés que vous devez définir dans les configurations de Spark sont les suivantes :

• TenantID
• Userid
• Fingerprint
• PemFilePath
• PassPhrase
• Region

Extrayez les valeurs de ces propriétés :

1. Ouvrez le menu de navigation et sélectionnez Analyse et intelligence artificielle. Sous Lac de données, sélectionnez Service de mégadonnées.
2. Dans la page de liste Grappes, sélectionnez la grappe avec laquelle vous voulez travailler. Si vous avez besoin d'aide pour trouver la page de liste ou la grappe, voir Liste des grappes d'un compartiment.

3. Pour voir les grappes d'un autre compartiment, utilisez le filtre Compartiment pour changer de compartiment.

   Vous devez être autorisé à travailler dans un compartiment pour voir les ressources qu'il contient. Si vous n'êtes pas certain du compartiment à utiliser, communiquez avec un administrateur. Pour plus d'informations, voir Présentation des compartiments.

4. Dans la page des détails de la grappe, sous Ressources, sélectionnez Clés d'API du service de stockage d'objets.
5. Dans le menu Actions (trois points) de la clé d'API à afficher, sélectionnez Voir le fichier de configuration.

Le fichier de configuration contient tous les détails des propriétés de système, à l'exception de la phrase secrète. La phrase secrète est spécifiée lors de la création de la clé d'API de stockage d'objets et vous devez récupérer et utiliser la même phrase secrète.

1. Accédez à JupyterHub.
2. Ouvrez un nouveau carnet.
3. Copiez et collez les commandes suivantes pour vous connecter à Spark.

   import findspark
   findspark.init()
   import pyspark

4. Copiez et collez les commandes suivantes pour créer une session Spark avec les configurations spécifiées. Remplacez les variables par les valeurs de propriétés de système que vous avez extraites précédemment.

   from pyspark.sql import SparkSession
   
   spark = SparkSession \
       .builder \
       .enableHiveSupport() \
       .config("spark.driver.extraJavaOptions", "-DBDS_OSS_CLIENT_REGION=<Region> -DBDS_OSS_CLIENT_AUTH_TENANTID=<TenantId> -DBDS_OSS_CLIENT_AUTH_USERID=<UserId> -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<FingerPrint> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<PemFile> -DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<PassPhrase>")\
       .config("spark.executor.extraJavaOptions" , "-DBDS_OSS_CLIENT_REGION=<Region> -DBDS_OSS_CLIENT_AUTH_TENANTID=<TenantId> -DBDS_OSS_CLIENT_AUTH_USERID=<UserId> -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<FingerPrint> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<PemFile> -DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<PassPhrase>")\
       .appName("<appname>") \
       .getOrCreate()

5. Copiez et collez les commandes suivantes pour créer les répertoires et le fichier de stockage d'objets et pour stocker les données au format Parquet.

   demoUri = "oci://<BucketName>@<Tenancy>/<DirectoriesAndSubDirectories>/"
   parquetTableUri = demoUri + "<fileName>"
   spark.range(10).repartition(1).write.mode("overwrite").format("parquet").save(parquetTableUri)

6. Copiez et collez la commande suivante pour lire des données à partir du stockage d'objets.

   spark.read.format("parquet").load(parquetTableUri).show()

7. Exécutez le carnet avec toutes ces commandes.

   

La sortie du code est affichée. Vous pouvez naviguer jusqu'au seau de stockage d'objets à partir de la console et rechercher le fichier créé dans le seau.