Installation d'environnements Conda dans une session de carnet

Pour utiliser des environnements Conda dans des sessions de carnet, vous devez les installer.

Vous pouvez installer le service Science des données ou un environnement Conda publié en cliquant sur installer dans la carte d'environnement. Vous pouvez copier et exécuter l'extrait de code dans une fenêtre de terminal. Le nouvel environnement est installé dans un volume par blocs du dossier /home/datascience/conda. Les dossiers dans /home/datascience/conda correspondent aux éléments slugs des environnements Conda.

Une fois que l'environnement est prêt à servir de noyau de carnet, la nouvelle entrée d'environnement est affichée dans l'onglet Environnements Conda installés de l'onglet explorateur d'environnements. Un nouveau noyau pour cet environnement Conda particulier est ensuite disponible dans l'onglet Lanceur JupyterLab de la catégorie Carnet. Vous pouvez commencer à travailler dans cet environnement Conda en cliquant sur l'icône du noyau d'environnement pour ouvrir un nouvel onglet et un nouveau fichier de carnet.

Vous pouvez également ouvrir un nouveau carnet en cliquant sur Fichier, en sélectionnant Nouveau, puis un noyau pour la session de carnet.

Important

Comme tous les environnements Conda installés sont stockés sur le volume par blocs dans /home/datascience, ils sont disponibles après l'activation de la session. Vous n'avez pas besoin de réinstaller les environnements Conda après avoir désactivé la session de carnet.

Installez un environnement Conda à l'aide de la commande odsc conda dans un onglet de fenêtre de terminal JupyterLab :

odsc conda install --slug <slug>

<slug> est la ligne-bulle de l'environnement à installer. La ligne-bloc est répertoriée dans la carte d'environnement de l'onglet Explorateur d'environnements. Vous êtes invité à modifier la version de l'environnement (facultatif. L'affichage du nouveau noyau dans l'onglet Lanceur JupyterLab peut prendre quelques secondes.

Par défaut, odsc conda recherche les environnements Conda du service Science des données dont la valeur <slug> ou <name> et <version> correspond. Vous pouvez cibler un seau de stockage d'objets hébergeant des environnements Conda publiés en ajoutant l'option --override. Il recherche l'environnement Conda cible dans le seau défini dans le fichier config.yaml personnalisé créé par odsc conda init. Par exemple :

odsc conda install --override --slug <slug>

Listez toutes les options d'installation prises en charge avec odsc conda install -h.

Les environnements Conda peuvent également être installés à l'aide de fichiers tar. Fournissez l'URI des fichiers tar en le spécifiant avec l'option --uri. Il peut s'agir d'un chemin local, de liens de demande préauthentifiée ou d'un lien OCI.

Installation à partir d'un fichier local :
odsc conda install --uri <path_to_the_local_environment_tar_file>
Installation avec un lien de demande préauthentifiée :
odsc conda install --uri <http_link_to_the_environment_tar_file>
Installation avec un lien OCI à l'aide de l'authentification du principal de ressource :
odsc conda install --uri <oci://my-bucket@my-namespace/path_to_tar_file>
Important

L'installation de bibliothèques dans l'environnement de base (Python 3) n'est pas recommandée car elles ne sont pas conservées après la réactivation du carnet. La meilleure pratique est de cloner l'environnement de base, puis d'y installer des bibliothèques.

Mise à niveau de l'environnement Conda PySpark

Ces étapes ne sont requises que si vous avez installé l'ancienne version de l'environnement Conda PySpark et que vous souhaitez la conserver pour une utilisation future potentielle. Si vous n'avez pas besoin de l'ancien environnement ni effectué de configurations spécifiques pour Spark, nous vous recommandons de supprimer l'ancien environnement avant de procéder à l'installation de la nouvelle version.

  1. Préparation de la mise à jour de l'environnement Conda PySpark :
    • Ouvrez la session de carnet du service de science des données.
    • Recherchez le répertoire spark_conf_dir dans votre répertoire de base, puis renommez-le en spark_conf_dir_v2. L'action de changement de nom désactive temporairement l'environnement pyspark32_p38_cpu_v2.

      Vous pouvez rétablir le statut spark_conf_dir_v2 en le renommant spark_conf_dir, puis pyspark32_p38_cpu_v2 est de nouveau opérationnel.

  2. Mise à jour de l'environnement Conda Pyspark :
    • Ouvrez un terminal et exécutez la commande suivante :

      odsc conda install -s pyspark32_p38_cpu_v3

      La commande installe un environnement Conda V3 et crée un nouveau répertoire spark_conf_dir.

  3. Vérification des modifications apportées à la configuration :
    • Si vous avez apporté des modifications personnalisées à l'ancienne configuration spark_conf_dir_v2, telles que des modifications à core-site.xml ou spark-defaults.conf, assurez-vous que ces modifications sont copiées dans leurs fichiers respectifs dans le nouveau répertoire spark_conf_dir_v2.