Installation d'environnements conda dans une session de bloc-notes

Pour utiliser des environnements conda dans des sessions de bloc-notes, vous devez les installer.

Vous pouvez installer un environnement conda publié ou Data Science en cliquant sur Installer dans la carte de l'environnement. Vous pouvez copier et exécuter le fragment de code dans une fenêtre de terminal. Le nouvel environnement est installé dans un volume de blocs dans le dossier /home/datascience/conda. Les dossiers dans /home/datascience/conda correspondent aux slugs des environnements conda.

Une fois que l'environnement est prêt à être utilisé en tant que noyau de bloc-notes, la nouvelle entrée d'environnement est répertoriée dans l'onglet Environnements conda installés de l'onglet explorateur d'environnement. Un nouveau noyau est ensuite disponible pour cet environnement conda dans l'onglet Lanceur JupyterLab, dans la catégorie Bloc-notes. Vous pouvez commencer à travailler dans cet environnement conda en cliquant sur son icône de noyau pour ouvrir un nouvel onglet afin d'ouvrir un nouveau fichier de bloc-notes.

Vous pouvez également ouvrir un nouveau carnet en cliquant sur Fichier, en sélectionnant Nouveau, puis en sélectionnant un noyau pour la session de carnet.

Important

Etant donné que tous les environnements conda installés sont stockés sur le volume de blocs dans /home/datascience, ces environnements sont disponibles une fois la session activée. Vous n'avez pas besoin de réinstaller les environnements conda après avoir désactivé la session de bloc-notes.

Installez un environnement conda à l'aide de la commande odsc conda dans un onglet de fenêtre de terminal JupyterLab :

odsc conda install --slug <slug>

<slug> est le slug de l'environnement à installer. Le slug est répertorié dans la carte de l'environnement dans l'onglet Explorateur d'environnement. Vous êtes invité à modifier la version de l'environnement, ce qui est facultatif. Le nouveau noyau peut prendre quelques secondes à apparaître dans l'onglet JupyterLab Lanceur.

Par défaut, odsc conda recherche les environnements conda Data Science avec la valeur <slug> correspondante, ou les valeurs <name> et <version> appropriées. Vous pouvez cibler un bucket Object Storage hébergeant des environnements conda publiés en ajoutant l'option --override. Il recherche l'environnement conda cible dans le bucket défini dans le fichier config.yaml personnalisé créé par odsc conda init. Par exemple :

odsc conda install --override --slug <slug>

Répertoriez toutes les options d'installation prises en charge avec odsc conda install -h.

Les environnements conda peuvent également être installés à l'aide de fichiers tar. Fournissez l'URI des fichiers tar en l'indiquant avec l'option --uri. Il peut s'agir d'un chemin local, de liens PAR ou d'un lien OCI.

Installation à partir d'un fichier local :
odsc conda install --uri <path_to_the_local_environment_tar_file>
Installation à l'aide d'un lien PAR :
odsc conda install --uri <http_link_to_the_environment_tar_file>
Installation avec un lien OCI à l'aide de l'authentification de principal de ressource :
odsc conda install --uri <oci://my-bucket@my-namespace/path_to_tar_file>
Important

L'installation de bibliothèques dans l'environnement de base (Python 3) n'est pas recommandée car elles ne sont pas conservées après la réactivation du bloc-notes. La meilleure pratique consiste à cloner l'environnement de base, puis à installer les bibliothèques sur le clone.

Mise à niveau de l'environnement conda PySpark

Ces étapes sont requises uniquement si vous avez installé l'ancienne version de l'environnement conda PySpark et que vous souhaitez la conserver pour une utilisation future potentielle. Si vous n'avez pas besoin de l'ancien environnement et que vous n'avez pas effectué de configuration spécifique pour Spark, nous vous recommandons de supprimer l'ancien environnement avant de procéder à l'installation de la nouvelle version.

  1. Préparation de la mise à jour de l'environnement conda PySpark :
    • Ouvrez la session de bloc-notes Data Science.
    • Recherchez le répertoire spark_conf_dir dans votre répertoire de base, puis renommez-le spark_conf_dir_v2. L'action de changement de nom désactive temporairement l'environnement pyspark32_p38_cpu_v2.

      Vous pouvez revenir en arrière en renommant spark_conf_dir_v2 en spark_conf_dir, puis pyspark32_p38_cpu_v2 est à nouveau opérationnel.

  2. Mise à jour de l'environnement conda Pyspark :
    • Ouvrez un terminal et exécutez la commande suivante :

      odsc conda install -s pyspark32_p38_cpu_v3

      La commande installe un environnement conda V3 et crée un répertoire spark_conf_dir.

  3. Vérification des modifications de configuration :
    • Si vous avez apporté des modifications personnalisées à l'ancienne configuration spark_conf_dir_v2, telles que des modifications à core-site.xml ou spark-defaults.conf, assurez-vous que ces modifications sont copiées dans leurs fichiers respectifs dans le nouveau répertoire spark_conf_dir_v2.