Instalando Ambientes Conda em Sua Sessão de Notebook
Para usar ambientes conda em sessões de notebook, instale-os.
Você pode instalar um serviço Data Science ou um ambiente conda publicado clicando em Instalar no cartão de ambiente. Você pode copiar e executar o trecho de código em uma janela de terminal. O novo ambiente é instalado em um volume em blocos na pasta /home/datascience/conda
. As pastas em /home/datascience/conda
correspondem ao slugs
dos ambientes conda.
Depois que o ambiente estiver pronto para ser usado como kernel de notebook, a nova entrada de ambiente será listada na guia Installed Conda Environments, na guia Environment Explorer. Em seguida, um novo kernel para esse ambiente conda específico estará disponível na guia JupyterLab Launcher, na categoria Notebook. Você pode começar a trabalhar nesse ambiente conda clicando no ícone do kernel do ambiente para abrir uma nova guia para abrir um novo arquivo de notebook.
Ou, para abrir um novo notebook, clique em Arquivo, selecione Novo e, em seguida, selecione um kernel para a sessão de notebook.
Como todos os ambientes conda instalados são armazenados no volume em blocos em
/home/datascience
, esses ambientes ficam disponíveis após a sessão ser ativada. Você não precisa reinstalar os ambientes conda após desativar a sessão de notebook. Instale um ambiente conda usando o comando odsc conda
em uma guia de janela de terminal JupyterLab:
odsc conda install --slug <slug>
O <slug>
é o slug do ambiente que você deseja instalar. O slug é listado no cartão de ambiente, na guia Explorador de Ambientes. Você será solicitado a alterar a versão do ambiente, que é opcional. Pode levar alguns segundos para ver o novo kernel na guia JupyterLab Launcher.
Por padrão, odsc conda
procura ambientes conda do serviço Data Science com valor <slug>
correspondente ou <name>
e <version>
. Você pode direcionar um bucket do Object Storage que hospeda ambientes conda publicados adicionando a opção --override
. Ele procura o ambiente conda de destino no bucket definido no arquivo config.yaml
personalizado que foi criado por odsc conda init
. Por exemplo:
odsc conda install --override --slug <slug>
Liste todas as opções de instalação suportadas com odsc conda install -h
.
Os ambientes conda também podem ser instalados usando-se arquivos tar. Forneça o URI dos arquivos tar especificando-o com a opção --uri
. Pode ser caminho local, links PAR ou um link do OCI.
- Instalando a partir de um arquivo local:
-
odsc conda install --uri
<path_to_the_local_environment_tar_file>
- Instalando com um link PAR:
-
odsc conda install --uri
<http_link_to_the_environment_tar_file>
- Instalando com um link do OCI usando autenticação do controlador de recursos:
-
odsc conda install --uri
<oci://my-bucket@my-namespace/path_to_tar_file>
A instalação de bibliotecas no ambiente base (Python 3) não é recomendada porque elas não são persistidas após a reativação do notebook. A melhor prática é clonar o ambiente base e, em seguida, instalar bibliotecas lá.
Fazendo Upgrade do Ambiente Conda PySpark
Essas etapas só serão necessárias se você tiver instalado a versão mais antiga do ambiente conda PySpark e quiser preservá-la para uso futuro potencial. Se você não precisar do ambiente antigo nem tiver feito configurações específicas para o Spark, recomendamos excluir o ambiente antigo antes de continuar a instalação da nova versão.
- Preparando para a atualização do ambiente conda PySpark:
- Abra a sessão de notebook do Data Science.
-
Localize o diretório
spark_conf_dir
no diretório home e renomeie-o comospark_conf_dir_v2
. A ação de renomeação desativa temporariamente o ambiente pyspark32_p38_cpu_v2.Você pode reverter renomeando
spark_conf_dir_v2
de volta paraspark_conf_dir
e, em seguida, pyspark32_p38_cpu_v2 estará operacional novamente.
- Atualizando o ambiente conda para Pyspark:
-
Abra um terminal e execute o comando:
odsc conda install -s pyspark32_p38_cpu_v3
O comando instala um ambiente conda V3 e cria um novo diretório
spark_conf_dir
.
-
- Verificando as alterações de configuração:
-
Se você tiver feito alterações personalizadas na configuração antiga do
spark_conf_dir_v2
, como modificações emcore-site.xml
ouspark-defaults.conf
, certifique-se de que essas alterações sejam copiadas para seus respectivos arquivos no novo diretóriospark_conf_dir_v2
.
-