Usando JupyterHub no Big Data Service 3.0.26 ou Anterior

Os pré-requisitos devem ser atendidos pelos usuários que estão tentando criar notebooks.

1. Acesse JupyterHub.
2. Acesse com credenciais administrativas. A autorização só funcionará se o usuário estiver presente no host do Linux. O JupyterHub procura o usuário no host do Linux enquanto tenta gerar o servidor de notebook.
3. Você será redirecionado para uma página Opções do Servidor, na qual deverá solicitar um ticket do Kerberos. Esse ticket pode ser solicitado usando o principal do Kerberos e o arquivo keytab ou a senha do Kerberos. O administrador do cluster pode fornecer o principal do Kerberos e o arquivo keytab ou a senha do Kerberos.

   O ticket do Kerberos é necessário para ter acesso nos diretórios HDFS e em outros serviços do big data que você deseja usar.

Os pré-requisitos devem ser atendidos pelos usuários que estão tentando criar notebooks.

1. Acesse JupyterHub.
2. Acesse com credenciais administrativas. A autorização só funcionará se o usuário estiver presente no host do Linux. O JupyterHub procura o usuário no host do Linux enquanto tenta gerar o servidor de notebook.

Para poder integrar com sucesso JupyterHub com o Object Storage, você deverá:

• Criar um bucket no Object Store para armazenar dados.
• Criar uma chave de API do Object Storage.

As propriedades que você deve definir nas configurações do Spark são:

• TenantID
• Userid
• Fingerprint
• PemFilePath
• PassPhrase
• Region

Para recuperar os valores dessas propriedades:

1. Abra o menu de navegação e selecione Análise e IA. Em Data Lake, selecione Big Data Service.
2. Na página da lista Clusters, selecione o cluster com o qual você deseja trabalhar. Se precisar de ajuda para localizar a página de lista ou o cluster, consulte Listando Clusters em um Compartimento.

3. Para exibir clusters em outro compartimento, use o filtro Compartimento para alternar compartimentos.

   Você deve ter permissão para trabalhar em um compartimento para ver os recursos nele. Se você não tiver certeza sobre qual compartimento usar, entre em contato com um administrador. Para obter mais informações consulte Noções Básicas de Compartimentos.

4. Na página de detalhes do Cluster, em Recursos, selecione Chaves de API do serviço Object Storage.
5. No menu Ações (três pontos) da chave de API que você deseja exibir, selecione Exibir arquivo de configuração.

O arquivo de configuração tem todos os detalhes de propriedades do sistema, exceto a frase-senha. A frase-senha é especificada ao criar a chave da API do Object Storage e você deve lembrar e usar a mesma frase-senha.

1. Acesse JupyterHub.
2. Abra um novo notebook.
3. Copie e cole os comandos a seguir para estabelecer conexão com o Spark.

   import findspark
   findspark.init()
   import pyspark

4. Copie e cole os comandos a seguir para criar uma sessão no Spark com as configurações especificadas. Substitua as variáveis pelos valores de propriedades do sistema recuperados anteriormente.

   from pyspark.sql import SparkSession
   
   spark = SparkSession \
       .builder \
       .enableHiveSupport() \
       .config("spark.driver.extraJavaOptions", "-DBDS_OSS_CLIENT_REGION=<Region> -DBDS_OSS_CLIENT_AUTH_TENANTID=<TenantId> -DBDS_OSS_CLIENT_AUTH_USERID=<UserId> -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<FingerPrint> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<PemFile> -DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<PassPhrase>")\
       .config("spark.executor.extraJavaOptions" , "-DBDS_OSS_CLIENT_REGION=<Region> -DBDS_OSS_CLIENT_AUTH_TENANTID=<TenantId> -DBDS_OSS_CLIENT_AUTH_USERID=<UserId> -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<FingerPrint> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<PemFile> -DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<PassPhrase>")\
       .appName("<appname>") \
       .getOrCreate()

5. Copie e cole os comandos a seguir para criar os diretórios e o arquivo do Object Storage e armazenar dados no Formato Parquet.

   demoUri = "oci://<BucketName>@<Tenancy>/<DirectoriesAndSubDirectories>/"
   parquetTableUri = demoUri + "<fileName>"
   spark.range(10).repartition(1).write.mode("overwrite").format("parquet").save(parquetTableUri)

6. Copie e cole o comando a seguir para ler os dados do Object Storage.

   spark.read.format("parquet").load(parquetTableUri).show()

7. Execute o notebook com todos esses comandos.

   

A saída do código é exibida. Você pode navegar até o bucket do Object Storage na Console e localizar o arquivo criado no bucket.