Documentação do Oracle Cloud Infrastructure

Configurando o Serviço Object Storage com o Map Reduce

Para executar um exemplo, crie um arquivo de entrada incluindo palavras com tamanho variável e, em seguida, faça upload do arquivo para o Object Storage.
Observação

Você pode usar nós de cluster do Big Data Service para configuração de serviço e exemplos em execução. Para usar um nó Edge, você deve criar e acessar o nó Edge.
  1. (Opcional) Para usar um nó de Borda para configurar o Object Storage, primeiro crie um nó de Borda e, em seguida, acesse o nó.
  2. Crie um nó do Edge e acesse o nó.
  3. Crie um arquivo de entrada com palavras de frequência variável e faça upload para o Object Storage.
  4. Copie a chave de API para o nó Edge do nó un0. 
    sudo dcli rsync -a <un0-hostname>:/opt/oracle/bds/.oci_oos/ /opt/oracle/bds/.oci_oos/
  5. Crie um usuário com permissões suficientes e um arquivo JCEKS com o valor de frase-senha necessário. Se você estiver criando um arquivo JCEKS local, copie o arquivo para todos os nós e altere as permissões do usuário. 
    sudo dcli -f <location_of_jceks_file> -d <location_of_jceks_file>
sudo dcli chown <user>:<group> <location_of_jceks_file>
  6. Adicione uma das seguintes combinações HADOOP_OPTS ao perfil bash do usuário.
    Opção 1:
    export HADOOP_OPTS="$HADOOP_OPTS -DOCI_SECRET_API_KEY_ALIAS=<api_key_alias> 
-DBDS_OSS_CLIENT_REGION=<api_key_region> 
-DOCI_SECRET_API_KEY_PASSPHRASE=<jceks_file_provider>"

    Opção 2:

    export HADOOP_OPTS="$HADOOP_OPTS -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<api_key_fingerprint> 
-DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<jceks_file_provider> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<api_key_pem_file_path> 
-DBDS_OSS_CLIENT_AUTH_TENANTID=<api_key_tenant_id> -DBDS_OSS_CLIENT_AUTH_USERID=<api_key_user_id> 
-DBDS_OSS_CLIENT_REGION=<api_key_region>"
  7. (Opcional) Para verificar a conectividade do serviço Object Storage:
    1. Crie um arquivo de entrada incluindo palavras de tamanho variável e, em seguida, faça upload do arquivo para o Object Storage.
    2. Execução: 
      hadoop jar /usr/odh/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar wordcount 
-Dmapreduce.reduce.java.opts="${MAPRED_OPTS}" -Dmapreduce.map.java.opts="${MAPRED_OPTS}" 
-Dyarn.app.mapreduce.am.command-opts="${MAPRED_OPTS}" oci://<bucket-name>@<namespace>/<input_file_name> 
oci://<bucket-name>@<namespace>/<output_file_name>