Oracle Cloud Infrastructureドキュメント

Map Reduceを使用したオブジェクト・ストレージの構成

例を実行するには、サイズが異なる単語を含む入力ファイルを作成し、そのファイルをObject Storageにアップロードします。
ノート

ビッグ・データ・サービス・クラスタ・ノードは、サービス構成および例の実行に使用できます。エッジ・ノードを使用するには、エッジ・ノードを作成してサインインする必要があります。
  1. (オプション)オブジェクト・ストレージの設定にエッジ・ノードを使用するには、最初にエッジ・ノードを作成してから、ノードにサインインします。
  2. エッジ・ノードを作成し、そのノードにサインインします。
  3. 頻度の異なる単語を含む入力ファイルを作成し、Object Storageにアップロードします。
  4. APIキーをun0ノードからエッジ・ノードにコピーします。 
    sudo dcli rsync -a <un0-hostname>:/opt/oracle/bds/.oci_oos/ /opt/oracle/bds/.oci_oos/
  5. 十分な権限を持つユーザーと、必要なパスフレーズ値を持つJCEKSファイルを作成します。ローカルJCEKSファイルを作成する場合は、ファイルをすべてのノードにコピーし、ユーザー権限を変更します。 
    sudo dcli -f <location_of_jceks_file> -d <location_of_jceks_file>
sudo dcli chown <user>:<group> <location_of_jceks_file>
  6. 次のHADOOP_OPTSの組合せのいずれかをユーザーbashプロファイルに追加します。
    オプション1:
    export HADOOP_OPTS="$HADOOP_OPTS -DOCI_SECRET_API_KEY_ALIAS=<api_key_alias> 
-DBDS_OSS_CLIENT_REGION=<api_key_region> 
-DOCI_SECRET_API_KEY_PASSPHRASE=<jceks_file_provider>"

    オプション2:

    export HADOOP_OPTS="$HADOOP_OPTS -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<api_key_fingerprint> 
-DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<jceks_file_provider> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<api_key_pem_file_path> 
-DBDS_OSS_CLIENT_AUTH_TENANTID=<api_key_tenant_id> -DBDS_OSS_CLIENT_AUTH_USERID=<api_key_user_id> 
-DBDS_OSS_CLIENT_REGION=<api_key_region>"
  7. (オプション)オブジェクト・ストレージ接続を確認するには:
    1. さまざまなサイズの単語を含む入力ファイルを作成し、そのファイルをObject Storageにアップロードします。
    2. 実行: 
      hadoop jar /usr/odh/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar wordcount 
-Dmapreduce.reduce.java.opts="${MAPRED_OPTS}" -Dmapreduce.map.java.opts="${MAPRED_OPTS}" 
-Dyarn.app.mapreduce.am.command-opts="${MAPRED_OPTS}" oci://<bucket-name>@<namespace>/<input_file_name> 
oci://<bucket-name>@<namespace>/<output_file_name>