Oracle Cloud Infrastructureドキュメント

Sqoopを使用したオブジェクト・ストレージの構成

Sqoopとのオブジェクト・ストレージ接続を確立します。

ノート

ビッグ・データ・サービス・クラスタ・ノードは、サービス構成および例の実行に使用できます。エッジ・ノードを使用するには、エッジ・ノードを作成してサインインする必要があります。
  1. (オプション)オブジェクト・ストレージの設定にエッジ・ノードを使用するには、最初にエッジ・ノードを作成してから、ノードにサインインします。次に、APIキーをun0ノードからEdgeノードにコピーします。 
    sudo dcli rsync -a <un0-hostname>:/opt/oracle/bds/.oci_oos/ 
/opt/oracle/bds/.oci_oos/
  2. 十分な権限を持つユーザーと、必要なパスフレーズ値を持つJCEKSファイルを作成します。ローカルJCEKSファイルを作成する場合は、ファイルをすべてのノードにコピーし、ユーザー権限を変更します。 
    sudo dcli -f <location_of_jceks_file> -d <location_of_jceks_file>
sudo dcli chown <user>:<group> <location_of_jceks_file>
  3. 次のHADOOP_OPTSの組合せのいずれかをユーザーbashプロファイルに追加します。
    オプション1:
    export HADOOP_OPTS="$HADOOP_OPTS -DOCI_SECRET_API_KEY_ALIAS=<api_key_alias> 
-DBDS_OSS_CLIENT_REGION=<api_key_region> 
-DOCI_SECRET_API_KEY_PASSPHRASE=<jceks_file_provider>"

    オプション2:

    export HADOOP_OPTS="$HADOOP_OPTS -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<api_key_fingerprint> 
-DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<jceks_file_provider> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<api_key_pem_file_path> 
-DBDS_OSS_CLIENT_AUTH_TENANTID=<api_key_tenant_id> -DBDS_OSS_CLIENT_AUTH_USERID=<api_key_user_id> 
-DBDS_OSS_CLIENT_REGION=<api_key_region>"
  4. (オプション)次の例を実行して、Sqoopの使用方法を確認します。 
    sqoop import -Dmapreduce.job.user.classpath.first=false -Dorg.apache.sqoop.splitter.allow_text_splitter=true 
-Dfs.oci.client.auth.fingerprint=<api_key_fingerprint> -Dfs.oci.client.auth.passphrase=<jceks-provider> 
-Dfs.oci.client.auth.pemfilepath=<api_key_pem_file_path> -Dfs.oci.client.auth.tenantId=<api_key_tenant_info> 
-Dfs.oci.client.auth.userId=<api_key_user_info> -Dfs.oci.client.regionCodeOrId=<api_key_region_code_info> 
--connect jdbc:mysql://<un0_hostname>/hive --username <username> --password <example-password> --table AUX_TABLE 
--hive-import --hive-database default --create-hive-table --hive-table <hive_table_name> --target-dir 
<object_storage_output_location> --as-parquetfile --validate