Configuración de Object Storage con Sqoop

Establezca la conectividad de Object Storage con Sqoop.

Nota

Puede utilizar nodos de cluster de Big Data Service para la configuración del servicio y ejemplos en ejecución. Para utilizar un nodo de límite, debe crear el nodo de límite y conectarse a él.

(Opcional) Para utilizar un nodo de perímetro para configurar Object Storage, cree primero un nodo de perímetro y, a continuación, conéctese al nodo. A continuación, copie la clave de API del nodo un0 en el nodo de perímetro.
```
sudo dcli rsync -a <un0-hostname>:/opt/oracle/bds/.oci_oos/ 
/opt/oracle/bds/.oci_oos/
```
Cree un usuario con permisos suficientes y un archivo JCEKS con el valor de frase de contraseña necesario. Si va a crear un archivo JCEKS local, copie el archivo en todos los nodos y cambie los permisos de usuario.
```
sudo dcli -f <location_of_jceks_file> -d <location_of_jceks_file>
sudo dcli chown <user>:<group> <location_of_jceks_file>
```

Agregue una de las siguientes combinaciones HADOOP_OPTS al perfil bash de usuario.

Opción 1:

export HADOOP_OPTS="$HADOOP_OPTS -DOCI_SECRET_API_KEY_ALIAS=<api_key_alias> 
-DBDS_OSS_CLIENT_REGION=<api_key_region> 
-DOCI_SECRET_API_KEY_PASSPHRASE=<jceks_file_provider>"

Opción 2:

export HADOOP_OPTS="$HADOOP_OPTS -DBDS_OSS_CLIENT_AUTH_FINGERPRINT=<api_key_fingerprint> 
-DBDS_OSS_CLIENT_AUTH_PASSPHRASE=<jceks_file_provider> -DBDS_OSS_CLIENT_AUTH_PEMFILEPATH=<api_key_pem_file_path> 
-DBDS_OSS_CLIENT_AUTH_TENANTID=<api_key_tenant_id> -DBDS_OSS_CLIENT_AUTH_USERID=<api_key_user_id> 
-DBDS_OSS_CLIENT_REGION=<api_key_region>"

(Opcional) Ejecute el siguiente ejemplo para ver cómo utilizar Sqoop.

sqoop import -Dmapreduce.job.user.classpath.first=false -Dorg.apache.sqoop.splitter.allow_text_splitter=true 
-Dfs.oci.client.auth.fingerprint=<api_key_fingerprint> -Dfs.oci.client.auth.passphrase=<jceks-provider> 
-Dfs.oci.client.auth.pemfilepath=<api_key_pem_file_path> -Dfs.oci.client.auth.tenantId=<api_key_tenant_info> 
-Dfs.oci.client.auth.userId=<api_key_user_info> -Dfs.oci.client.regionCodeOrId=<api_key_region_code_info> 
--connect jdbc:mysql://<un0_hostname>/hive --username <username> --password <example-password> --table AUX_TABLE 
--hive-import --hive-database default --create-hive-table --hive-table <hive_table_name> --target-dir 
<object_storage_output_location> --as-parquetfile --validate

Documentación de Oracle Cloud Infrastructure

Configuración de Object Storage con Sqoop