Uso di bda-oss-admin per gestire le impostazioni di memorizzazione e altre impostazioni di configurazione
Utilizzare la utility della riga di comando bda-oss-admin per aggiungere e gestire provider di storage, credenziali utente per l'accesso allo storage e altre risorse da utilizzare con un cluster. I dettagli di configurazione vengono memorizzati nel file core.site.xml del cluster.
L'interfaccia CLI
bda-oss-admin può essere utilizzata solo nei cluster che utilizzano Cloudera Distribution, incluso Hadoop.Per immettere i comandi dalla riga di comando, utilizzare SSH per connettersi come utente opc a qualsiasi nodo del cluster e immettere il comando bda-oss-admin. Vedere Connessione a un nodo cluster mediante SSH.
Informazioni sulle variabili di ambiente bda-oss-admin
Alcune opzioni bda-oss-admin possono essere impostate come variabili di ambiente in modo da non dover specificare i valori ogni volta che si eseguono i comandi.
Le tabelle seguenti mostrano le variabili di ambiente che corrispondono (e possono essere sostituite) alle opzioni bda-oss-admin elencate.
Opzioni e variabili di ambiente per tutti i comandi bda-oss-admin
I valori seguenti devono essere impostati per tutti i comandi bda-oss-admin, sia nella riga di comando come opzioni del comando che come variabili d'ambiente della shell.
| Opzione di comando | Variabile di ambiente | descrizione; |
|---|---|---|
--cm-admin |
CM_ADMIN |
Nome utente amministratore Cloudera Manager. |
--cm-passwd |
CM_PASSWORD |
Password amministratore Cloudera Manager. Se non viene fornita, il comando richiederà la password. |
--cm-url |
CM_URL |
URL di Cloudera Manager (ad esempio, https://servername.bigdata.examplecloud.com:7183) |
Opzioni e variabili di ambiente per i comandi delle credenziali di storage bda-oss-admin
Per impostarle come variabili di ambiente, è possibile creare ed eseguire uno script della shell.
Nell'esempio seguente, uno script shell bash Linux denominato bdcsvars.sh imposta le credenziali Cloudera Manager richieste da tutti i comandi bda-oss-admin.
#!/bin/bash
export CM_ADMIN="my_cm_admin_username"
export CM_PASSWORD="my_cm_admin_password"
export CM_URL="https://my_CM_hostname_:7183"Nell'esempio seguente, uno script shell bash Linux denominato storvars.sh imposta le credenziali di memorizzazione:
#!/bin/bash
export ST_USER="MyServiceName-MyIdentityDomain:MyUserName"
export ST_KEY="Wel_123"
export ST_AUTH="http://storage.a123456.examplecloud.com/auth/v1.0"
export ST_PROVIDER="MyProviderName"
Se si utilizzano più provider di memorizzazione, potrebbe essere conveniente creare script shell per tutti. Quindi devi solo eseguire uno script per impostare le credenziali di memorizzazione per il provider che stai utilizzando.
Per eseguire gli script precedenti dalla directory in cui risiedono:
# source ./bdacsvars.sh
# source ./storvars.shLe configurazioni impostate con i comandi, i parametri e le variabili di ambiente bda-oss-admin vengono memorizzate nel file di configurazione /etc/hadoop/conf/core-site.xml di Hadoop.
È possibile cercare nel file core-site.xml per visualizzare la configurazione corrente, ma non è consigliabile modificarla direttamente. Utilizzare bda-oss-admin.
Comando bda-oss-admin
Utilizzare la utility della riga di comando bda-oss-admin di Big Data Service per gestire gli utenti e le risorse del cluster.
Per eseguire i comandi bda-oss-admin, è necessario connettersi a un nodo come utente opc, quindi utilizzare il comando sudo per passare all'utente root. Vedere Connessione a un nodo cluster mediante SSH.
Sintassi
bda-oss-admin [options] subcommand [arguments]...
Opzioni
| Opzione | descrizione; |
|---|---|
--version |
Mostra la versione bda-oss-admin |
--cm-admin user_name |
Nome utente amministratore Cloudera Manager |
--cm-passwd password |
Password amministratore di Cloudera Manager (amministratore cluster). Se non viene fornita, il comando richiederà la password. |
--b64–cm-passwd password |
La password di Cloudera Manager è codificata in Base64. Verrà decodificato prima del caricamento. |
--cm-url url |
URL di Cloudera Manager, ad esempio https://servername.bigdata.oraclecloud.com:7183 |
|
|
La password è codificata in Base64. Verrà decodificato prima del caricamento. |
|
|
Mostra la Guida per questo comando. |
Quando si specifica una delle opzioni sopra riportate nella riga di comando, le opzioni devono essere posizionate immediatamente dopo il comando bda-oss-admin e prima di uno qualsiasi dei relativi comandi secondari. Ad esempio, questo comando è legale:
# bda-oss-admin --region region_name add_oci_cred Tuttavia, il comando seguente non è valido, poiché l'opzione --region viene posizionata dopo il comando secondario list_oci_cred:
# bda-oss-admin list_oci_cred --region region_namecomandi secondari bda-oss-admin
| Comando | Attività |
|---|---|
| bda-oss-admin add_bdcs_cp_extensions_mr | Aggiungere le estensioni del classpath del servizio Big Data alla configurazione MapReduce |
| bda-oss-admin add_hadoop_prop | Aggiungere le proprietà alla configurazione Hadoop |
| bda-oss-admin add_krb_delegate | Aggiungere le credenziali per un utente di Oracle Cloud Infrastructure Object Storage Classic con privilegi amministrativi |
| bda-oss-admin add_oci_cred | Aggiungere le credenziali di Oracle Cloud Infrastructure Object Storage alla configurazione Hadoop |
| bda-oss-admin add_proxy_user | Aggiungere un utente proxy per delegare i token ad altri utenti |
| bda-oss-admin add_s3_cred | Aggiungere le credenziali S3 di Amazon Web Services alla configurazione Hadoop |
| bda-oss-admin delete_oci_cred | Rimuovere le credenziali Oracle Cloud Infrastructure Object Storage Classic dalla configurazione Hadoop |
| bda-oss-admin delete_s3_cred | Rimuovere le credenziali S3 di Amazon Web Services dalla configurazione Hadoop |
| bda-oss-admin list_oci_cred | Elencare le credenziali di storage degli oggetti Oracle Cloud Infrastructure Object Storage Classic dalla configurazione Hadoop |
| bda-oss-admin list_s3_cred | Elencare le credenziali S3 di Amazon Web Services dalla configurazione Hadoop |
| bda-oss-admin print_yarn_hadoop_env | Elenca le credenziali Oracle Cloud Infrastructure Object Storage Classic dalla configurazione Hadoop |
| bda-oss-admin print_yarn_mapred_cp | Visualizza il classpath predefinito MapReduce di YARN |
| bda-oss-admin remove_bdcs_cp_extensions_mr | Rimuovere le estensioni classpath di Oracle Big Data Service dalla configurazione MapReduce. |
| bda-oss-admin restart_cluster | Riavviare il cluster (solo servizi obsoleti) |
| bda-oss-admin set_bdcs_proxy_user | Aggiungere l'utente del servizio Big Data come utente proxy a una configurazione Hadoop (comando interno) |
| bda-oss-admin update_oci_cred | Aggiornare le credenziali di Oracle Cloud Infrastructure Object Storage nella configurazione Hadoop. |
| bda-oss-admin update_s3_cred | Aggiornare le credenziali S3 di Amazon Web Services nella configurazione Hadoop |
Utilizzare bda-oss-admin add_bdcs_cp_extensions_mr per aggiungere le estensioni classpath di Oracle Big Data Service alla configurazione MapReduce (nei file mapred-site.xml e hadoop-env.sh).
Sintassi
bda-oss-admin add_bdcs_cp_extensions_mr [options] Opzioni
| Opzione | descrizione; |
|---|---|
|
|
Mostra la Guida di questo comando |
Esempio
# bda-oss-admin add_bdcs_cp_extensions_mr
Changes will not affect the cluster until services get restarted. See the restart_cluster command
Utilizzare bda-oss-admin add_hadoop_prop per aggiungere una proprietà al file di configurazione core-site.xml Hadoop tramite l'API Cloudera Manager.
Sintassi
Nella sintassi seguente vengono aggiunte interruzioni di riga per maggiore chiarezza. Non includerli quando si entra nel comando.
bda-oss-admin add_hadoop_prop
[<options>]
<property_name>
<property_value>dove
<property_name> è il nome della proprietà, ad esempio swift.service.Foo.secrets.file.
<property_value> è il valore della proprietà, ad esempio jceks://hdfs/user/bigdatamgr/secrets.jceks.
Opzioni
| Opzione | Spiegazione |
|---|---|
|
|
Mostra la Guida per questo comando. |
Utilizzare bda-oss-admin add_krb_delegate per aggiungere un token di delega Hadoop.
Sintassi
bda-oss-admin add_krb_delegate <options>Opzioni
| Opzione | Spiegazione |
|---|---|
|
|
Utente proxy che può delegare i token ad altri utenti. |
|
|
Valore dei gruppi di delegati. L'impostazione predefinita è all. |
|
|
Valore dell'host proxy. L'impostazione predefinita è all. |
|
|
Valore utenti proxy. L'impostazione predefinita è all. |
|
|
Mostra la Guida per questo comando. |
Utilizzare bda-oss-admin add_oci_cred per registrare un provider di storage con un cluster o per modificare i dettagli sul provider.
Utilizzare questo comando per registrare per la prima volta un provider di Oracle Cloud Infrastructure Object Storage. È inoltre possibile rieseguire il comando con un numero di parametri diverso o inferiore per modificare la registrazione. È possibile registrare un solo provider di Oracle Cloud Infrastructure Object Storage alla volta.
Sintassi
bda-oss-admin add_oci_cred [<options>]Opzioni
| Opzione | Spiegazione |
|---|---|
|
|
Area in cui si trova lo storage degli oggetti, utilizzata per definire l'endpoint URL. Ad esempio, se la propria area è |
|
|
L'URL dell'endpoint host. Ad esempio, |
|
|
L'ID Oracle Cloud (OCID) che identifica la tenancy. |
|
|
OCID che identifica l'utente. |
|
|
L'impronta della chiave privata SSH per lo storage. |
|
|
File locale che contiene la chiave privata SSH per lo storage. Questo file viene copiato automaticamente in tutti i nodi del cluster utilizzando |
|
|
Il percorso (nel cluster) della chiave privata SSH. Vedere anche L'impostazione predefinita è |
|
|
Passphrase utilizzata per la chiave, se cifrata. |
|
|
OCID del compartimento contenente lo storage, utilizzato per elencare i bucket nello storage. |
|
|
URI proxy, ad esempio |
|
|
Nome utente proxy. |
|
|
La password dell'utente proxy. |
|
|
Non verificare gli account rispetto al servizio di storage effettivo prima dell'aggiunta. |
|
|
Il percorso del comando dcli. Il percorso predefinito è:
|
|
|
Mostra la Guida per questo comando. |
Utilizzare bda-oss-admin add_proxy_user per aggiungere un utente proxy per delegare i token ad altri utenti.
Sintassi
bda-oss-admin add_proxy_user <options>Opzioni
| Opzione | Spiegazione |
|---|---|
|
|
Identifica un utente proxy che può delegare i token ad altri utenti. |
|
|
Valore dei gruppi di delegati. L'impostazione predefinita è all. |
|
|
Valore host proxy. L'impostazione predefinita è all. |
|
|
Valore utenti proxy. L'impostazione predefinita è all. |
|
|
Mostra la Guida per questo comando. |
Utilizzare bda-oss-admin add_s3_cred per registrare un provider di storage S3 di Amazon Web Services nel cluster Big Data Service.
Sintassi
Nella sintassi seguente vengono aggiunte interruzioni di riga per maggiore chiarezza. Non includerli quando si entra nel comando.
bda-oss-admin add_s3_cred
[<options>]
<aws_access_key>
<aws_secret_key>Parametri
| Parametro | Spiegazione |
|---|---|
|
|
Nome utente, fornito come stringa di testo alfanumerica che identifica in modo univoco l'utente proprietario dell'account. Nessuno dei due account può avere la stessa chiave di accesso AWS. |
|
|
Una stringa utilizzata come password. Si chiama segreto perché si presume che sia conosciuto solo dal proprietario. Una chiave segreta AWS combinata con una chiave di accesso AWS forma un set di informazioni sicure che conferma l'identità dell'utente. |
Opzioni
| Opzione | Spiegazione |
|---|---|
|
|
Il nome host dell'host proxy. |
|
|
La porta utilizzata per il server proxy. |
|
|
Abilitare o disabilitare una connessione SSL (Secure Sockets Layer) al provider S3. |
|
|
Mostra la Guida per questo comando. |
Utilizzare bda-oss-admin delete_oci_cred per rimuovere le credenziali di Oracle Cloud Infrastructure Object Storage dalla configurazione di Hadoop.
Sintassi
bda-oss-admin delete_oci_cred [<options>]Opzioni
| Opzione | Spiegazione |
|---|---|
|
|
Mostra la Guida per questo comando. |
Utilizzare bda-oss-admin delete_s3_cred per rimuovere le credenziali S3 di Amazon Web Services dalla configurazione Hadoop.
Sintassi
bda-oss-admin delete_s3_cred [<options>]Opzioni
| Opzione | Spiegazione |
|---|---|
|
|
Mostra la Guida per questo comando. |
Utilizzare bda-oss-admin list_oci_cred per elencare le credenziali di Oracle Cloud Infrastructure Object Storage memorizzate nella configurazione Hadoop.
Sintassi
bda-oss-admin list_oci_credOpzioni
| Opzione | Spiegazione |
|---|---|
|
|
Mostra la Guida per questo comando. |
Utilizzare bda-oss-admin list_s3_cred per elencare le credenziali S3 del servizio Web Amazon memorizzate nella configurazione Hadoop.
Sintassi
bda-oss-admin list_s3_cred [<options>]Opzioni
| Opzione | Spiegazione |
|---|---|
|
|
Mostra la Guida per questo comando. |
Visualizza lo snippet MapReduce YARN per hadoop-env.sh.
Sintassi
bda-oss-admin print_yarn_hadoop_env [<options>]Opzioni
| Opzione | Spiegazione |
|---|---|
|
|
Mostra la Guida per questo comando. |
Usare bda-oss-admin print_yarn_mapred_cp per visualizzare il classpath predefinito di Apache YARN/MapReduce.
Sintassi
bda-oss-admin print_yarn_mapred_cp [options]Opzioni
| Opzione | descrizione; |
|---|---|
|
|
Mostra la Guida per questo comando. |
Esempio
# bda-oss-admin print_yarn_mapred_cp
YARN Mapreduce Conf mapreduce_application_classpath: $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,$MR2_CLASSPATH,/opt/oracle/orabalancer-2.4.0-h2/jlib/orabalancer-2.4.0.jar,/opt/oracle/orabalancer-2.4.0-h2/jlib/commons-math-2.2.jar,/opt/oracle/bda/bdcs/bdcs-rest-api-app/current/lib-hadoop/*
Utilizzare bda-oss-admin remove_bdcs_cp_extensions_mr per rimuovere le estensioni classpath del servizio Big Data dal file di configurazione MapReduce, mapred-site.xml.
Sintassi
bda-oss-admin remove_bdcs_cp_extensions_mr [options] Opzioni
| Opzione | descrizione; |
|---|---|
|
|
Mostra la Guida di questo comando |
Esempio
# bda-oss-admin remove_bdcs_cp_extensions_mr
Changes will not affect the cluster until services get restarted. See the restart_cluster command
Utilizzare bda-oss-admin restart_cluster per riavviare il cluster.
Sintassi
bda-oss-admin restart_cluster [options]Opzioni
|
Opzione |
descrizione; |
|---|---|
|
|
Mostra la Guida per questo comando. |
Esempio
# bda-oss-admin restart_cluster
Restarting the cluster...
*********************
Cluster restarted successfully
Usare bda-oss-admin set_bdcs_proxy_user per aggiungere utenti proxy.
Utilizzo
Comando utilizzato internamente per eseguire il bootstrap di Big Data Service. Riavviare i servizi Hadoop per abilitare questa modifica.
Sintassi
bda-oss-admin set_bdcs_proxy_user [<options>]Opzioni
| Opzione | Spiegazione |
|---|---|
|
|
Nome host dal servizio REST Big Data Service |
|
|
Gruppo di sistemi operativi autorizzato a eseguire i comandi di Big Data Service (ad esempio, huser, *) |
|
|
Utente che esegue il servizio Big Data |
|
|
Mostra la Guida per questo comando. |
Utilizzare bda-oss-admin update_oci_cred per modificare i dettagli relativi a un provider di storage degli oggetti dell'infrastruttura Oracle già registrato con un cluster.
Utilizzo
Le opzioni per bda-oss-admin update_oci_cred sono identiche a quelle per bda-oss-admin add_oci_cred. Eseguire questo comando utilizzando solo le opzioni di cui si desidera modificare i valori.
Utilizzare bda-oss-admin update_s3_cred per modificare i dettagli relativi a un provider S3 di Amazon Web Services già registrato con un cluster.
Utilizzo
Le opzioni per bda-oss-admin update_s3_cred sono identiche a quelle per bda-oss-admin add_s3_cred. Eseguire questo comando utilizzando solo le opzioni di cui si desidera modificare i valori.