Configuración de Apache Hue
Nota
Omita este paso para los clusters de Big Data Service con la versión 3.0.7 o posterior, ya que Apache Hue ya está instalado y configurado en los nodos del cluster.
Omita este paso para los clusters de Big Data Service con la versión 3.0.7 o posterior, ya que Apache Hue ya está instalado y configurado en los nodos del cluster.
En esta sección se detalla el procedimiento que debe seguir para configurar Apache Hue para un cluster seguro o uno seguro.
Configuración de Apache Hue para un cluster no seguro
- Cree un usuario hue para Apache Hue ejecutando los siguientes comandos:
sudo useradd -u 54336 hue sudo chown -R hue:hue /usr/local/hue sudo su - hdfs -c "hdfs dfs -mkdir /user/hue" sudo su - hdfs -c "hdfs dfs -chown hue:hadoop /user/hue" sudo su - hdfs -c "hdfs dfs -chmod 755 /user/hue" sudo mysql -u root
- Ejecute las siguientes sentencias en la interfaz de MySQL:
create database desktop; grant all privileges on *.* to 'hue'@'localhost '; grant all on hue.* to 'hue'@'localhost'; alter user 'hue'@'localhost' identified by 'secretpassword'; flush privileges; exit
- Edite el archivo hue.ini y actualice las secciones de los servicios que desea utilizar con Hue.
sudo vim /usr/local/hue/desktop/conf/hue.ini
- MySQL
[[database]] # Database engine is typically one of: # postgresql_psycopg2, mysql, sqlite3 or oracle. engine=mysql host=localhost port=3306 user=hue password=secretpassword name=desktop
- HDFS
[[hdfs_clusters]] [[[default]]] # Enter the filesystem uri fs_defaultfs=hdfs://<master_node_fully_qualified_hostname>:8020 # Use WebHdfs/HttpFs as the communication mechanism. # Domain should be the NameNode or HttpFs host. # Default port is 14000 for HttpFs. webhdfs_url=http://<master_node_fully_qualified_hostname>:50070/webhdfs/v1
- YARN
[[yarn_clusters]] [[[default]]] # Enter the host on which you are running the ResourceManager resourcemanager_host=<master_node_fully_qualified_hostname> # The port where the ResourceManager IPC listens on resourcemanager_port=8050 # URL of the ResourceManager API resourcemanager_api_url=http://<master_node_fully_qualified_hostname>:8088 # Whether to submit jobs to this cluster submit_to=True # URL of the ProxyServer API proxy_api_url=http://<master_node_fully_qualified_hostname>:8088 # URL of the HistoryServer API history_server_api_url=http://<utility_node_fully_qualified_hostname>:19888 # URL of the spark history server spark_history_server_url=http://<master_node_fully_qualified_hostname>:18081
- Oozie
[liboozie] # The URL where the Oozie service runs on. oozie_url=http://<utility_node_fully_qualified_hostname>:11000/oozie
- Hive
[beeswax] # Host where HiveServer2 is running. hive_server_host=<utility_node_fully_qualified_hostname> # Http thrift port for HiveServer2. hive_server_http_port=10002 # Use SASL framework to establish connection to host. use_sasl=true
- HBase
[hbase] # Comma-separated list of HBase Thrift server 1 for clusters in the format of '(name|host:port)'. hbase_clusters=(Cluster|<master_node_fully_qualified_hostname>:9090)
- Lista de servicios que no se deben cargar al iniciar el servidor
[desktop] # Comma separated list of apps to not load at server startup. # e.g.: pig,zookeeper app_blacklist=impala,security
- MySQL
- Abra un nuevo archivo, asígnele el nombre
pseudo-distributed.ini
y, a continuación, agregue las siguientes secciones:sudo vim /usr/local/hue/desktop/conf/pseudo-distributed.ini [beeswax] max_number_of_sessions=-1 [[hdfs_clusters]] # HA support by using HttpFs [[[default]]] # Enter the filesystem uri fs_defaultfs=hdfs://<master_node_fully_qualified _hostname>:8020 webhdfs_url=http://<master_node_fully_qualified_hostname>:50070/webhdfs/v1 [[yarn_clusters]] resourcemanager_api_url=http://<master_node_fully_qualified_hostname>:8088 8088
- Actualice los permisos para Hive.
sudo chmod -R 777 /etc/hive sudo su - hue cd /usr/local/hue/build/env/bin/ ./hue syncdb --noinput ./hue migrate nohup ./hue runcpserver &
Configuración de Apache Hue para un cluster seguro
- Cree un usuario hue para Apache Hue ejecutando los siguientes comandos:
sudo useradd -u 54336 hue sudo chown -R hue:hue /usr/local/hue sudo su - hdfs -c "hdfs dfs -mkdir /user/hue" sudo su - hdfs -c "hdfs dfs -chown hue:hadoop /user/hue" sudo su - hdfs -c "hdfs dfs -chmod 755 /user/hue" sudo mysql -u root
- Ejecute las siguientes sentencias en la interfaz de MySQL:
create database desktop; grant all privileges on *.* to 'hue'@'localhost '; grant all on hue.* to 'hue'@'localhost'; alter user 'hue'@'localhost' identified by 'secretpassword'; flush privileges; exit
- Establezca una conexión SSH al nodo maestro mediante la IP pública y la clave privada asociadas al cluster.
ssh opc@<masternode0_hostname/private_ip>
- Inicie sesión en kadmin.
sudo kadmin.local
- Cree un principal para el servidor de Hue y sustituya el FQDN por el nombre de dominio completo del nodo de utilidad donde está instalado Hue.
addprinc -randkey -maxrenewlife 90day +allow_renewable hue/<FQDN> xst -k hue.service.keytab hue/<FQDN>@BDACLOUDSERVICE.ORACLE.COM exit
- Actualice los permisos para activar la copia de keytab en el nodo de utilidad.
sudo chmod 777 hue.service.keytab exit
- Copie el archivo keytab y defina los permisos y la propiedad adecuados.
sudo scp opc@<master_node0_hostname>:~/hue.service.keytab /etc/security/keytabs/hue.service.keytab sudo chown hue:hadoop /etc/security/keytabs/hue.service.keytab sudo chmod 600 /etc/security/keytabs/hue.service.keytab
- Asegúrese de que se pueda acceder a la tabla de claves probando
kinit
y copie las credenciales almacenadas en caché para configurar Kerberos en la configuración de Hue más adelante.sudo su - hue kinit -k -t /etc/security/keytabs/hue.service.keytab hue/<FQDN>@BDACLOUDSERVICE.ORACLE.COM exit
- Edite el archivo
hue.ini
y actualice las secciones de los servicios que desea utilizar con Hue.sudo vim /usr/local/hue/desktop/conf/hue.ini
- MySQL
[[database]] # Database engine is typically one of: # postgresql_psycopg2, mysql, sqlite3 or oracle. engine=mysql host=localhost port=3306 user=hue password=secretpassword name=desktop
- HDFS
[[hdfs_clusters]] [[[default]]] # Enter the filesystem uri fs_defaultfs=hdfs://<master_node_0_fully_qualified_hostname>:8020 # Use WebHdfs/HttpFs as the communication mechanism. # Domain should be the NameNode or HttpFs host. # Default port is 14000 for HttpFs. webhdfs_url=http://<master_node_0_fully_qualified_hostname>:50070/webhdfs/v1 # Change this if your YARN cluster is Kerberos-secured security_enabled=true
- YARN
[[yarn_clusters]] [[[default]]] # Enter the host on which you are running the ResourceManager resourcemanager_host=<master_node_0_fully_qualified_hostname> # URL of the ResourceManager API resourcemanager_api_url=http://<master_node_0_fully_qualified_hostname>:8088 # Whether to submit jobs to this cluster submit_to=True # URL of the ProxyServer API proxy_api_url=http://<master_node_0_fully_qualified_hostname>:8088 # URL of the HistoryServer API history_server_api_url=http://<master_node_1_hostname>:19888 # URL of the spark history server spark_history_server_url=http://<master_node_fully_qualified_hostname>:18081 # Change this if your YARN cluster is Kerberos-secured security_enabled=true
- Oozie
[liboozie] # The URL where the Oozie service runs on. oozie_url=http://<utility_node_fully_qualified_hostname>:11000/oozie # Change this if your YARN cluster is Kerberos-secured security_enabled=true
- Hive
[beeswax] # Host where HiveServer2 is running. hive_server_host=<utility_node_fully_qualified_hostname> # Http thrift port for HiveServer2. hive_server_http_port=10002 # Use SASL framework to establish connection to host. use_sasl=true
- HBase
[hbase] # Comma-separated list of HBase Thrift server 1 for clusters in the format of '(name|host:port)'. hbase_clusters=(Cluster|<master_node_0_fully_qualified_hostname>:9090)
- Lista de servicios que no se deben cargar al iniciar el servidor
[desktop] # Comma separated list of apps to not load at server startup. # e.g.: pig,zookeeper app_blacklist=impala,security
- Configuración de Kerberos
[[kerberos]] # Path to Hue's Kerberos keytab file hue_keytab=/etc/security/keytabs/hue.service.keytab # Kerberos principal name for Hue hue_principal=hue/<utility_node_hostname>@BDACLOUDSERVICE.ORACLE.COM kinit_path=/usr/bin/kinit ccache_path=/tmp/krb5cc_54366
- MySQL
- Abra un nuevo archivo, asígnele el nombre
pseudo-distributed.ini
y, a continuación, agregue las siguientes secciones:sudo vim /usr/local/hue/desktop/conf/pseudo-distributed.ini [beeswax] max_number_of_sessions=-1 [[hdfs_clusters]] # HA support by using HttpFs [[[default]]] # Enter the filesystem uri fs_defaultfs=hdfs://<master_node_fully_qualified_hostname>:8020 webhdfs_url=http://<master_node_fully_qualified_hostname>:50070/webhdfs/v1 [[yarn_clusters]] resourcemanager_api_url=http://<master_node_fully_qualified_hostname>:8088
- Actualice los permisos para Hive.
- En la interfaz de usuario de Ambari, en HDFS, vaya a Summary. Asegúrese de que el host mn0 esté definido como Active en la sección de la parte derecha de la página. Si no es así, reinicie el nodo mn1 desde la consola del cluster de Big Data Service.
- Ejecute los siguientes comandos para iniciar Apache Hue:
sudo chmod -R 777 /etc/hive sudo su - hue cd /usr/local/hue/build/env/bin/ ./hue syncdb --noinput ./hue migrate nohup ./hue runcpserver & crontab -e 0 */12 * * * cd /usr/local/hue/build/env/bin ; ./hue kt_renewer &
- Guarde y salga con el comando
:wq
.