Uso de Apache Hadoop
Apache Hadoop es un marco de procesamiento distribuido de código abierto que procesa y almacena grandes cantidades de datos para aplicaciones de big data en clusters escalables.
Propiedades de configuración de Hadoop
Propiedades de configuración de Hadoop incluidas en Big Data Service 3.1.1 o posterior.
| Configuración | Propiedad | Descripción |
|---|---|---|
hadoop-env |
hadoop_extra_opts |
Opciones adicionales de Java Runtime |
hadoop_log_opts |
Opciones de registro de Hadoop | |
hadoop_jobtracker_opts |
Opciones de Java del rastreador de trabajos de Hadoop | |
hadoop_tasktracker_opts |
Opciones Java del rastreador de tareas de Hadoop | |
hdfs_namenode_opts_shared |
Opciones Java compartidas para los nodos de HDFS principales y secundarios | |
hdfs_namenode_pre8_opts_shared |
Opciones de Java compartidas para los nodos de HDFS principales y secundarios si java_version < 8 | |
hdfs_namenode_opts |
Opciones de Java para HDFS Namenode | |
hdfs_datanode_opts |
Opciones de Java para el Datanode de HDFS | |
hdfs_datanode_pre8_opts |
Opciones de Java para Datanode de HDFS si java_version < 8 | |
hdfs_secondary_namenode_opts |
Opciones de Java para Namenode secundario de HDFS | |
hadoop_client_opts |
Opciones de Java del cliente Hadoop | |
hadoop_client_pre8_opts |
Opciones de cliente de Hadoop si java_version < 8 | |
hdfs_namenode_secure_opts |
Opciones de Java para Namenode de HDFS si la seguridad está activada | |
hdfs_secondary_namenode_secure_opts |
Opciones de Java para Namenode secundario de HDFS si la seguridad está activada | |
hdfs_datanode_secure_opts |
Opciones de Java para el Datanode de HDFS si la seguridad está activada | |
hdfs_journalnode_secure_opts |
Opciones de Java para HDFS Journalnode si la seguridad está activada | |
hdfs_nfs3_opts |
Opciones de Java para el gateway NFS de HDFS | |
hadoop_balancer_opts |
Opciones de Java del equilibrador de Hadoop | |
hadoop_ssh_opts |
Opciones adicionales de SSH de Hadoop | |
hadoop_yarn_resourcemanager_opts |
Opciones de Java del gestor de recursos de Hadoop Yarn | |
hadoop_zk_principal_opts |
Opciones de Hadoop Java si se define el usuario principal ZooKeeper | |
hadoop_zk_ssl_params |
Parámetros SSL ZooKeeper para Hadoop | |
hdfs_namenode_remotejmx_opts |
Opciones de Java para Namenode de HDFS si JMX remoto está activado | |
hdfs_secondary_namenode_remotejmx_opts |
Opciones de Java para Namenode secundario de HDFS si JMX remoto está activado | |
hdfs_datanode_remotejmx_opts |
Opciones de Java para el Datanode de HDFS si JMX remoto está activado | |
hdfs_journalnode_remotejmx_opts |
Opciones de Java para Journalnode de HDFS si JMX remoto está activado | |
hdfs_zkfc_remotejmx_opts |
Opciones de Java para el controlador de failover ZooKeeper de HDFS si JMX remoto está activado | |
hadoop_classpath |
classpath de Hadoop que contiene archivos JAR o directorios personalizados |