Usando o Apache Hadoop
O Apache Hadoop é uma estrutura de processamento distribuído de código aberto que processa e armazena grandes quantidades de dados para aplicativos de big data em clusters escaláveis.
Propriedades de Configuração do Hadoop
Propriedades de configuração do Hadoop incluídas no Big Data Service 3.1.1 ou posterior.
| Configuração | Propriedade | Descrição |
|---|---|---|
hadoop-env |
hadoop_extra_opts |
Opções extras de runtime do Java |
hadoop_log_opts |
Opções de log do Hadoop | |
hadoop_jobtracker_opts |
Opções Java do rastreador de Jobs do Hadoop | |
hadoop_tasktracker_opts |
Opções Java do rastreador de Tarefas do Hadoop | |
hdfs_namenode_opts_shared |
Opções Java compartilhadas para Namenodes HDFS principais e secundários | |
hdfs_namenode_pre8_opts_shared |
Opções Java compartilhadas para Namenodes HDFS principais e secundários se java_version < 8 | |
hdfs_namenode_opts |
Opções Java para o Namenode HDFS | |
hdfs_datanode_opts |
Opções Java para o Datanode HDFS | |
hdfs_datanode_pre8_opts |
Opções Java para o Datanode do HDFS se java_version < 8 | |
hdfs_secondary_namenode_opts |
Opções Java para o Namenode secundário do HDFS | |
hadoop_client_opts |
Opções de Java do cliente Hadoop | |
hadoop_client_pre8_opts |
Opções do cliente do Hadoop se java_version < 8 | |
hdfs_namenode_secure_opts |
Opções Java para o Namenode do HDFS se a segurança estiver ativada | |
hdfs_secondary_namenode_secure_opts |
Opções Java para o Namenode secundário do HDFS se a segurança estiver ativada | |
hdfs_datanode_secure_opts |
Opções Java para o Datanode do HDFS se a segurança estiver ativada | |
hdfs_journalnode_secure_opts |
Opções Java para o Journalnode do HDFS se a segurança estiver ativada | |
hdfs_nfs3_opts |
Opções Java para Gateway NFS HDFS | |
hadoop_balancer_opts |
Opções Java do Hadoop Balancer | |
hadoop_ssh_opts |
Opções extras de SSH do Hadoop | |
hadoop_yarn_resourcemanager_opts |
Opções Hadoop Yarn Resource-Manager Java | |
hadoop_zk_principal_opts |
Opções Java do Hadoop se o usuário principal ZooKeeper estiver definido | |
hadoop_zk_ssl_params |
ZooKeeper Parâmetros SSL para Hadoop | |
hdfs_namenode_remotejmx_opts |
Opções Java para o Namenode do HDFS se o JMX remoto estiver ativado | |
hdfs_secondary_namenode_remotejmx_opts |
Opções Java para Namenode secundário do HDFS se o JMX remoto estiver ativado | |
hdfs_datanode_remotejmx_opts |
Opções Java para o Datanode do HDFS se o JMX remoto estiver ativado | |
hdfs_journalnode_remotejmx_opts |
Opções Java para o Journalnode do HDFS se o JMX remoto estiver ativado | |
hdfs_zkfc_remotejmx_opts |
Opções Java para o Controlador de Failover HDFS ZooKeeper se o JMX remoto estiver ativado | |
hadoop_classpath |
Classpath do Hadoop contendo JARs ou diretórios personalizados |