Utilisation d'Apache Hadoop

Apache Hadoop est une structure de traitement distribué open source qui traite et stocke de grandes quantités de données pour les applications Big Data dans des clusters évolutifs.

Propriétés de configuration Hadoop

Propriétés de configuration Hadoop incluses dans Big Data Service 3.1.1 ou version ultérieure.

Configuration Propriété Description
hadoop-env hadoop_extra_opts Options d'exécution Java supplémentaires
hadoop_log_opts Options de journalisation Hadoop
hadoop_jobtracker_opts Options Java du suivi des travaux Hadoop
hadoop_tasktracker_opts Options Java du suivi des tâches Hadoop
hdfs_namenode_opts_shared Options Java partagées pour les noeuds HDFS principaux et secondaires
hdfs_namenode_pre8_opts_shared Options Java partagées pour les noeuds HDFS principaux et secondaires si java_version < 8
hdfs_namenode_opts Options Java pour HDFS Namenode
hdfs_datanode_opts Options Java pour le mode de données HDFS
hdfs_datanode_pre8_opts Options Java pour le mode de données HDFS si java_version < 8
hdfs_secondary_namenode_opts Options Java pour Namenode secondaire HDFS
hadoop_client_opts Options Java du client Hadoop
hadoop_client_pre8_opts Options client Hadoop si java_version < 8
hdfs_namenode_secure_opts Options Java pour le Namenode HDFS si la sécurité est activée
hdfs_secondary_namenode_secure_opts Options Java pour le Namenode secondaire HDFS si la sécurité est activée
hdfs_datanode_secure_opts Options Java pour le mode de données HDFS si la sécurité est activée
hdfs_journalnode_secure_opts Options Java pour HDFS Journalnode si la sécurité est activée
hdfs_nfs3_opts Options Java pour la passerelle NFS HDFS
hadoop_balancer_opts Options Java d'équilibreur de charge Hadoop
hadoop_ssh_opts Options SSH Hadoop supplémentaires
hadoop_yarn_resourcemanager_opts Options Java du gestionnaire de ressources Hadoop Yarn
hadoop_zk_principal_opts Options Java Hadoop si l'utilisateur principal ZooKeeper est défini
hadoop_zk_ssl_params ZooKeeper Paramètres SSL pour Hadoop
hdfs_namenode_remotejmx_opts Options Java pour HDFS Namenode si JMX distant est activé
hdfs_secondary_namenode_remotejmx_opts Options Java pour le Namenode secondaire HDFS si JMX distant est activé
hdfs_datanode_remotejmx_opts Options Java pour le mode de données HDFS si JMX distant est activé
hdfs_journalnode_remotejmx_opts Options Java pour HDFS Journalnode si JMX distant est activé
hdfs_zkfc_remotejmx_opts Options Java pour le contrôleur de basculement HDFS ZooKeeper si JMX distant est activé
hadoop_classpath Variable d'environnement CLASSPATH Hadoop contenant des fichiers JAR ou répertoires personnalisés