Utilisation d'Apache Hadoop
Apache Hadoop est une structure de traitement distribué open source qui traite et stocke de grandes quantités de données pour les applications Big Data dans des clusters évolutifs.
Propriétés de configuration Hadoop
Propriétés de configuration Hadoop incluses dans Big Data Service 3.1.1 ou version ultérieure.
| Configuration | Propriété | Description |
|---|---|---|
hadoop-env |
hadoop_extra_opts |
Options d'exécution Java supplémentaires |
hadoop_log_opts |
Options de journalisation Hadoop | |
hadoop_jobtracker_opts |
Options Java du suivi des travaux Hadoop | |
hadoop_tasktracker_opts |
Options Java du suivi des tâches Hadoop | |
hdfs_namenode_opts_shared |
Options Java partagées pour les noeuds HDFS principaux et secondaires | |
hdfs_namenode_pre8_opts_shared |
Options Java partagées pour les noeuds HDFS principaux et secondaires si java_version < 8 | |
hdfs_namenode_opts |
Options Java pour HDFS Namenode | |
hdfs_datanode_opts |
Options Java pour le mode de données HDFS | |
hdfs_datanode_pre8_opts |
Options Java pour le mode de données HDFS si java_version < 8 | |
hdfs_secondary_namenode_opts |
Options Java pour Namenode secondaire HDFS | |
hadoop_client_opts |
Options Java du client Hadoop | |
hadoop_client_pre8_opts |
Options client Hadoop si java_version < 8 | |
hdfs_namenode_secure_opts |
Options Java pour le Namenode HDFS si la sécurité est activée | |
hdfs_secondary_namenode_secure_opts |
Options Java pour le Namenode secondaire HDFS si la sécurité est activée | |
hdfs_datanode_secure_opts |
Options Java pour le mode de données HDFS si la sécurité est activée | |
hdfs_journalnode_secure_opts |
Options Java pour HDFS Journalnode si la sécurité est activée | |
hdfs_nfs3_opts |
Options Java pour la passerelle NFS HDFS | |
hadoop_balancer_opts |
Options Java d'équilibreur de charge Hadoop | |
hadoop_ssh_opts |
Options SSH Hadoop supplémentaires | |
hadoop_yarn_resourcemanager_opts |
Options Java du gestionnaire de ressources Hadoop Yarn | |
hadoop_zk_principal_opts |
Options Java Hadoop si l'utilisateur principal ZooKeeper est défini | |
hadoop_zk_ssl_params |
ZooKeeper Paramètres SSL pour Hadoop | |
hdfs_namenode_remotejmx_opts |
Options Java pour HDFS Namenode si JMX distant est activé | |
hdfs_secondary_namenode_remotejmx_opts |
Options Java pour le Namenode secondaire HDFS si JMX distant est activé | |
hdfs_datanode_remotejmx_opts |
Options Java pour le mode de données HDFS si JMX distant est activé | |
hdfs_journalnode_remotejmx_opts |
Options Java pour HDFS Journalnode si JMX distant est activé | |
hdfs_zkfc_remotejmx_opts |
Options Java pour le contrôleur de basculement HDFS ZooKeeper si JMX distant est activé | |
hadoop_classpath |
Variable d'environnement CLASSPATH Hadoop contenant des fichiers JAR ou répertoires personnalisés |