Utiliser Apache Hadoop
Apache Hadoop est un cadre de traitement distribué à code source libre qui traite et stocke de grandes quantités de données pour des applications de mégadonnées dans des grappes évolutives.
Propriétés de configuration Hadoop
Propriétés de configuration Hadoop incluses dans le service de mégadonnées version 3.1.1 ou ultérieure.
| Configuration | Propriété | Description |
|---|---|---|
hadoop-env |
hadoop_extra_opts |
Options d'exécution Java supplémentaires |
hadoop_log_opts |
Options de journalisation Hadoop | |
hadoop_jobtracker_opts |
Options Java pour le suivi des tâches Hadoop | |
hadoop_tasktracker_opts |
Options Java pour le suivi des tâches Hadoop | |
hdfs_namenode_opts_shared |
Options Java partagées pour les noeuds HDFS principaux et secondaires | |
hdfs_namenode_pre8_opts_shared |
Options Java partagées pour les noeuds HDFS principaux et secondaires si java_version < 8 | |
hdfs_namenode_opts |
Options Java pour HDFS Namenode | |
hdfs_datanode_opts |
Options Java pour le code de données HDFS | |
hdfs_datanode_pre8_opts |
Options Java pour le noeud de données HDFS si java_version < 8 | |
hdfs_secondary_namenode_opts |
Options Java pour Namenode secondaire HDFS | |
hadoop_client_opts |
Options Java du client Hadoop | |
hadoop_client_pre8_opts |
Options du client Hadoop si java_version < 8 | |
hdfs_namenode_secure_opts |
Options Java pour HDFS Namenode si la sécurité est activée | |
hdfs_secondary_namenode_secure_opts |
Options Java pour Namenode secondaire HDFS si la sécurité est activée | |
hdfs_datanode_secure_opts |
Options Java pour le noeud de données HDFS si la sécurité est activée | |
hdfs_journalnode_secure_opts |
Options Java pour HDFS Journalnode si la sécurité est activée | |
hdfs_nfs3_opts |
Options Java pour la passerelle HDFS NFS | |
hadoop_balancer_opts |
Options Java pour l'équilibreur Hadoop | |
hadoop_ssh_opts |
Options SSH supplémentaires pour Hadoop | |
hadoop_yarn_resourcemanager_opts |
Options Java pour le gestionnaire de ressources de fil Hadoop | |
hadoop_zk_principal_opts |
Options Java Hadoop si l'utilisateur principal ZooKeeper est défini | |
hadoop_zk_ssl_params |
Paramètres SSL ZooKeeper pour Hadoop | |
hdfs_namenode_remotejmx_opts |
Options Java pour HDFS Namenode si JMX distant est activé | |
hdfs_secondary_namenode_remotejmx_opts |
Options Java pour Namenode secondaire HDFS si JMX distant est activé | |
hdfs_datanode_remotejmx_opts |
Options Java pour HDFS Datanode si JMX distant est activé | |
hdfs_journalnode_remotejmx_opts |
Options Java pour HDFS Journalnode si JMX distant est activé | |
hdfs_zkfc_remotejmx_opts |
Options Java pour le contrôleur de basculement HDFS ZooKeeper si JMX distant est activé | |
hadoop_classpath |
Variable classpath Hadoop contenant des fichiers JAR ou des répertoires personnalisés |