Apache Hadoopの使用
Apache Hadoopは、スケーラブルなクラスタでビッグ・データ・アプリケーションの大量のデータを処理および格納するオープン・ソースの分散処理フレームワークです。
Hadoop Configurationのプロパティ
ビッグ・データ・サービス3.1.1以降に含まれるHadoop構成プロパティ。
| 設定 | プロパティ | 説明 |
|---|---|---|
hadoop-env |
hadoop_extra_opts |
追加のJavaランタイム・オプション |
hadoop_log_opts |
Hadoopロギング・オプション | |
hadoop_jobtracker_opts |
Hadoopジョブ・トラッカJavaオプション | |
hadoop_tasktracker_opts |
Hadoopタスク・トラッカJavaオプション | |
hdfs_namenode_opts_shared |
プライマリおよびセカンダリHDFSノード用の共有Javaオプション | |
hdfs_namenode_pre8_opts_shared |
java_version < 8の場合、プライマリおよびセカンダリHDFS NameNode用の共有Javaオプション | |
hdfs_namenode_opts |
HDFS NamenodeのJavaオプション | |
hdfs_datanode_opts |
HDFS DatanodeのJavaオプション | |
hdfs_datanode_pre8_opts |
java_version < 8の場合、HDFS DatanodeのJavaオプション | |
hdfs_secondary_namenode_opts |
HDFSセカンダリNamenodeのJavaオプション | |
hadoop_client_opts |
HadoopクライアントJavaオプション | |
hadoop_client_pre8_opts |
java_version < 8の場合のHadoopクライアント・オプション | |
hdfs_namenode_secure_opts |
セキュリティが有効な場合、HDFS NamenodeのJavaオプション | |
hdfs_secondary_namenode_secure_opts |
セキュリティが有効な場合、HDFSセカンダリ・ネームノードのJavaオプション | |
hdfs_datanode_secure_opts |
セキュリティが有効な場合、HDFS DatanodeのJavaオプション | |
hdfs_journalnode_secure_opts |
セキュリティが有効な場合、HDFS JournalnodeのJavaオプション | |
hdfs_nfs3_opts |
HDFS NFSゲートウェイのJavaオプション | |
hadoop_balancer_opts |
Hadoop BalancerのJavaオプション | |
hadoop_ssh_opts |
追加のHadoop SSHオプション | |
hadoop_yarn_resourcemanager_opts |
Hadoop Yarnリソース・マネージャJavaオプション | |
hadoop_zk_principal_opts |
ZooKeeperプリンシパル・ユーザーが定義されている場合のHadoop Javaオプション | |
hadoop_zk_ssl_params |
HadoopのZooKeeper SSLパラメータ | |
hdfs_namenode_remotejmx_opts |
リモートJMXが有効な場合のHDFS NamenodeのJavaオプション | |
hdfs_secondary_namenode_remotejmx_opts |
リモートJMXが有効な場合のHDFSセカンダリNamenodeのJavaオプション | |
hdfs_datanode_remotejmx_opts |
リモートJMXが有効な場合のHDFSデータノードのJavaオプション | |
hdfs_journalnode_remotejmx_opts |
リモートJMXが有効な場合のHDFS JournalnodeのJavaオプション | |
hdfs_zkfc_remotejmx_opts |
リモートJMXが有効な場合、HDFS ZooKeeperフェイルオーバー・コントローラのJavaオプション | |
hadoop_classpath |
カスタムJARまたはディレクトリを含むHadoopクラスパス |