Apache Hadoopの使用
Apache Hadoopは、スケーラブルなクラスタでビッグ・データ・アプリケーションの大量のデータを処理および格納するオープン・ソースの分散処理フレームワークです。
Hadoop Configurationのプロパティ
ビッグ・データ・サービス3.1.1以降に含まれるHadoop構成プロパティ。
| 設定 | プロパティ | 説明 |
|---|---|---|
hadoop-env
|
hadoop_extra_opts
|
追加のJavaランタイム・オプション |
hadoop_log_opts
|
Hadoopロギング・オプション | |
hadoop_jobtracker_opts
|
Hadoopジョブ・トラッカJavaオプション | |
hadoop_tasktracker_opts
|
Hadoopタスク・トラッカJavaオプション | |
hdfs_namenode_opts_shared
|
プライマリおよびセカンダリHDFSノード用の共有Javaオプション | |
hdfs_namenode_pre8_opts_shared
|
java_version < 8の場合、プライマリおよびセカンダリHDFS NameNode用の共有Javaオプション | |
hdfs_namenode_opts
|
HDFS NamenodeのJavaオプション | |
hdfs_datanode_opts
|
HDFS DatanodeのJavaオプション | |
hdfs_datanode_pre8_opts
|
java_version < 8の場合、HDFS DatanodeのJavaオプション | |
hdfs_secondary_namenode_opts
|
HDFSセカンダリNamenodeのJavaオプション | |
hadoop_client_opts
|
HadoopクライアントJavaオプション | |
hadoop_client_pre8_opts
|
java_version < 8の場合のHadoopクライアント・オプション | |
hdfs_namenode_secure_opts
|
セキュリティが有効な場合、HDFS NamenodeのJavaオプション | |
hdfs_secondary_namenode_secure_opts
|
セキュリティが有効な場合、HDFSセカンダリ・ネームノードのJavaオプション | |
hdfs_datanode_secure_opts
|
セキュリティが有効な場合、HDFS DatanodeのJavaオプション | |
hdfs_journalnode_secure_opts
|
セキュリティが有効な場合、HDFS JournalnodeのJavaオプション | |
hdfs_nfs3_opts
|
HDFS NFSゲートウェイのJavaオプション | |
hadoop_balancer_opts
|
Hadoop BalancerのJavaオプション | |
hadoop_ssh_opts
|
追加のHadoop SSHオプション | |
hadoop_yarn_resourcemanager_opts
|
Hadoop Yarnリソース・マネージャJavaオプション | |
hadoop_zk_principal_opts
|
ZooKeeperプリンシパル・ユーザーが定義されている場合のHadoop Javaオプション | |
hadoop_zk_ssl_params
|
HadoopのZooKeeper SSLパラメータ | |
hdfs_namenode_remotejmx_opts
|
リモートJMXが有効な場合のHDFS NamenodeのJavaオプション | |
hdfs_secondary_namenode_remotejmx_opts
|
リモートJMXが有効な場合のHDFSセカンダリNamenodeのJavaオプション | |
hdfs_datanode_remotejmx_opts
|
リモートJMXが有効な場合のHDFSデータノードのJavaオプション | |
hdfs_journalnode_remotejmx_opts
|
リモートJMXが有効な場合のHDFS JournalnodeのJavaオプション | |
hdfs_zkfc_remotejmx_opts
|
リモートJMXが有効な場合、HDFS ZooKeeperフェイルオーバー・コントローラのJavaオプション | |
hadoop_classpath
|
カスタムJARまたはディレクトリを含むHadoopクラスパス |