HDFS

HDFSにデータベースを格納すると、Dgraphの高可用性が向上します。データベースのコンテンツが複数のノードにわたり分散されるため、1つのノードが停止した場合もDgraphは問合せの処理を続行できます。また、データベースに含めることができるデータの量が増加します。

注意: この情報は、MapR-FSにも当てはまります。

HDFSにデータベースを格納するには、システムが次の要件を満たしている必要があります。

HDFS DataNodeサービスが、Dgraphをホストするすべてのノードで実行されている必要があります。最善のパフォーマンスのためには、これは、Dgraphノードで実行されている唯一のHadoopサービスである必要があります。特に、DgraphをSparkと併置しないようにする必要があります。これは、両方のサービスが大量のリソースを必要とするためです。
DgraphをSparkまたはその他のHadoopサービスと併置する必要がある場合は、cgroupを使用して、それのためにリソースを隔離する必要があります。詳細は、cgroupの設定を参照してください。
最善のパフォーマンスのためには、HDFSでのショートサーキット読込みを構成します。これにより、DataNodeのネットワーク・ソケットを使用してデータを転送するのではなく、Dgraphでローカル・データベース・ファイルに直接アクセスできるようになります。手順については、Hadoopディストリビューションのドキュメントを参照してください。
bddユーザーには、データベースが格納されるHDFSディレクトリの読取りおよび書込み権限が必要です。これをすべてのDgraphノードで設定するようにしてください。
HDFS保存データ暗号化をHadoopで有効にする場合は、データベースを暗号化ゾーンに格納する必要があります。詳細は、HDFS保存データ暗号化を参照してください。
デフォルトHDFSマウント・ポイント(DgraphがHDFSルート・ディレクトリをマウントするローカル・ディレクトリ)を使用しないことを決定した場合は、使用するディレクトリが空であり、それにbddユーザーのための読取り、書込みおよび実行権限があることを確認してください。これをすべてのDgraphノードで設定する必要があります。
BDDの構成ファイル内のDGRAPH_HDFS_USE_MOUNTプロパティを必ずTRUEに設定するようにしてください。

また、DgraphがHDFS内のそのデータベースにアクセスできるようにするには、HDFS NFS Gateway (MapRではMapR NFSと呼ばれる)サービスまたはFUSEのどちらかをインストールする必要があります。使用するオプションは、Hadoopクラスタによって異なります。

次のいずれかがある場合は、NFS Gatewayを使用する必要があります。
- MapR
- CDH 5.7.1
- HDFS保存データ暗号化が有効になっている
詳細は、HDFS NFS Gatewayサービスのインストールを参照してください。
その他すべての場合には、FUSEまたはNFS Gatewayのどちらかを使用できます。FUSEの詳細は、FUSEのインストールを参照してください。