デプロイメント構成とその図

Big Data Discoveryでは、多くの異なるデプロイメント構成がサポートされます。インストールの前に、ニーズに最も合う構成になるようデプロイメントを構成できます。このトピックでは、デモ目的、開発、本番に適した3種類のデプロイメントについて説明します。

このトピックでは、3種類のデプロイメントについて説明し、その考えられるバリエーションを示しますが、BDDはデータ処理の必要性に応じた任意の構成にデプロイできます。このトピックで説明する構成に限定されません。

次のデプロイメント・オプションについて考えます。

デモ環境用単一ノード・デプロイメント

BDDは、単一の物理または仮想マシンで稼働しているデモ環境にデプロイできます。この構成は、処理できるデータの量に限りがあるため、製品の機能を少量のサンプル索引でデモンストレーションする場合にのみお薦めします。

単一ノード・デプロイメントでは、CDH (NameNodeおよび1つのDataNodeを含む)、StudioおよびDgraph Gatewayを含むWebLogic ServerおよびDgraphインスタンスがすべて同じノードでホストされます。

この図は、1つのノードにデプロイされたBig Data Discoveryソフトウェアを示しています。このデプロイメントには、CDH、StudioとDgraph Gatewayを含むWebLogic ServerおよびDgraphが含まれています。

開発環境用2ノード・デプロイメント

BDDは、開発環境用の2つのノードにデプロイできます。この構成では、単一ノード構成よりも多少大きい索引を処理できますが、DgraphまたはStudioサービスの高可用性が提供されず、大量のデータに対する問合せ処理の容量にも限りがあるため、本番には推奨されません。

2ノード構成では、CDH (NameNodeおよび1つのDataNodeを含む)は1つ目のノードでホストされます。StudioおよびDgraph Gatewayを含むWebLogic ServerおよびDgraphインスタンスは2つ目のノードでホストされます。

この図は、2つのノードにデプロイされたBig Data Discoveryソフトウェアを示しています。一方のノードでCDHをホストし、他方のノードでStudioとDgraph Gatewayを含むWebLogic ServerおよびDgraphをホストします。

本番環境用6ノード・デプロイメント

本番環境は、スケールに必要なだけの任意の数のノードで構成されます。ただし、少なくとも3つのCDHノードにBig Data Discoveryがデプロイされた6ノードのクラスタで最小限の可用性が保証されます。

このBig Data Discoveryの6ノード・デプロイメントは、次のようになります。
  • ノード1、2および3でCDHソフトウェアが実行されます。Big Data Discoveryソフトウェアもこれらのノードにデプロイされることに注意してください。インストール後、データ処理ジョブはこれらのノードから起動され、他のBDDノードで実行されます。CDHのノードが3つあることで、Big Data Discoveryによって提供されるサービス(Dgraphによって実行される問合せ処理を含む)の可用性が確実に増します。
  • ノード4および5では、WebLogic ServerとStudioが実行されます。これによってStudioインスタンスの冗長性が最小になります。(ノード5では、Dgraphのホストも行われます)。
  • ノード5および6でDgraphインスタンスが実行されます。これによってBig Data Discoveryクラスタ内にDgraphクラスタが作成され、問合せ処理の可用性が増します。

この図は、6ノードのBig Data Discoveryクラスタ・デプロイメントを示しています。CDHが3つのノードで実行され、WebLogic Serverがそれ以外の2つのノードで実行されています。1つのDgraphインスタンスがWebLogic Serverと併置され、別にDgraphプロセスの実行専用のノードがあります。

注意: ここに示した複数ノード・レイアウトとは異なる複数ノードBig Data Discoveryクラスタを設定することもできます。たとえば、デプロイメント時、各カテゴリ(CDHノード、WebLogic Serverノード、Dgraphノード)にノードを追加できます。WebLogic Serverの実行に専用のノードを使用するのではなく、いくつかのノードでCDHとWebLogic Serverを併置することもできます。同様に、CDHが実行されているのと同じノードでDgraphをホストすることもできます。そのような決定は全体のパフォーマンスに影響する可能性があり、サイトのリソースおよびデプロイメント要件に依存します。このトピック内の「CDH、WebLogic ServerおよびDgraphの併置について」を参照してください。

ノードの数について

このドキュメントでは、サイジングについての推奨はしません。デプロイメントに対して適切なサイズを決定するには、サイトの固有の要件とともに次のガイドラインを使用します。

重要: デプロイメント後にノードを追加することはできないため、クラスタに含めるCDH、WebLogic ServerおよびDgraphのノードの数をインストールの前に決定する必要があります。次のガイドラインを読んで要件に応じたクラスタ構成を行い、再インストールの必要がないようにします。
各カテゴリ(CDHノード、Studioを含むWebLogic Serverノード、Dgraphノード)のノードの数に関する大まかなガイダンスを次に示します。
  • CDHノード。最小要件は、BDDデプロイメントにCDHノードが1つあることです。高可用性を考慮すると、BDDデプロイメントに最低3つのCDHノードを含めることをお薦めします。(注意: 既存のCDHクラスタに4つ以上のノードが含まれているかもしれません。このトピックで説明しているCDHノードは、CDHが稼働し、BDDもデプロイされているノードです)。インストーラは、クラスタ内の要件を満たすすべてのCDHノードに自動的にデータ処理をデプロイします。
  • WebLogic Serverノード。最小要件は、StudioおよびDgraph Gatewayが稼働しているWebLogic Serverノードが1つあることです。Studioインスタンスの推奨数はありませんが、Big Data Discoveryへの同時問合せリクエストを生成するエンド・ユーザーが多い場合、2つのStudioインスタンスを実行する(したがって、2つのWebLogic Serverノードを構成する)のが望ましいです。複数のWebLogic Serverノードがある場合、それらのノードで稼働しているStudioインスタンスに接続される外部ロード・バランサを構成することをお薦めします。インストールの前にWebLogic Serverノードの数をインストーラの構成ファイルに指定する必要があります。
  • Dgraphノード。最小要件は、Big Data Discoveryクラスタ・デプロイメントごとにDgraphインスタンスが1つあることです。複数のDgraphインスタンスがある場合、DgraphインスタンスはDgraphクラスタになり、Big Data Discoveryクラスタ内で実行されます。問合せ処理の可用性が増すため、Dgraphsをクラスタにするのが望ましいです。インストールの前にDgraphノードの数をインストーラの構成ファイルに指定する必要があります。

CDH、WebLogic ServerおよびDgraphの併置について

クラスタを構成する1つの方法は、異なるコンポーネントを同じノードに併置することです。たとえば、BDDクラスタ・デプロイメントの1つのノードで、CDH、Weblogic ServerおよびDgraphの任意の組合せをホストできます(3コンポーネントともホストすることもできます)。

サーバー全体をBig Data Discoveryの特定のコンポーネント専用にする必要がないため、併置によってハードウェアをより効率的に使用できます。ただし、これは、併置されたコンポーネント間でメモリーが競合することも意味し、パフォーマンスに悪影響を及ぼす可能性があります。

Big Data Discoveryの異なるコンポーネントを同じノードに併置するかどうかは、サイトの本番の要件および各コンポーネントを実行するマシンの容量によります。

考えられる併置のオプションは、次のとおりです。

  • DgraphとCDHの併置。最良のパフォーマンスを得るには、特定のサーバーをDgraphプロセスの実行専用(マシンごとに1つのDgraph)にすることをお薦めします。DgraphインスタンスをCDH DataNodeと併置することもできますが、Sparkが稼働していないノードを使用することをお薦めします。DgraphをCDHと併置する場合、Linux cgroups (control groups)およびDgraphのフラグを使用して特定の量のメモリーをDgraphプロセスに割り当て、クラッシュを回避します。cgroupsでは、Dgraphによって使用されるメモリーの量をオペレーティング・システム・レベルで制御でき、Dgraphのフラグでは、Dgraph内で制御できます。詳細は、管理者ガイドを参照してください。
  • DgraphとWebLogic Serverインスタンスの併置。DgraphインスタンスをWebLogic Serverがデプロイされているのと同じノードに併置できます。このオプションを使用する場合、消費するメモリーの量が限定されるようWebLogic Serverを構成し、Dgraphプロセスが問合せ処理に十分なリソースにアクセスできるようにします。
  • WebLogic ServerとCDHの併置。WebLogic ServerインスタンスをCDHがデプロイされているのと同じノードに併置できます。このオプションを使用する場合、消費するメモリーの量が限定されるようWebLogic Serverを構成し、CDHが処理に十分なリソースにアクセスできるようにします。