| Oracle® Big Data Applianceオーナーズ・ガイド リリース4 (4.5) E67093-01 |
|
 前 |
 次 |
内容は次のとおりです。
Oracle Big Data Applianceリリース4 (4.5)の変更点は次のとおりです。
ソフトウェア更新
CDH (Cloudera's Distribution including Apache Hadoop) 5.7
CDM (Cloudera Manager) 5.7
Cloudera Navigator 2.4.1
Java JDK 8u92
Oracle Big Data Connectors 4.5
Oracle Data Integrator Agent 12.2.1 (Oracle Big Data Connectors用)
Oracle NoSQL Database 4.0.5
Perfect Balance 2.7
Big Data Discovery 1.2.2 (オプション)
Big Data SQL 3.0.1 (オプション)
ハードウェア更新
Oracle Big Data Appliance X6-2サーバー
22コア(2.2GHz) Intel® Xeon® E5-2699 v4プロセッサ×2
32GB DDR4-2400メモリー×8 (1ノード当たり最大768GBまで拡張可能)
X6-2ノードは、CDHまたはNoSQLクラスタにおいて、X5-2ノード(および4.5以降と互換性のある以前のリリースのノード)と一緒に利用できます。X6-2サーバーには、Oracle Big Data Appliance 4.4より前のリリースのOracle Big Data Applianceクラスタのノードとしての互換性はありません。
詳細は、Oracle Big Data Appliance X6-2データ・シートを参照してください。
新機能
Cloudera CDH 5.7およびCloudera Manager 5.7
CDH 5.7およびCloudera Manager 5.7に関する情報については『Cloudera Enterprise 5.7.x Documentation』を参照してください。
ローカルまたはリモートのKey Trustee Serverのサポート
Oracle Big Data Applianceは、HDFS透過的暗号化では、ローカルおよびリモートの両方のKey Trustee Serverをサポートしています。Oracle Big Data構成ユーティリティには、HDFS透過的暗号化がオプションとして含まれています。チェック・ボックスをクリックして自動的にインストールし、Oracle Big Data ApplianceでアクティブおよびパッシブKey Trustee Serverをローカルで構成することも、アクティブ・サーバーおよびパッシブ・サーバーのアドレス、Key Trustee組織および認可コードなど、「オフボードの」構成を定義することもできます。Mammothのインストール後、いつでもユーティリティでHDFS透過的暗号化を有効化でき、同じようにリモートまたはローカルのKey Trusteeサービスを選択するよう求められます。
Oracle Big Data ApplianceはローカルのKey Trustee Serverをサポートしていますが、リモートサーバーの使用をお薦めします。
Oracle Big Data SQL 3.0.1のサポート
Oracle Big Data Applianceリリース4.5には、Mammothのインストール時のオプションとして、Oracle Big Data SQL 3.0.1が含まれています。リリース3.0.1のインストール手順については、『Oracle Big Data SQLユーザーズ・ガイド』を参照してください。
ネットワーク構成の強化
リリース4.5では、Oracle Big Data Applianceにおけるネットワークの構成がより柔軟になりました。これには次のオプションのサポートが含まれます。
同じラックの各クラスタへの異なるネットワークの使用(クライアント・ネットワークおよびプライベート・ネットワークの両方)。
同一のBDAクラスタでの複数のクライアント・ネットワーク。
クライアント・ネットワーク用のVLANタギング
プライベートのインフィニバンド・ネットワーク用のパーティション・キー。
CDHクラスタの最小規模がより小さく
開発環境で推奨される最小規模のCDHクラスタは、ノード5つのクラスタになりました。開発を目的として、Oracle Big Data Appliance構成生成ユーティリティを使用し、ノード3つのCDHクラスタを作成できるようになりました。
Oracle Big Data Applianceスタータ・ラックには以前と同じように6つのサーバーが組み込まれていることに注意してください。
Oracle Big Data Applianceリリース4 (4.4)の変更点は次のとおりです。
ソフトウェア更新
CDH (Cloudera's Distribution including Apache Hadoop) 5.5.1
CDM (Cloudera Manager) 5.5.1
Cloudera Navigator 2.4.1
MySQL Database Enterprise Server - Advanced Edition 5.6
Oracle Big Data Connectors 4.4
Oracle Data Integrator Agent 12.2.1 (Oracle Big Data Connectors用)
Oracle NoSQL Database 3.5.2
Perfect Balance 2.6
ハードウェア更新
Oracle Big Data Appliance X6-2サーバー
22コア(2.2GHz) Intel® Xeon® E5-2699 v4プロセッサ×2
32GB DDR4-2400メモリー×8 (1ノード当たり最大768GBまで拡張可能)
Oracle Big Data Applianceリリース4.4以降では、X6-2ノードは、CDHまたはNoSQLクラスタにおいて、X5-2ノード(および4.4以降と互換性のある以前のリリースのノード)と一緒に利用できます。X6-2サーバーには、4.4より前のリリースのOracle Big Data Applianceクラスタのノードとしての互換性はありません。
詳細は、Oracle Big Data Appliance X6-2データ・シートを参照してください。
新機能
Cloudera CDH 5.5.1およびCloudera Manager 5.5.1
CDH 5.5.1は、CDH 5.5に対するメンテナンス・リリースです。Cloudera CDH 5.5リリース・ノートを参照してください
Cloudera Manager 5.5および5.5.1の詳細は、Cloudera Manager 5の新機能と変更点に関する項を参照してください
Cloudera Navigatorの自動インストール
現在Mammothでは、Mammoth完全インストールとMammothアップグレードの両方で、Cloudera Navigatorの自動インストールを提供しています。ユーザーが操作する必要はなく、透過的にインストールが行われます。Cloudera Navigatorがまだインストールされていない場合は、Mammothによってクラスタのノード3 (他のCloudera Managementサービスがホストされる)にこのソフトウェアがインストールされます。Cloudera Navigatorがすでにインストールされている場合、Mammothはこのステップをスキップし、既存のインストールは上書きされません。
Cloudera Navigator Metadata ServerおよびAudit Serverが自動的にCloudera Managerに追加され、監査が有効になります。Mammothによって、Audit ServerのためにWeb UI暗号化も有効化されます。
Mammothでは、Cloudera Navigatorのキー管理コンポーネントは有効化されません。
Oracle Big Data SQL 3.0のサポート
Oracle Big Data Applianceリリース4.4には、Mammothのインストール時のオプションとして、Oracle Big Data SQL 2.0が含まれています。Oracle Big Data SQL 3.0もリリース4.4用にパッチとして提供されています。リリース3.0のインストール手順については、『Oracle Big Data SQLユーザーズ・ガイド』を参照してください。
注意:
Oracle Big Data SQL 3.0をインストールする場合、Mammothのインストール時にOracle Big Data SQL 2.0を選択しないでください。Oracle Big Data SQL 2.0がインストールされている場合、3.0パッチをインストールする前に2.0をアンインストールする必要があります。パッチのREADMEファイルには、2.0を先にインストールしていた場合に削除する手順が記載されています。以前のベース・イメージのアップデートとしてのリリース4.4
Mammoth 4.4.0は以前のいかなるOracle Big Data Appliance 4.xベース・イメージ上でも動作し、必要に応じてベース・イメージをアップデートします。
Oracle Big Data Applianceリリース4 (4.3)の変更点は次のとおりです。
ソフトウェア更新
CDH (Cloudera's Distribution including Apache Hadoop) 5.4.7
CDM (Cloudera Manager) 5.4.7
Oracle Big Data Connectors 4.3
Oracle Big Data Discovery 1.1.1
Oracle Big Data SQL 2.0
Oracle NoSQL Database 1.3.4.7 (CommunityおよびEnterprise Edition)
Oracle Table Access for Hadoop and Spark
Perfect Balance 2.5
JDK 8u60
『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』を参照してください。
新機能
Oracle Big Data Discoveryの自動インストール
お客様は、Big Data Discovery 1.1.1をダウンロードしてから、bdacliコマンド・ユーティリティを使用してプライマリCDHクラスタの指定したノードにソフトウェアをインストールできます。
「Oracle Big Data Applianceのスタータ・ラックの拡張」を参照してください。
Oracle Table Access for Hadoop and Spark
Oracle Table Access for Hadoop and Sparkは、Oracle Database表をHadoopまたはSparkデータ・ソースに変換するOracle Big Data Appliance機能です。この機能により、Oracle Databaseのデータに高速かつ安全にアクセスできます。
HDFS透過的暗号化
Oracle Big Data Appliance 4.3には、HDFS透過的暗号化を使用するオプションがあります。これは、以前のリリースで提供されたeCryptfsオンディスク暗号化ソフトウェアを置換します。お客様は、新規と既存の両方のCDHクラスタに対してHDFS透過的暗号化を有効にできます。有効になっている場合、HDFS透過的暗号化はクラスタで実行されているHadoop操作(HDFS、YARN上のMapReduce、YARN上のSpark、HiveおよびHbaseタスク)をセキュリティで保護します。
Oracle Big Data Appliance構成生成ユーティリティは、新規クラスタの作成時にHDFS透過的暗号化を含めるオプションを提供します。
HDFS透過的暗号化は、bdacliコマンドライン・インタフェースを介してクラスタで有効または無効にできます。
HTTPS/ネットワーク暗号化
Cloudera Manager、Hue、OozieおよびHadoop Web UIにHTTPSを提供します。
YARNシャッフルやRPCを通じて行われた転送など、他の内部Hadoopデータ転送に対してネットワーク暗号化を有効にします。
HDFS透過的暗号化と同様に、HTTPS/ネットワーク暗号化はOracle Big Data Appliance構成生成ユーティリティのオプションであり、bdacliを介して有効にすることもできます。
アップグレード、個別パッチ適用およびクラスタ拡張のゼロ・ダウンタイム
リリース4.3では、Oracle Big Data ApplianceはClouderaのローリング・アップグレード機能を使用して、Mammothアップグレード、パッチ適用およびクラスタ拡張時にクラスタの稼働を維持します。これは、クラスタの各ノードがアップグレードおよび再起動されているときもクラスタ上の特定のサービスを継続的に使用可能にできるオプションです。ゼロ・ダウンタイムは、次のタスクのオプションです。
Mammothソフトウェアのアップグレード(Cloudera's Distribution Including Apache Hadoop、Cloudera ManagerおよびMammothソフトウェア自体を含む)。
Mammothでインストールされたソフトウェアの個別パッチ適用。
クラスタ拡張。(単一ラック内でのクラスタ拡張の場合、ローリング・アップグレードはオプションではありません。これらの拡張は常にローリング・アップグレードとして実行されます。)
非推奨になった機能
次の機能はこのリリースで非推奨になったため、今後のリリースでサポートされません。
MapReduce 1 (MRv1)
YARN (MRv2)は、MRv1に取ってかわりました。Oracle Big Data Applianceバージョン3.xおよび4.xでMRv1を引き続き使用する場合は、Mammothを使用してソフトウェアのパッチの適用またはアップグレードを実行する前にOracleサポートに連絡してください。
サポート対象外の機能
次の機能はこのリリースでサポート対象外になりました。
eCryptfsオンディスク暗号化
これは、HDFS透過的暗号化によって置換されています。
Oracle Big Data Applianceリリース4 (4.2)の変更点は次のとおりです。
新機能
ソフトウェアのアップグレード
Cloudera's Distribution including Apache Hadoop 5.4.0
Cloudera Manager 5.4.0
Perfect Balance 2.4.0
Oracle Big Data SQL 1.1
NoSQL Database 3.2.5
Oracle Linux 6.6および5.11
JDK 8u45
『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』を参照してください。
ハードウェアのアップグレード
Oracle Big Data Applianceには、8TBのディスク・ドライブが搭載されるようになりました
Elastic構成
Oracle Big Data Applianceは、Big Data Appliance X5-2高容量ノードとインフィニバンド・インフラストラクチャを使用してスタータ・ラックに1つ以上のサーバーを柔軟に追加できるようになりました。スタータ・ラックに追加サーバーを最大12個追加できます。
「Oracle Big Data Applianceのスタータ・ラックの拡張」を参照してください。
自動インストールのサポート
Spark-on-YARNが自動的にデプロイされます。
Oracle Spatial and Graphが自動的にインストールおよび構成されます。
Oracle Big Data SQL 1.1
Copy to BDA
このユーティリティを使用すると、問合せ時間を改善する目的で、比較的静的な表をOracleデータベースからHadoopにコピーできます。
『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』を参照してください。
Oracle NoSQL Databaseのサポート
Oracle Exadata Database Machine上のOracleデータベースでは、Oracle Big Data SQLを使用してOracle NoSQL Databaseを実行しているクラスタに接続できます。
Parquetのサポート
CDH 5.2以降のバージョンには、Apache Parquetファイル形式をサポートするHive 0.13が含まれています。このファイル形式は、Cloudera Impalaおよびその他のHadoopソフトウェアによって使用されます。
『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』を参照してください。
その他の変更点
Oracle Big Data Appliance X5-2
Oracle Big Data Appliance 4.2ソフトウェアでは、Oracle Big Data Appliance X5-2と以前のバージョンのサーバー・ハードウェアがサポートされています。
「サーバー・コンポーネント」を参照してください。
Oracle Big Data Appliance構成生成ユーティリティ
このユーティリティは、2つの新しい構成ファイルを生成します。
network.json: BdaDeploy.jsonに取ってかわりました。ソフトウェアのアップグレードでは、Mammothは既存のBdaDeploy.jsonをnetwork.jsonに変換します。新しいインストールにはnetwork.jsonがあります。
networkexpansion.json: BdaExpansion.jsonに取ってかわりました。
「構成ファイルについて」を参照してください。
CDHデプロイ
MammothはRPMのかわりにパーセルを使用してCDHをデプロイします。
Apache Sentry
Apache Sentryのインストールには、sentry-provider.iniを前提条件として必要としません。
Mammoth内のMicrosoft Active Directory Server
MammothでのActive Directory Kerberosという名前のMicrosoft Active Directoryを使用した直接のサポート。
Oracle Linuxのサポート
Oracle Big Data Appliance X5-2サーバーに対するOracle Linux 5のサポート。
Cloudera Navigator Trustee Server
Cloudera Navigator Trustee Serverインストール・パッケージおよびドキュメントが、Mammothに付属しています。別のサーバーに手動でインストールする必要があります。
非推奨になった機能
次の機能はこのリリースで非推奨になったため、今後のリリースでサポートされません。
Mammoth再構成ユーティリティ
bdacliユーティリティは、mammoth-reconfigに取ってかわりました。mammoth-reconfigユーティリティは、ディスク暗号化パスワードを変更するためにのみ必要です。
「bdacli」を参照してください。
MapReduce 1 (MRv1)
YARN (MRv2)は、MRv1に取ってかわりました。Oracle Big Data Applianceバージョン3.xおよび4.xでMRv1を引き続き使用する場合は、Mammothを使用してソフトウェアのパッチの適用またはアップグレードを実行する前にOracleサポートに連絡してください。
ディスク暗号化
将来のリリースでは、現行のシステムがより柔軟で強固な新しい暗号化システムに置き換わります。
Oracle Big Data Applianceリリース4 (4.1)の変更点は次のとおりです。
新機能
ソフトウェアのアップグレード
Cloudera's Distribution including Apache Hadoop 5.3.0
Cloudera Manager 5.3.0
Perfect Balance 2.3.0
Oracle Big Data SQL 1.1
Oracle Big Data Connectors 4.1
Oracle Linux 6.5
『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』を参照してください。
Oracle Big Data SQL 1.1
Copy to BDA
このユーティリティを使用すると、問合せ時間を改善する目的で、比較的静的な表をOracleデータベースからHadoopにコピーできます。
『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』を参照してください。
Oracle NoSQL Databaseのサポート
Oracle Exadata Database Machine上のOracleデータベースでは、Oracle Big Data SQLを使用してOracle NoSQL Databaseを実行しているクラスタに接続できます。
Parquetのサポート
CDH 5.2以降のバージョンには、Apache Parquetファイル形式をサポートするHive 0.13が含まれています。このファイル形式は、Cloudera Impalaおよびその他のHadoopソフトウェアによって使用されます。
『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』を参照してください。
Oracle NoSQL Database
bdacli admin_clusterコマンドは、修復または交換が必要なOracle NoSQL Databaseノードをサポートします。
『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』を参照してください。
その他の変更点
Oracle Big Data Appliance X5-2
Oracle Big Data Appliance 4.1ソフトウェアでは、Oracle Big Data Appliance X5-2のサーバー・ハードウェアがサポートされています。
「サーバー・コンポーネント」を参照してください。
Oracle Big Data Appliance構成生成ユーティリティ
このユーティリティは、2つの新しい構成ファイルを生成します。
network.json: BdaDeploy.jsonに取ってかわりました。ソフトウェアのアップグレードでは、Mammothは既存のBdaDeploy.jsonをnetwork.jsonに変換します。新しいインストールにはnetwork.jsonがあります。
networkexpansion.json: BdaExpansion.jsonに取ってかわりました。
「構成ファイルについて」を参照してください。
CDHデプロイ
MammothはRPMのかわりにパーセルを使用してCDHをデプロイします。
Apache Sentry
Apache Sentryのインストールには、sentry-provider.iniを前提条件として必要としません。
非推奨になった機能
次の機能はこのリリースで非推奨になったため、今後のリリースでサポートされません。
Mammoth再構成ユーティリティ
bdacliユーティリティは、mammoth-reconfigに取ってかわりました。mammoth-reconfigユーティリティは、ディスク暗号化パスワードを変更するためにのみ必要です。
「bdacli」を参照してください。
MapReduce 1 (MRv1)
YARN (MRv2)は、MRv1に取ってかわりました。Oracle Big Data Applianceバージョン3.xおよび4.xでMRv1を引き続き使用する場合は、Mammothを使用してソフトウェアのパッチの適用またはアップグレードを実行する前にOracleサポートに連絡してください。
ディスク暗号化
将来のリリースでは、現行のシステムがより柔軟で強固な新しい暗号化システムに置き換わります。
Oracle Big Data Applianceリリース4 (4.0)の変更点は次のとおりです。
新機能
Oracle Big Data SQL 1.0.0
Oracle Big Data SQLは、HDFSおよびHiveを含む複数のデータ・ソースに格納された大量のビッグ・データに対する問合せをサポートします。様々なデータ・ストアのデータが1つのOracleデータベースに格納されているかのように、まとめて表示および分析できます。Oracle Big Data SQLのサポートには、Oracle Databaseの次の新機能が含まれます。
DBMS_HADOOP PL/SQLパッケージ
Hive静的データ・ディクショナリ・ビュー
HadoopおよびHive用のアクセス・ドライバ
Oracle Big Data SQLは、Oracle Big Data Appliance構成生成ユーティリティを使用して指定できるインストール・オプションです。
Oracle Big Data SQLは、bdacliコマンドおよびCloudera Managerを使用して監視および管理できます。
「bdacli」および『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』を参照してください。
サービスの移行
bdacliユーティリティを使用すると、障害のある重要なノードから、正常で重要性の低いノードにサービスを移行できます。また、重要なノードおよび重要性の低いノードに障害が発生した場合、それらのノードをクラスタから削除し、修理してからクラスタに戻すこともできます。「bdacli」および『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』を参照してください。
ソフトウェアのアップグレード
Cloudera's Distribution including Apache Hadoop 5.1.0
Cloudera Manager 5.1.1
Perfect Balance 2.2.0
Oracle Data Integrator Agent 12.1.3.0 (Oracle Big Data Connectors用)
『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』を参照してください。
Oracle NoSQL Databaseによるゾーンのサポート
Oracle Big Data Appliance構成生成ユーティリティおよびmammoth -eコマンドは、Oracle NoSQL Databaseクラスタで複数のゾーンをサポートします。既存ゾーンへのノードの追加、新しいプライマリ・ゾーンまたはセカンダリ・ゾーンの作成ができます。
「Oracle NoSQLの構成」および「Mammothソフトウェア・インストールおよび構成ユーティリティ」を参照してください。
複数ラック・クラスタ
1つのcluster_name-config.jsonファイルを使用して、複数のラックにクラスタをインストールできるようになりました。
