はじめに

このガイドでは、超大規模データセットを取得、編成および分析するために使用されるOracle Big Data Applianceについて説明します。これには、ハードウェア操作、サイトの計画と構成に加え、物理的、電気的および環境的な仕様に関する情報が含まれます。

この「はじめに」の内容は次のとおりです。

対象読者

このガイドは、Oracle Big Data Applianceのユーザーと、Oracle Big Data Applianceのデータ・センター・サイトの計画、インストール、構成およびメンテナンスを担当するユーザーを対象としています。

ドキュメントのアクセシビリティについて

Oracleのアクセシビリティについての詳細情報は、Oracle Accessibility ProgramのWeb サイト(http://www.oracle.com/pls/topic/lookup?ctx=acc&id=docacc)を参照してください。

Oracle Supportへのアクセス

サポートを購入したOracleのお客様は、My Oracle Supportにアクセスして電子サポートを受けることができます。詳細情報はhttp://www.oracle.com/pls/topic/lookup?ctx=acc&id=infoか、聴覚に障害のあるお客様はhttp://www.oracle.com/pls/topic/lookup?ctx=acc&id=trsを参照してください。

表記規則

このマニュアルでは次の表記規則を使用します。

規則	意味
太字	太字は、操作に関連するGraphical User Interface要素、または本文中で定義されている用語および用語集に記載されている用語を示します。
イタリック	イタリックは、ユーザーが特定の値を指定するプレースホルダ変数を示します。
`monospace`	固定幅フォントは、段落内のコマンド、URL、サンプル内のコード、画面に表示されるテキスト、または入力するテキストを示します。
`#`プロンプト	ナンバー記号(`#`)プロンプトは、Linux `root`ユーザーとして実行されるコマンドを示します。

バッカス・ナウア記法の構文

このリファレンスの構文は、次の記号と表記規則を使用するバッカスナウア記法(BNF)の単純なバリエーションで示されます。

記号または表記規則	説明
[ ]	大カッコは、オプション項目を囲みます。
{ }	中カッコは、選択項目を囲み、そのうち1つのみが必須です。
\|	縦線は、大カッコまたは中カッコ内の代替項目を区切ります。
...	省略記号は、先行する構文要素を反復できることを示します。
デリミタ	大カッコ、中カッコおよび縦線以外のデリミタは、記載されているとおりに入力する必要があります。
太字	太字で示されている語は、キーワードです。それらは記載されているとおりに入力する必要があります。(キーワードは、一部のオペレーティング・システムでは大/小文字の区別があります。)太字ではない語は、名前または値に置換する必要があるプレースホルダです。

Oracle Big Data Applianceリリース4 (4.10)での変更点

Oracle Big Data Appliance 4.10には、次のソフトウェア更新と機能の変更点が含まれます。

ソフトウェア更新

Cloudera Enterprise 5.12.1、次のものを含みます。
- CM (Cloudera Manager) 5.12.1
- CDH (Cloudera's Distribution including Apache Hadoop) 5.12.1
- Cloudera Key Trustee 5.12.1
Oracle Big Data Connectors 4.10
Big Data SQL 3.2
Oracle Big Data Spatial & Graph 2.4
MySQL Enterprise Edition 5.7.19
Perfect Balance 2.10.0
Java JDK 8u141
Oracle Linux 6.9 UEK 4 (Oracle Linux Unbreakable Kernel、リリース4)

Mammoth v4.10 for Oracle Linux 5を使用できます(Oracle Linux 5に基づくクラスタのアップグレード専用)。
Oracle Data Integrator Agent 12.2.1.6 (Oracle Big Data Connectors用)
Oracle R Advanced Analytics for Hadoop (ORAAH) 2.7.0
OracleのR Distribution (ORD) 3.2.0
Oracle NoSQL Community Edition 4.4.6またはOracle NoSQL Database Enterprise Edition 4.5.12。両方オプションです。

Oracle NoSQL Database Community Editionのサポートは利用できなくなりました。
Spark 1.6およびSpark 2

CDHおよびCloudera Manager 5.12.1に関する詳細は、Clouderaのドキュメントを参照してください。

Oracle Big Data Applianceリリース4.10には、Mammothのインストール時のオプションとして、Oracle Big Data SQL 3.2が含まれています。Oracle Software Delivery Cloud からこのパッケージをダウンロードする必要はありません。

Kudu 1.4.0、Kafka 2.2.0およびKey Trustee Server 5.12.1用のClouderaパーセルは便宜上含まれていますが、デフォルトではデプロイまたは構成されません。

ハードウェア更新

Oracle Big Data Appliance X-7システムのサポート
Oracle Big Data Appliance X7はX7–2Lサーバーに基づきます。X7–2Lの主要な拡張は次のとおりです。
- CPUの更新: 2つの24コアIntel Xeonプロセッサ
- ドライブの拡大: 12個の10TB 7,200 RPM SASドライブ
- データ・ドライブ・システム・パーティションおよびリカバリ用のUSBフラッシュ・ドライブのかわりに、ミラー化M.2 150GB SATA SSDドライブを使用する改良されたブート・ドライブ設定。
X-7ラックは(Catalyst 4948Eのかわりに) Cisco 93108TC-EX–1Gイーサネット・スイッチを備えています。

X-7システムのラック内ケーブル配線の変更はありません。

X7-2Lサーバーは、X6-2Lおよびそれより前のサポートされるサーバー・モデルと同じクラスタでノードとして共存できます。

関連項目:

Oracle Technology NetworkのOracle Big Data X-7 Applianceデータ・シート。
http://docs.oracle.com/cd/E72463_01/html/E72474/index.htmlにあるOracle Server X7-2Lサービス・マニュアル

デフォルトでデプロイされるSpark 2

Spark 2が、新しいクラスタにデフォルトでデプロイされるようになり、まだインストールされていないクラスタのアップグレード中にもデプロイされるようになりました。

UEK 4のOracle Linux 7をエッジ・ノードにインストール可能

Oracle Linux 7を、X7–2L、X6–2LまたはX5–2Lサーバーで実行されているOracle Big Data Applianceのエッジ・ノードにインストールできるようになりました。このリリースでのOracle Linux 7のサポートは、エッジ・ノードに制限されています。

Cloudera Data Science Workbenchのサポート

エッジ・ノードでのOracle Linux 7のサポートにより、ユーザーがOracle Big Data ApplianceでCloudera Data Science Workbench (CDSW)をホストする方法が提供されます。

CDSWは、保護されたクラスタ上のR、PythonおよびScalaにブラウザからアクセスできるようにするWebアプリケーションです。詳細は、ClouderaのWebサイトを参照してください。

Oracle Big Data ApplianceにはCDSWのライセンスまたは正式なサポートは含まれていません。ライセンス要件についてはClouderaに連絡してください。

Oracle Big Data SQL 3.2の新機能

Oracle Big Data SQL 3.2は次のような多くの新機能を提供します。

拡張されたCLOB処理 – 一部のCLOBのワークロードは、HadoopのOracle Big Data SQL処理セルにオフロードできます。
Kafkaトピックに対する問合せのサポート。
カスタマParquetリーダーおよびParquetファイルの処理の改良。
マルチユーザー認可 – oracleユーザー以外のユーザーが問合せを送信できます。
新しい"データベース認証"セキュリティ・オプション – Oracle DatabaseとHadooopのOracle Big Data SQLセルの間の通信用。
既存のOracle Big Data SQLインストールの自動アップグレード。(3.2をインストールする前の古いインストールを削除する必要はありません。)

Oracle Big Data Appliance構成ユーティリティで、Oracle Big Data SQL 3.2をMammothによるインストールに選択できます。後でbdacliユーティリティを使用してリリース3.2をインストールすることもできます。

Oracel Big Data SQLは、Oracle Big Data ApplianceとExadata Database Machineおよび他のいくつかのOracle Databaseプラットフォームの間の接続をサポートします。詳細は、Oracle Big Data SQL Master Compatibility Matrix (My Oracle SupportのDoc ID 2119369.1)を参照してください。

Apache Zeppelin、Jupyter NotebookおよびRStudioのダウンロードおよび構成のスクリプト

このリリースには、これらの一般的に使用されるツールのダウンロードおよび構成に役立つスクリプトが含まれています。

手順については、/opt/oracle/bda/thirdparty/README.txtを参照してください。

スクリプトはユーザーの利便性のために提供されています。Oracle Big Data Applianceに、Apache Zeppelin、Jupyter NotebookまたはRStudioのインストールおよび使用の正式なサポートは含まれていません。

Oracle Big Data Discovery 1.5および1.4 (1.4.0.37.1388以上)がサポートされる

Oracle Big Data Discovery 1.5および1.4.0.37.1388は、Oracle Big Data Appliance 4.10と互換性があります。どちらのリリースも、Oracle Software Delivery Cloud (https://edelivery.oracle.com)からダウンロードできます。このサイトに、Oracle Big Data Discovery 1.4.0.0.0がダウンロード可能と表示される場合があります。これは実際にはバージョン1.4.0.37.1388以上です。

注意:

現在のOracle Big Data Applianceリリースにアップグレードする前にOracle Big Data Discovery 1.4.0.37.1388以上がすでに有効になっていた場合は、アップグレード後にOracle Big Data Discoveryに必要ないくつかのクライアント・ライブラリを更新する必要があります。手順の詳細は、My Oracle Support (https://support.oracle.com)のドキュメント2215083.1を参照してください。この手動更新は、現在のOracle Big Data Applianceリリースをインストールした後にOracle Big Data Discoveryをインストールした場合は必要ありません。

以前のリリースのOracle Big Data Discoveryは、このリリースのOracle Big Data Applianceではサポートされません。

OracleのR DistributionおよびORAAHの改良された構成

これらのツールについて、以前はユーザーによって行われていた環境構成の多くが自動化されました。

ノード移行の最適化

いくつかの手順をなくして、ノード移行時間が改善されました。

Oracle Big Data SQLおよびノード移行とノード再プロビジョニングのプロセス

前のリリースのOracle Big Data Applianceでは、Oracle Big Data SQLが有効になっている場合、ノード移行またはmammoth -e (ノード拡張)の前にOracle Big Data SQLを無効にする必要がありました。これらの操作に対してOracle Big Data SQLを無効にする必要がなくなりました。

ただし、ノードの再プロビジョニング(# bdacli admin-cluster reprovision <node name>)に対してはこの要件が引き続き有効です。Oracle Big Data SQLが有効になっている場合、このコマンドは、再プロビジョニングを進めるにはOracle Big Data SQLを無効にする必要があるというメッセージを返します。

重要: Oracle Big Data Appliance 4.10は、Oracle Linux 5クラスタのアップグレードをサポートする最後のリリースです

Oracle Big Data Appliance 4.10は、Oracle Linux 5インストール・バンドルを提供しOracle Linux 5をサポートする最後のリリースです。Oracle Linux 5からOracle Linux 6への移行は、将来のOracle Big Data Applianceリリースの前提条件になります。

Oracle Big Data Appliance 4.10には(リリース4.9のように)、ファイルおよび構成のバックアップとリストアを含む、Oracle Linux 6へのアップグレードをサポートするスクリプトが含まれます。このリリースでは、HDFS透過的暗号化を使用するノードを移行できるため、このプロセスは完全にサポートされるようになりました。

次のOracle Big Data Applianceリリースより前に、クラスタをOracle Linux 6にアップグレードすることをお薦めします。利点は次のとおりです。

Oracle Linux 6では、安定性とパフォーマンスが高くなり、使用可能なアプリケーションの規模と数を拡大した最新のエコシステムにアクセスできます。
次のOracle Big Data Applianceリリースより前に移行を実行すると、後でアップグレードを完了するために必要な時間と労力が削減されます。

詳細は、このガイドのOracle Linux 5からOracle Linux 6への移行を参照してください。

以前のインポートに関する注意事項

Oracle Big Data Appliance 4.9および4.8について、次の注意事項が公開されています。これらのリリースをインストールしなかった場合、Oracle Big Data Appliance 4.10によって継承された変更に気付かない可能性があります。

network.jsonファイルは、ラックおよびクラスタ構成用の別々のファイル(rack-network.jsonおよびcluster-network.json)で置換

以前network.jsonを使用したすべてのケースで、かわりにrack-network.jsonおよびcluster-network.jsonを使用する必要があります。これらの2つのファイルを合せると、network.jsonと機能的に同等です。現在のリリースでは、network.jsonは引き続きサポートされています。将来のリリースでは、network.jsonのサポートは除外されます。

ユーティリティで新しい構成を生成するとき、以前であればnetwork.jsonをコピーしたサーバーにrack-network.jsonおよびcluster-network.jsonをコピーします。パラメータとして以前はnetwork.jsonを必要としたすべての構成コマンドに対して、かわりにrack-network.jsonおよびcluster-network.jsonを一緒に指定する必要があります。たとえば、クラスタのノード4のイメージを変更するには、makebdaimageコマンドへのパラメータとして両方のファイルを(カンマで区切って)送信します。
```
# ./makebdaimage -usbint BDABaseImage-<version>_RELEASE.iso /opt/oracle/bda/rack-network.json,/opt/oracle/bda/cluster-network.json 4 
```
以前は、構成ファイル・パラメータとしてこのコマンドにnetwork.jsonが必要でした。
```
# ./makebdaimage -usbint BDABaseImage-<version>_RELEASE.iso /opt/oracle/bda/network.json 4
```
この拡張により、同じラックの他のサーバーに影響を及ぼすことなく、サーバーのクラスタのネットワークを簡単に変更できるようになり、クライアントまたはプライベート・ネットワークに影響を及ぼすことなく、ラックの管理ネットワークを簡単に変更できるようになりました。
Perfect Balance Auto-Invocationの廃止

Perfect Balance 2.10では、Perfect Balance Automatic Invocation機能はサポートされなくなりました。Automatic Invocationを使用している場合は、Perfect Balance APIに切り替えてください。
Oracle NoSQL Database CEサポートを使用できない

Oracle NoSQL Database Community Editionのサポート購入のオプションはなくなりました。
Cloudera Configuration ManagerおよびHueで無効化されているTLS 1.0 (TLSv1)により、一部のブラウザとオペレーティング・システムに影響が発生する場合がある

セキュリティを向上するために、Oracle Big Data ApplianceではCloudera ManagerおよびHueのTLS 1.0が無効になっており、システム全体のJava構成でも無効になっています。これにより、古いブラウザまたはオペレーティング・システムに影響する場合があります。

TLS 1.0を使用してクライアントを再構成またはアップグレードし、新しい暗号化を使用することをお薦めしますが、必要に応じて、Cloudera ManagerおよびHueにTLS 1.0を再度有効にすることもできます。

詳細は、My Oracle Supportにログインして、『BDA 4.8では、システム全体のJava構成のCloudera Manager/Hue/アドインでTLSv1がデフォルトで無効になっている』(Doc ID 2250841.1)を検索してください。
Oracle Big Data Appliance 4.5.0より前のベース・イメージをインストールした新しいラックでネットワークを構成するには、特別な構成手順が必要

My Oracle Supportにログインし、『V4.5.0より前のBDAベース・イメージを使用した付属のBDAラックのネットワーク構成手順』(Doc ID 2135358.1)のドキュメントを検索します。
Direct-Active-DirectoryにはMicrosoft Active Directoryへの領域間の信頼を推奨

Oracle Big Data ApplianceクラスタとMicrosoft Active Directoryを使用している場合は、Microsoft Active Directoryへの領域間の信頼を使用するようにクラスタを構成し、Direct-Active-Directory構成をHadoopクラスタに使用しないように構成することを強くお薦めします。
非推奨または廃止された機能
- Oracle Audit Vault and Database Firewallはインストールおよびサポートされない
  
  Oracle Audit Vault and Database Fireware (AVDF)は、Mammothインストールから除外され、Oracle Big Data Appliance 4.9での監視および監査には推奨されなくなりました。かわりに、Cloudera Navigatorが推奨されます。
- Oracle Enterprise Managerプラグインをbdacliで有効化できなくなった
  
  Oracle Enterprise Managerプラグイン(bdacli enable em)を有効化するためのbdacliコマンドは使用できなくなりました。

注意:

ステータスをチェックおよびAVDFとOracle Enterprise Managerプラグインを無効にするためのbdacliコマンドはまだ使用できます。