| Oracle® Big Data SQLインストレーション・ガイド リリース3.2.1 E92090-05 |
|
 前 |
 次 |
このガイドでは、Oracle Big Data SQLをインストールする方法、環境での変更に対応するためにインストールを再構成または拡張する方法、および必要に応じてソフトウェアをアンインストールする方法について説明します。
このインストールは、複数のフェーズで実行されます。最初の2つのフェーズは次のとおりです。
クラスタ管理サーバーが実行されているHadoopクラスタのノードでのインストール。
Oracle Databaseシステムの各ノードでのインストール。
リリース3.2.1で使用可能な新しいセキュリティ機能を有効にするよう選択した場合は、追加で3つ目のフェーズがあり、ここでセキュリティ機能をアクティブ化します。
2つのシステムがイーサネットまたはインフィニバンドを使用してネットワークに接続されている必要があります。(Oracle SuperClusterへの接続はインフィニバンドのみです)。
注意:
Oracle DatabaseとHadoopクラスタ間のイーサネット接続には、10 Gb/sイーサネットをお薦めします。インストール・プロセスはHadoopシステム上で開始され、ここで1つのノード(クラスタ管理ソフトウェアを実行しているノード)にのみ手動でソフトウェアをインストールします。Oracle Big Data SQLは、クラスタ管理ソフトウェアの管理機能を利用して、クラスタ内のすべてのDataNodeに自動的にインストールを伝播します。
Hadoop側にインストールするパッケージによって、Oracle DatabaseシステムのOracle Big Data SQLインストール・パッケージも生成されます。Hadoop側のインストールが完了したら、Oracle Databaseシステムのすべてのノードにこのパッケージをコピーし、それを解凍して、このガイドの手順に従ってインストールします。データベース認証またはHadoop Secure Impersonationを有効にしている場合は、次に3つ目のインストール手順を実行します。
Oracle Big Data SQLは、多数のOracle Engineered Systemsとコモディティ・サーバー間の接続をサポートしています。
現在のリリースは、次のOracle DatabaseプラットフォームとHadoopシステムの組合せについて、Oracle Big Data SQL接続をサポートしています。
コモディティ・サーバー上のOracle DatabaseとOracle Big Data Appliance。
コモディティ・サーバー上のOracle DatabaseとコモディティHadoopシステム。
Oracle Exadata Database MachineとOracle Big Data Appliance。
Oracle Exadata Database MachineとコモディティHadoopシステム。
現時点では、Oracle SPARC SuperClusterサポートはOracle Big Data SQL 3.2.1では使用できません。
注意:
コモディティ・システム上のOracle Databaseという語句は、Oracle Exadata Database MachineではないOracle Databaseホストを指します。コモディティ・データベース・システムは、Oracle LinuxまたはRHELベースのいずれかにすることができます。コモディティHadoopシステムという語句は、Hortonworks HDPシステム、およびOracle Big Data Appliance以外のCloudera CDHベースのシステムを指します。
次のものとのBig Data SQLの互換性についての最新情報は、『Oracle Big Data SQL Master Compatibility Matrix』(My Oracle SupportのDoc ID 2119369.1)を参照してください。
Oracle Engineered Systems。
その他のシステム。
Linux OSのディストリビューションとバージョン。
Hadoopディストリビューション。
必要とされるパッチを含むOracle Databaseのリリース。
次のアクティブなサービス、インストール済のパッケージおよび使用可能なシステム・ツールは、Oracle Big Data SQLインストールの前提条件です。この前提条件は、クラスタ内のすべてのDataNodeに適用されます。
Oracle Big Data SQLインストーラは、インストールを開始する前にすべての前提条件をチェックし、各ノードに満たされていない要件があればレポートします。
サポートされているLinuxディストリビューションおよびバージョンなどのプラットフォーム要件の他、サポートされているOracle Databaseのリリースおよび必要なパッチはここでは示しません。そのような情報は、『Oracle Big Data SQL Master Compatibility Matrix』(My Oracle SupportのDoc ID 2119369.1)を参照してください。
重要:
Oracle Big Data SQL 3.2.1は、Clouderaのクラスタのシングル・ユーザー・モードをサポートしません。
CDHで、Oracle Big Data SQLが必要とするHadoopサービスをパッケージとしてインストールする場合は、それらがCM内からインストールされることを確認してください。そうでない場合、CMはこれらを管理できません。これは、パーセルベースのインストールでは問題ではありません。
稼働サービス
次のApache Hadoopサービスは、クラスタ上で稼働している必要があります。
HDFS
YARN
Hive
正しいHDFSおよびHiveクライアントのURLがデータベースのインストール・バンドルで指定されていることを確認するための追加の手順は必要ありません。
前述のApache Hadoopサービスは、Cloudera CDHではパーセルまたはパッケージとして、Hortonworks HDPではスタックとしてインストールできます。
パッケージ
Oracle Big Data SQLをインストールする前に、すべてのHadoopクラスタ・ノード上に次のパッケージをインストールしておく必要があります。これらのパッケージは、Oracle Big Data SQLでサポートされているOracle Big Data Applianceのバージョンにすでにインストールされています。
Oracle Big Data Applianceでは、Oracle JDKバージョン1.7以上が必要です。これは、Oracle Technology Networkからダウンロード可能です。
Oracle以外のコモディティHadoopサーバーでは、Hadoopベンダーの推奨に従ってOracle JDKまたは別のJDKを使用することもできます。
dmidecode
net-snmp、net-snmp-utils
perl
PERL LibXML – 1.7.0以上(perl-XML-LibXML-1.70-5.el6.x86_64.rpmなど)
perl-libwww-perl、perl-libxml-perl、perl-Time-HiRes、perl-libs、perl-XML-SAX
Java JDK。
yumユーティリティは、次のパッケージをインストールする場合の推奨方法です。
# yum -y install dmidecode net-snmp net-snmp-utils perl perl-libs perl-Time-HiRes perl-libwww-perl perl-libxml-perl perl-XML-LibXML perl-XML-SAX
条件付き要件
perl-Envは、Oracle Linux7またはRHEL7を実行しているシステムの場合にのみ必要です。
# yum -y install perl-Env
システム・ツール
curl
libaio
rpm
scp
tar
unzip
wget
yum
zip
# yum install -y libaio
環境設定
インストール前に次のように環境を設定する必要があります。
NTP有効
Javaバイナリのパスを/usr/java/latestに指定する必要があります
パス/usr/java/defaultが存在し、かつ/usr/java/latestを指している必要があります。
これらのシステム設定が、指定された要件を満たしていることを確認します。いずれの設定も、sysctlコマンドを使用して一時的に設定できます。それらを永続的に設定するには、/etc/sysctl.confで追加または更新します。
kernel.shmmaxおよびkernel.shmmaxは、それぞれ物理メモリー・サイズより大きくする必要があります。
kernel.shmallおよびkernel.shmmaxの値は、次の算式を満たす必要があります。
kernel.shmmax = kernel.shmall * PAGE_SIZE(
PAGE_SIZEは、# getconf PAGE_SIZEを使用して確認できます。)vm.swappiness=10
セルの起動が、SHMALL制限を超えていることを示すエラーで失敗した場合は、メモリー割当てを増やし、Oracle Big Data SQLを再起動してください。
ソケット・バッファ・サイズ:
net.core.rmem_default >= 4194304 net.core.rmem_max >= 4194304 net.core.wmem_default >= 4194304 net.core.wmem_max >= 4194304
プロキシ関連の要件は次のとおりです。
インストール・プロセスでは、ClouderaまたはHortonworksサイトからいくつかのパッケージをダウンロードするためにインターネットへのアクセスが必要です。このアクセスにプロキシが必要な場合は、次に示す項目がLinux環境変数として設定されているか、または同等のパラメータがインストーラ構成ファイル(bds-config.json)で有効になっていることを確認します
http_proxyおよびhttps_proxy
no_proxy
no_proxyに次が含まれるように設定: "localhost,127.0.0.1,<Comma—separated list of the hostnames in the cluster (in FQDN format).>"。
インストールを実行する前に、Cloudera CDH上で、Cloudera Manager管理のすべてのプロキシ設定をクリアします。データベース側のインストール・バンドルを作成するスクリプト(bds-database-create-bundle.sh)を実行した後でそれらをリストアできます。
ハードウェア要件
物理メモリー: 12GB以上
コア数: 8個以上
Networking
HadoopトラフィックがVLAN上にある場合、すべてのDataNodeが同じVLAN上にある必要があります。
Python 2.7 < 3.0 (Oracle Big Data SQLインストーラ用)
Oracle Big Data SQLインストーラでは、インストーラを実行するノードにローカルにPython (バージョン2.7以上、3.0未満)が必要です。これは、クラスタ管理サービス(CMまたはAmbari)が稼働する同じノードである必要があります。
前述の範囲のバージョンのPythonのインストールがすでに存在する場合は、それを使用してOracle Big Dataインストーラを実行できます。
Python 2.7.0より前のバージョンがクラスタ管理サーバー上にすでにインストールされていて、この既存のインストールを上書きしないようにする必要がある場合は、2つ目のインストールとしてPython 2.7.xを追加できます。制限:
Oracle Big Data Appliance上では、インストール済のPythonリリースを上書きまたは更新しないでください。この制限は、サポートされている他のHadoopプラットフォームにも適用される場合があります。ご使用のCDHまたはHDPプラットフォームに関するドキュメントを参照してください。Oracle Linux 5では、Python 2.7を2つ目のインストールとして追加します。Oracle Linux 6では、Python 2.6と2.7の両方がインストールされていますが、インストーラには提供されているPython 2.7を使用してください。デフォルトのインタプリタがPython 2.6か2.7のいずれであるかを確認してください。Oracle Big Data SQLインストーラを実行するには、Python 2.7を明示的に起動する必要がある場合があります。Oracle Big Data Applianceでは、SCLがインストールされており、これを使用してこの例で示すようにシェルに対してバージョン2.7を有効化できます。
[root@myclusteradminserver:BDSjaguar] # scl enable python27 "./jaguar install bds-config.json"
次は、2つ目のインストールとしてPython 2.7.5を追加するための手順です。
ヒント:
Pythonを手動でインストールする場合は、まずopenssl-develパッケージがインストールされていることを確認してください。
# yum install -y openssl-devel
2つ目のPythonのインストールを作成する場合は、Python更新を定期的に適用して新しいセキュリティ修正を組み込むことをお薦めします。Oracle Big Data Applianceでは、オラクル社で直接指示される場合を除き、mammothインストールされたPythonは更新しないでください。
# pyversion=2.7.5 # cd /tmp/ # mkdir py_install # cd py_install # wget https://www.python.org/static/files/pubkeys.txt # gpg --import pubkeys.txt # wget https://www.python.org/ftp/python/$pyversion/Python-$pyversion.tgz.asc # wget https://www.python.org/ftp/python/$pyversion/Python-$pyversion.tgz # gpg --verify Python-$pyversion.tgz.asc Python-$pyversion.tgz # tar xfzv Python-$pyversion.tgz # cd Python-$pyversion # ./configure --prefix=/usr/local/python/2.7 # make # mkdir -p /usr/local/python/2.7 # make install # export PATH=/usr/local/python/2.7/bin:$PATH
インストールの前提条件は、Oracle Big Data SQLがインストールされるHadoopシステムおよびOracle Databaseシステムのタイプに応じて異なります。
My Oracle Supportの『Oracle Big Data SQLマスター互換性マトリクス』(Doc ID 2119369.1)を参照してください。
パッチ・レベル
パッチは、Oracle Database 12.xおよびOracle Grid Infrastructure (使用する場合)に適用する必要があります。適用可能なパッチは、使用しているデータベース・バージョンに応じて異なります。詳細は、Oracle Supportドキュメント2119369.1 (Oracle Big Data SQL Master Compatibility Matrix)を参照してください。また、サポート対象のLinuxディストリビューションとOracle Databaseリリース・レベルの互換性に関する表も確認してください。
Kerberosに必要なパッケージ
Kerberos対応のOracle Databaseシステムにインストールする場合は、次のパッケージが事前にインストールされている必要があります。
krb5-workstation
krb5-libs
HDFS内のOracle表領域機能のためのパッケージ
Oracle Big Data SQLでは、Hadoop HDFSファイル・システムにOracle Database表領域を格納する方法が提供されます。次のRPMがインストールされている必要があります。
fuse
fuse-libs
# yum -y install fuse fuse-libs
必須の環境変数
次のものが常に必須です。次の環境変数が正しく設定されていることを確認してください。
ORACLE_SID
ORACLE_HOME
注意:
GI_HOME (Oracle Big Data SQL 3.1以前では必須でした)は必要なくなりました。
必要な資格証明
Oracle Database所有者の資格証明(所有者は通常、oracle Linuxアカウントです。)
Big Data SQL 3.2.1は、Oracle Databaseへのアドオンとしてインストールされます。データベース・インスタンスに直接関連するタスクは、データベース所有者アカウント(oracleなど)で実行されます。
Gridユーザーの資格証明
Gridインフラストラクチャが存在する場合は、これを再起動する必要があります。システムでGridが使用されている場合は、再起動が必要になる場合に備えてGridユーザーの資格証明を手元に用意しておく必要があります。
Linuxユーザーgridとoracle (またはその他のデータベース所有者)は、両方とも同じグループ(通常はoinstall)に属している必要があります。このユーザーには、gridユーザーが所有するすべてのファイルを読み取る権限が必要です。その逆も同じです。
すべてのOracle Big Data SQLファイルおよびディレクトリは、oracle:oinstallユーザーおよびグループによって所有されます。
Oracle Big Data SQLは、次のどちらの場所からもダウンロードできます。
Oracle Software Delivery Cloud (「eDelivery」とも呼ばれます)。
My Oracle Support My Oracle Support
Oracle Big Data Applianceのユーザーへの注意事項:
Oracle Big Data Applianceのリリースには、オプションのOracle Big Data SQLパッケージが含まれています。ご使用のリリースのOracle Big Data Applianceオーナーズ・マニュアルには、含まれているバージョンについての説明と、バンドルされたOracle Big Data SQLソフトウェアのインストール方法についての説明があります。付属のパッケージをインストールすることも、ここに記載したソースのいずれかからバージョン3.2.1をダウンロードしてインストールすることもできます。
Oracle Software Delivery Cloudからのダウンロード
クラスタ管理サーバー(CDHまたはAmbari)をホストするHadoopノードにrootとしてログインします。Big Data SQLのインストール・ディレクトリとして、新しいディレクトリを作成するか既存のディレクトリを選択します。
Oracle Software Delivery Cloudにログインします。
「Oracle Big Data SQL」を検索します。
「Oracle Big Data SQL 3.2.1.0 for Linux x86-64」を選択します。
同じバンドルが、サポートされているすべてのシステムと互換性があります。
オラクル社標準使用条件を読んで同意します。
バンドルをダウンロードします。
Hadoopクラスタ管理サーバー(CMまたはAmbariを実行しているサーバー)に、Oracle Big Data SQLをインストールして保守するためのベースになる新規ディレクトリを作成します。このディレクトリにインストール・バンドルのzipファイルをコピーして解凍します。
My Oracle Supportからのダウンロード
注意:
My Oracle Supportでは、インストール・バンドルがパッチzipファイル内で提供されます。ただし、このバンドルはOracle Big Data SQL 3.2へのパッチではなく、パッチとしてはインストールされません。3.2.1は製品の完全なリリースです。My Oracle Supportにログオンします。
「パッチと更新版」タブをクリックして、バグ番号「28071671」を検索します。
ファイルp28071671_321_Linux x86-64.zipファイルをダウンロードして、そのファイルを解凍します。
readme.txt BigDataSQL-3.2.1.zip
Hadoopクラスタ管理サーバー(CMまたはAmbariを実行しているサーバー)に、Oracle Big Data SQLをインストールして保守するためのベースになる新規ディレクトリを作成します。このディレクトリにインストール・バンドルのzipファイルをコピーして解凍します。
Oracle Big Data SQLインストール・バンドルのコンテンツ
バンドルを解凍すると、<Big Data SQL Install Directory>/BDSjaguarディレクトリに、次の表にリストした内容が含まれます。ただし、db-bundlesおよびdbkeysディレクトリを除きます。これらは、これらのディレクトリの出力を生成するインストールの実行が完了するまでは存在しません。 注意:
手順全体を通して、このガイドでは、バンドルを解凍する場所を示すために、プレースホルダ<Big Data SQL Install Directory>を使用しています。この作業ディレクトリから、Oracle Big Data SQLを構成してインストールします。このディレクトリを偶発的または許可のない変更または削除から保護する必要があります。保護対象の主なファイルは、インストールの構成ファイル(デフォルトではbds-config.json)です。ニーズにあわせてこの構成をカスタマイズした場合、このファイルはインストールの状態の記録になります。これは、リカバリ目的で使用したり、追加で変更を加える際の基礎として使用できます。表1-1 Oracle Big Data SQL製品抽出バンドル・インベントリ
| ディレクトリまたはファイル | 説明 |
|---|---|
Jaguar |
Hadoopクラスタ側のインストールおよび構成ユーティリティ。 |
example-bda-config.json example-cdh-config.json example-ethernet-config.json example-infiniband-config.json example-kerberos-config.json example-localrepos-config.json example-named-config.json example-subnetwork-config.json example-unsecure-config.json |
これらの構成ファイルの例は、様々なパラメータ・オプションを適用する方法を示しています。 |
deployment_manager/* |
デプロイメント・ユーティリティ用のPython Webサーバー。 |
deployment_server/* |
デプロイメント・サーバーPythonパッケージ・ユーティリティ。 |
bdsrepo/* |
インストール用にClouderaパーセルまたはAmbariスタックを構築するためのリソース。 |
db-bundles/ |
|
dbkeys/ |
データベース認証セキュリティ機能を使用するよう選択した場合は、そのプロセスの一環として、Jaguarインストール操作は特定のデータベースでの認証の設定用に |
Oracle Database側で、古いソフトウェアを削除しなくても、Oracle Big Data SQLを以前のリリース上にインストールできるようになりました。インストール・スクリプトは、ソフトウェアの古いバージョンを自動的に検出してアップグレードします。
インストールのOracle Database側のアップグレード
データベース側では、その特定のデータベースに接続されているクラスタがあれば、インストールを1回のみ実行してデータベース側をアップグレードする必要があります。これは、データベース側でのインストールが完全には独立していないためです。これらは、同じOracle Big Data SQLバイナリ・セットを共有します。これにより利便性が向上し、データベース・インスタンスで1つのインストールをアップグレードすれば、そのデータベース・インスタンス上のすべてのインストールのデータベース側が効率よくアップグレードされます。
インストールのHadoopクラスタ側のアップグレード
Hadoop側の既存のOracle Big Data SQLインストールがアップグレードされない場合、これらのインストールは、引き続きデータベース側の新しいOracle Big Data SQLバイナリが使用しますが、このリリースの新機能にアクセスすることができません。
次に、Oracle Big Data SQLインストールの特殊な用語および概念を示します。
Oracle Big Data SQLインストール・ディレクトリ
インストールのHadoop側とデータベース側の両方で、インストール・バンドルを解凍するディレクトリは、インストーラの実行後に削除できる一時ディレクトリではありません。これらのディレクトリは、構成に今後変更を加えるためのステージング領域です。これらは削除しないでください。誤って削除されないように保護することが必要になる場合があります。
データベース認証キー
データベース認証で使用するキーは、インストールの両側(HadoopクラスタとOracle Database)で同一である必要があります。キーの最初の部分は、クラスタ側で作成されて.reqkeyファイルに格納されます。このファイルは、最初のHadoopクラスタをデータベースに接続するためにデータベース側で1回のみ使用されます。後続のクラスタ・インストールでは、構成したキーが使用されるため、.reqkeyファイルは必要なくなります。完全なキー(データベース側で完成されます)は、.ackkeyファイルに格納されます。このキーは、データベース側のインストールによって作成されるZIPファイルの一部に含まれており、ユーザーがHadoopクラスタにコピーする必要があります。
リクエスト・キー
データベース認証機能は、デフォルトで構成で有効になっています。(これを無効にするには、構成ファイルでパラメータdatabase_auth_enabledをfalseに設定します。)この設定がtrueの場合、Jaguarのinstall、reconfigure、updatenodesのいずれの操作でも、リクエスト・キーを生成できます(拡張子が.reqkeyのファイルに格納されます)。このキーは、データベース認可に使用される一意のGUIDキー・ペアの一部です。このGUIDキー・ペアは、インストールのデータベース側で生成されます。Jaguar操作は、コマンドラインに--requestdbコマンドライン・パラメータが単一のデータベース名(または名前のカンマ区切りリスト)とともに含まれている場合に、リクエスト・キーを作成します。この例では、インストール操作は3種類のデータベースごとに1つ、合計で3つのキーを作成します。
# ./jaguar --requestdb orcl,testdb,proddb install
<Oracle Big Data SQL install directory>/BDSJaguar/dbkeysディレクトリにリクエスト・キー・ファイルが作成されます。この例では、Jaguarのinstallによってこれらのリクエスト・キー・ファイルが生成されます。orcl.reqkey testdb.reqkey proddb.reqkey
インストールのデータベース側の前に、リクエスト・キーをデータベース・ノードおよびデータベース側のインストーラのパスにコピーします。これにより、実行時にGUIDキー・ペアが生成されます。
確認応答キー
リクエスト・キーをデータベース側のインストール・ディレクトリにコピーした後、データベース側のOracle Big Data SQLインストーラを実行すると、対応する確認応答キーが生成されます。確認応答キーは元のリクエスト・キーで、GUIDとペアになっています。このキーはファイルに格納され、このファイルは、ユーザーがHadoopクラスタに返す必要がある他の情報とともにZIPアーカイブに含まれます。
データベース・リクエスト操作(databasereq)
Jaguarのdatabasereq操作は、リクエスト・キーを生成するためのスタンドアロンの方法です。これにより、install、reconfigure、updatenodesのいずれの操作も実行することなく、1つ以上のリクエスト・キーを作成できます。
# ./jaguar --requestdb <database name list> databasereq {configuration file | null}
データベース確認応答ZIPファイル
データベース認証またはHadoop Secure Impersonationが構成に対して有効である場合、データベース側のインストーラはZIPバンドル構成情報を作成します。データベース認証が有効になっている場合、このバンドルには確認応答キー・ファイルが含まれています。Hadoop Secure Impersonationに必要な情報も、そのオプションが有効であった場合には含まれています。このZIPファイルを処理のためにHadoopクラスタ管理サーバーの/opt/oracle/DM/databases/confにコピーします。
データベース確認応答は、インストールの3つ目のフェーズで、前述の3つのセキュリティ機能のいずれかが有効であるときにのみ実行されます。
データベース確認応答操作(databaseack)
3つの新しいセキュリティ機能(データベース認証またはHadoop Secure Impersonation)のいずれかまたはすべてを有効にするよう選択した場合は、データベース確認応答ZIPファイルをHadoopクラスタにコピーした後、Jaguarのデータベース確認応答操作を実行します。
これらの機能の設定プロセスは、Hadoopクラスタ管理サーバーで開始され(ここでは、構成ファイルにセキュリティ・ディレクティブを設定し、Jaguarを実行します)、Oracle Databaseシステムに至って(ここでは、データベース側のインストールを実行します)、Hadoopクラスタ管理サーバーに戻る(ここでは、データベース側のインストールによって生成されたZIPファイルのコピーを返します)ラウンド・トリップです。最後の手順は、データベース確認応答操作のdatabaseackを実行することで、次の概要で説明します。データベース確認応答により、これらのセキュリティ機能の設定が完了します。
デフォルト・クラスタ
デフォルト・クラスタは、Oracle Databaseにインストールされた最初のOracle Big Data SQL接続です。この文脈では、デフォルト・クラスタという用語は、Hadoopクラスタへの接続が確立されているデータベース・ノード上のインストール・ディレクトリを指します。言葉どおりにHadoopクラスタ自体を指すものではありません。Hadoopクラスタとデータベース間の各接続には、データベース・ノード上にそれぞれ独自のインストール・ディレクトリがあります。
デフォルト・クラスタの重要な側面は、デフォルト・クラスタでのHadoop Secure Impersonationの設定によって、特定のデータベースへの他のすべてのクラスタ接続に対する設定が決定されることです。インストール後のある時点でJaguarのreconfigure操作を実行し、それを使用してデフォルト・クラスタでHadoop Secure Impersonationをオンまたはオフにした場合、この変更はデータベースに関連付けられたすべてのクラスタで有効になります。
別のクラスタを追加するためにインストールを実行した場合、最初のクラスタがデフォルトのままになります。デフォルト・クラスタがアンインストールされた場合は、次のクラスタ(インストールの時系列順)がデフォルトになります。
Oracle Big Data SQLソフトウェアは、すべてのHadoopクラスタDataNodeおよびすべてのOracle Databaseコンピュート・ノードにインストールする必要があります。
重要: サービスの再起動について
Hadoop側のインストールでは、次のように再起動が行われる可能性があります。
Cloudera Configuration Manager (またはAmbari)が再起動される可能性があります。これ自体では、どのサービスも中断されません。
Hive、YARN、およびHiveまたはYARN上で依存関係を持つその他のサービス(Impalaなど)は再起動されます。
Oracle Big Data SQL JARを含めるため、Hiveのlibrariesパラメータが更新されます。ClouderaインストールでYARN Resource Managerが有効な場合は、Oracle Big Data SQLおよび他のHadoopサービスのcgroupメモリー制限を設定するために再起動されます。Oracle Big Data Applianceでは、YARN Resource Managerは常に有効であるため、常に再起動されます。
Oracle Databaseサーバーの場合、GridノードのOracle Big Data SQLセル設定に更新が必要な環境では、インストールでデータベースまたはOracle Gridインフラストラクチャ(あるいはその両方)を再起動する必要があることがあります。詳細は、「グリッド・インフラストラクチャの再起動要件の可能性」を参照してください。
前のバージョンのOracle Big Data SQLがすでにインストールされている場合
コモディティHadoopシステム(Oracle Big Data Appliance以外のもの)では、インストーラによって、Hadoopクラスタから以前のリリースが自動的にアンインストールされます。
サポート対象のすべてのOracle Databaseシステムで、以前のバージョンをアンインストールすることなく、Oracle Big Data SQLをインストールできます。
bdacliまたはMammothを介して古いバージョンを有効にしていた場合は、Oracle Big Data ApplianceでこのOracle Big Data SQLリリースをインストールする前に、bdacliを使用してその古いバージョンを手動でアンインストールする必要があります。不明な場合は、bdacli bds disableを試してください。disableコメントが失敗した場合、インストールがsetup-bdsインストーラで実行された可能性があります。その場合、Oracle Big Data SQLの古いバージョンを無効にすることなく、新しいバージョンをインストールできます。
所要時間
次の表は、インストールの各フェーズの推定所要時間を示しています。実際の時間は異なります。
表1-2 インストールの推定所要時間
| Hadoopクラスタ上でのインストール | Oracle Databaseノードでのインストール |
|---|---|
8分から28分 すべてのリソースがローカルに使用できる場合、Hadoop側のインストールには8分かかることがあります。リソースをインターネットからダウンロードする必要がある場合には、さらに20分以上かかることがあります。 |
データベース側の平均のインストール時間は次のように予測できます。
|
Hadoop側でのインストール・プロセスには、Hadoopクラスタでのインストールと、Oracle Database側でのインストールの2つ目のフェーズ用のバンドルの生成も含まれます。データベース・バンドルには、Hadoop、Hiveクライアントおよびその他のソフトウェアが含まれています。HadoopおよびHiveクライアント・ソフトウェアにより、Oracle DatabaseはHDFSおよびHive Metastoreと通信できます。このクライアント・ソフトウェアは、Hadoopディストリビューションのバージョン(つまり、ClouderaまたはHortonworks)に固有のものです。このガイドで後述するように、インストールの前にこれらのパッケージをダウンロードし、ネットワーク内にURLまたはリポジトリを設定し、そのターゲットをインストール・スクリプトで使用できるようにすることができます。そうではなく、インストーラがインターネットからそれらをダウンロードできるようにする場合、インストールに余分にかかる時間はインターネットのダウンロード速度によって異なります。
インストール前の手順
Hadoopクラスタでのインストールの前提条件を示したこのガイドの第2.1項。また、第3.1項も参照してください。ここでは、Oracle Big Data SQLのOracle Databaseシステム・コンポーネントをインストールするための前提条件について説明しています。
次のログイン資格証明を利用できるようにします。
Hadoopクラスタと、すべてのOracle Gridノードの両方のroot資格証明。
グリッド・ノードでは、かわりにrootユーザーとともにパスワードなしSSHを使用するオプションもあります。
oracle Linuxユーザー(または、データベース所有者がoracleでない場合はその他)
Oracle Gridユーザー(データベースの所有者と同じでない場合)。
Hadoop構成管理サービス(CMまたはAmabari)の管理パスワード。
クラスタ管理サーバー(CMまたはAmbariが稼働中)で、Oracle Big Data SQLインストール・バンドルをダウンロードして、任意の永続的な場所に解凍します。(「Oracle Big Data SQLのダウンロード」を参照してください。)
クラスタ管理サーバーで、「Hadoopクラスタでのインストールに関する前提条件」の説明に従って、Python (2.7以上、Python 3.0未満)がインストールされているかどうかを確認します。
インストール手順の概要
これは、プロセスを理解するための概要です。詳細なインストール手順は、第2章および第3章に示します。
インストールには常に2つのフェーズあります。Hadoopクラスタでのインストールと、Oracle Databaseシステムでの後続のインストールです。また、構成の選択内容に応じて、3つ目のデータベース確認応答フェーズが含まれることがあります。
Hadoop側のインストールを開始します
第2章で説明しているインストール・パラメータ・オプションを確認します。Hadoop側でのインストールでは、インストールのOracle Database側に影響を与えるものも含め、Oracle Big Data SQLを構成する方法に関するすべての決定を下します。
Jaguarインストーラを環境にあわせて適切に構成するために、バンドルに用意されているbds-config.jsonファイルを編集します。同じパラメータを使用して、独自の構成ファイルを作成することもできます。
「Hadoop側のOracle Big Data SQLのインストールまたはアップグレード」で説明されているように、インストーラを実行してHadoop側のインストールを実行します。
データベース認証機能が有効である場合、JaguarはHadoopクラスタに接続するデータベースごとにリクエスト・キー(.reqkey)ファイルも出力する必要があります。このファイルを生成するには、Jaguarのinstallコマンドに--requestdbパラメータを含めます(推奨される方法)。--requestdbをサポートするその他のJaguar操作を使用して後でファイルを生成することもできます。
このファイルには、データベース認証に使用されるGUIDキー・ペアの一方のキーが含まれています。キーを作成してインストールする手順については、インストール手順で詳しく説明します。
各Oracle Databaseコンピュート・ノードでデータベース側のインストール・バンドルを一時ディレクトリにコピーします。
リクエスト・キー・ファイルが生成されていた場合は、そのファイルを同じディレクトリにコピーします。
データベース側のインストールを開始します
データベース・サーバーにデータベース所有者としてにログオンし、バンドルを解凍して、含まれている実行ファイルを実行します。実行ファイルはソフトウェアをインストールしません。$ORACLE_HOMEの下にインストール・ディレクトリを設定します。
データベース所有者として、Oracle Databaseサーバー側のインストールを実行します。(「Oracle Database側のOracle Big Data SQLのインストールまたはアップグレード」を参照してください。)
インストールのこのフェーズでは、各コンピュート・ノード上の一時的な場所にデータベース側のインストール・バンドルをコピーします。.reqkeyファイルがデータベース用に生成された場合は、インストール・ディレクトリにそのファイルをコピーしてから処理を進めます。次に、bds-database-install.shインストール・プログラムを実行します。
データベース側のインストーラでは、次の処理を実行します。
Oracle Big Data SQLバイナリをデータベース・ノードにコピーします。
Hadoopクラスタへのアクセスに必要なすべてのデータベース・メタデータおよびMTA extproc (外部プロセス)を作成し、通信設定を構成します。
重要:
必ず各データベース・コンピュート・ノードにバンドルをインストールします。Hadoop側のインストールにより、Hadoopクラスタの各ノードにソフトウェアが自動的に伝播されます。しかし、データベース側のインストールではこのように機能しません。ソフトウェアを各データベース・コンピュート・ノードにコピーして、直接インストールする必要があります。
Oracle Grid環境で、セル設定を更新する必要がある場合は、Gridの再起動が必要になることがあります。Gridのパスワードを知っていることを確認してください。Gridの再起動が必要な場合、インストールを完了するために、Gridの資格証明が必要になります。
該当する場合は、データベース確認応答手順を実行します
データベース認証またはHadoop Secure Impersonationが有効であった場合、データベース側のインストールによって、Hadoopクラスタ管理サーバーにコピーする必要があるZIPファイルが生成されます。ファイルは、$ORACLE_HOMEの下のインストール・ディレクトリに生成され、次の形式でファイル名が付けられます。
<Hadoop cluster name>-<Number nodes in the cluster>-<FQDN of the cluster management server node>-<FQDN of this database node>.zipこのファイルをHadoopクラスタ管理サーバー上の
/opt/oracle/DM/databases/confにコピーし、rootとしてBDSJaguar–3.2.1ディレクトリからデータベース確認応答コマンドを実行します。# cd <Big Data SQL install directory>/BDSJaguar # ./jaguar databaseack <bds-config.json>
ワークフロー図
詳細なインストール・ワークフロー
次の図は、この概要で説明されているインストールの詳細な一連の手順を示しています。
注意:
ワークフローに示された手順を開始する前に、両方のシステムがインストールの前提条件を満たしていることを確認してください。図1-1 インストールのワークフロー
キーの生成およびインストール
次の図では、データベース認証に使用されるGUIDキー・ペアを作成し、インストールするために必要な3つの手順に焦点を当てています。Jaguarコマンドのパラメータを囲む中カッコは、リスト内の操作のいずれかが必須であることを示しています。これらの各操作は、--requestdbパラメータの使用をサポートしています。
図1-2 データベース認証のためのGUIDキー・ペアの生成およびインストール
bdscheckswおよびその他のテストによるインストールの検証
bdscheckswがインストールの一部として自動的に実行されるようになりました。このスクリプトでは、Oracle DatabaseとHadoopクラスタの両側からOracle Big Data SQLインストールに関する診断情報を収集して分析します。また、このスクリプトはインストール後にいつでもトラブルシューティングのチェックとして実行できます。このスクリプトは、Oracle Databaseサーバーの$ORACLE_HOME/binにあります。$ bdschecksw --help
また、追加の機能テストについては、このユーザーズ・ガイドのクイック・テストの実行方法に関する項を参照してください。
インストール・ログ・ファイルのチェック
インストール後、これらのログ・ファイルを調べることができます。
Hadoopクラスタ側:
/var/log/bigdatasql /var/log/oracle
Oracle Database側:
$ORACLE_HOME/install/bds* (This is a set of files, not a directory) $ORACLE_HOME/bigdatasql/logs /var/log/bigdatasql
ヒント:
サポート・リクエストを発行した場合は、これらのログをすべて含んだzipアーカイブを作成し、Oracleサポートへの電子メールに添付してください。
考慮が必要なその他のインストール後手順
インストールを保護するために講じることができる対策について一読します。(「Big Data SQLの保護」を参照してください。)
HadoopクラスタやOracle Databaseインストールで変更が発生したときのOracle Big Data SQL構成の変更方法を理解します。(「インストールの拡張または縮小」を参照してください。)
Oracle Big Data SQLの旧リリースでCopy to Hadoopを使用していた場合は、Oracle Shell for Hadoop LoadersによってCopy to Hadoopタスクを簡略化できる方法を理解してください。(「インストールされる追加ツール」を参照してください。)
Hadoop側でのJaguarユーティリティおよびOracle Database側でのbds-database-install.shの機能をよく理解したら、後続のインストールでは「インストールのクイック・リファレンス」を参考に作業すると便利です。このリファレンスでは、インストール手順について簡潔に説明しています。各手順を詳しくは説明していないため、ユーザーにはこのプロセスの実用的な知識が必要です。このドキュメントおよびその他のドキュメントの関連する詳細へのリンクが含まれています。
