1. インストレーション・ガイド
  2. 概要

1 概要

このガイドでは、Oracle Big Data SQLをインストールする方法、環境での変更に対応するためにインストールを再構成または拡張する方法、および必要に応じてソフトウェアをアンインストールする方法について説明します。

このインストールは、複数のフェーズで実行されます。最初の2つのフェーズは次のとおりです。

  • クラスタ管理サーバーが実行されているHadoopクラスタのノードでのインストール。

  • Oracle Databaseシステムの各ノードでのインストール。

使用可能なオプションのセキュリティ機能を有効にするよう選択した場合は、追加で3つ目のフェーズがあり、ここでセキュリティ機能をアクティブ化します。

2つのシステムがイーサネットまたはインフィニバンドを使用してネットワークに接続されている必要があります。(Oracle SuperClusterへの接続はインフィニバンドのみです)。

ノート:

Oracle DatabaseとHadoopクラスタ間のイーサネット接続には、10 Gb/sイーサネットをお薦めします。

インストール・プロセスはHadoopシステム上で開始され、ここで1つのノード(クラスタ管理ソフトウェアを実行しているノード)にのみ手動でソフトウェアをインストールします。Oracle Big Data SQLは、クラスタ管理ソフトウェアの管理機能を利用して、クラスタ内のすべてのDataNodeに自動的にインストールを伝播します。

Hadoop側にインストールするパッケージによって、Oracle DatabaseシステムのOracle Big Data SQLインストール・パッケージも生成されます。Hadoop側のインストールが完了したら、Oracle Databaseシステムのすべてのノードにこのパッケージをコピーし、それを解凍して、このガイドの手順に従ってインストールします。データベース認証またはHadoop Secure Impersonationを有効にしている場合は、次に3つ目のインストール・ステップを実行します。

1.1 サポートされているシステムの組合せ

Oracle Big Data SQLは、多数のOracle Engineered Systemsとコモディティ・サーバー間の接続をサポートしています。

現在のリリースは、次のOracle DatabaseプラットフォームとHadoopシステムの組合せについて、Oracle Big Data SQL接続をサポートしています。

  • コモディティ・サーバー上のOracle DatabaseとOracle Big Data Appliance。

  • コモディティ・サーバー上のOracle DatabaseとコモディティHadoopシステム。

  • Oracle Exadata Database MachineとOracle Big Data Appliance。

  • Oracle Exadata Database MachineとコモディティHadoopシステム。

ノート:

コモディティ・システム上のOracle Databaseという語句は、Oracle Exadata Database MachineではないOracle Databaseホストを指します。コモディティ・データベース・システムは、Oracle LinuxまたはRHELベースのいずれかにすることができます。コモディティHadoopシステムという語句は、Hortonworks HDPシステム、およびOracle Big Data Appliance以外のCloudera CDHベースのシステムを指します。

1.2 Oracle Big Data SQLマスター互換性マトリクス

次のものとのBig Data SQLの互換性についての最新情報は、『Oracle Big Data SQL Master Compatibility Matrix』(My Oracle SupportのDoc ID 2119369.1)を参照してください。

  • Oracle Engineered Systems。

  • その他のシステム。

  • Linux OSのディストリビューションとバージョン。

  • Hadoopディストリビューション。

  • 必要とされるパッチを含むOracle Databaseのリリース。

1.3 Oracle Big Data Applianceでのインストール

各Oracle Big Data Applianceソフトウェア・リリースには、アプライアンスで使用可能なユーティリティを使用してインストールできる状態のOracle Big Data SQLのバージョンがすでに含まれています。

このガイドで説明されているように、Big Dataアプライアンスを含むサポートされているすべてのHadoopプラットフォーム上に、スタンドアロンのBig Data SQLバンドルをダウンロードしてインストールできます。ただし、Big Data Applianceでは、推奨される方法はBig Data Applianceソフトウェアに含まれているBig Data SQLパッケージをインストールすることですこの手順は、Oracle Big Data Applianceオーナーズ・ガイドに説明されています。これらは、オーナーズ・ガイドのほとんどのバージョンの同じ場所にあります。たとえば、Big Data Appliance 5.1および5.2にはBig Data SQL 4.0 (4.1ではない)が含まれており、手順は10.9.5 Oracle Big Data SQLのインストールにあります。

アプライアンスに付属するBig Data SQLのバージョンをインストールする利点は、次のとおりです。

  • インストールの前提条件はすでに満たされています。
  • Big Data Appliance構成生成ユーティリティのチェック・ボックスを選択することによって、Big Data ApplianceリリースのインストールにBig Data SQLを追加できます。Mammothユーティリティは、Big Data SQLをインストールに自動的に含めます。
  • 後でbdacliユーティリティを使用して、Big Data SQLをインストールすることもできます。これも簡単な手順です。コマンドはbdacli enable big_data_sqlです。
  • Big Data SQLがMammothユーティリティによってインストールされる際、新しいBig Data Applianceソフトウェア・リリースへのアップグレード中に、MammothがBig Data SQLインストールのHadoop側を、リリース・バンドルに含まれるバージョンに自動的にアップグレードします。

Big Data Applianceに含まれているBig Data SQLのバージョンのインストールでは、次の制限があります。

  • インストールはHadoop側でのみ実行されます。このガイドの説明を使用して、製品のデータベース側をインストールする必要があります。デフォルトのインストールを変更する場合も、このガイドを参照する必要があります。
  • Big Data Applianceのリリースに、入手可能な最新バージョンのBig Data SQLが含まれていない場合があります。

ノート:

Big Data Applianceに含まれるバージョンをインストールするのではなく、Oracle Software Delivery CloudからBig Data SQLのリリースをダウンロードしてインストールする場合は、最初にOracle Big Data SQLマスター互換性マトリクスをチェックして、現在のBig Data Applianceのリリース・レベルがインストールするバージョンをサポートしていることを確認します。

1.4 ネットワークの前提条件

Oracle Big Data SQLインストールには、次のネットワーク依存関係があります。

1.4.1 ポート・アクセス要件

Oracle Big Data SQLでは、HadoopクラスタおよびOracle Databaseを保護するファイアウォールを介して次のポートが開いている必要があります。

表1-1 HadoopクラスタとOracle Databaseサーバーの両方で開く必要があるポート

ポート 用途
Ephemeral_range (9000-65500など) celliniteth.ora IPアドレスからのUDP通信
5042 diskmon

表1-2 Hadoopクラスタで開く必要がある追加ポート

Hadoopクラスタのポート 場所 用途
50010 保護されていないクラスタのすべてのノード dfs.datanode.address
1004 保護されているクラスタのすべてのノード dfs.datanode.address
50020 すべてのノード dfs.datanode.ipc.address
8020 NameNode fs.defaultFS
8022 NameNode dfs.namenode.servicerpc-address
9083 HiveメタストアおよびHiveServer2ノード。 hive.metastore
10000 HiveメタストアおよびHiveServer2ノード。 hive.server2.thrift.port
88 Kerberos KDC TCPおよびUDP
16000 HDFS暗号化が有効になっている場所 KMS HTTPポート

1.5 Hadoopクラスタでのインストールに関する前提条件

次のインストール済ソフトウェア・パッケージのアクティブ・サービス、ツールおよび環境設定は、Oracle Big Data SQLインストールの前提条件です。

サポートされているLinuxディストリビューションおよびバージョンなどのプラットフォーム要件の他、サポートされているOracle Databaseのリリースおよび必要なパッチはここでは示しません。そのような情報は、『Oracle Big Data SQL Master Compatibility Matrix』(My Oracle SupportのDoc ID 2119369.1)を参照してください。

Oracle Big Data SQLインストーラは、インストールを開始する前にすべての前提条件をチェックし、各ノードに満たされていない要件があればレポートします。

ヒント:

bds_node_check.shを使用して、クラスタのDataNodeでインストールの準備ができているかどうかを事前に確認します。

これらは手動で確認できますが、最も簡単な方法は各ノードでbds_node_check.shを実行することです。このスクリプトは、完全な準備状況レポートを返します。インストール・バンドルをダウンロードし、解凍して実行ファイルを実行すると、インストールを実行するためのツールとともにbds_node_check.shが使用可能になります。詳細は、bds_node_check.shによるHadoop側の前提条件のチェックを参照してください。

ノート:

  • Oracle Big Data SQL 4.1は、Clouderaのクラスタのシングル・ユーザー・モードをサポートしません。
  • JDKは前提条件ではありません。このリリースのOracle Big Data SQLには、JDK 8u171が含まれています。

1.5.1 すべてのDataNodeのソフトウェア・パッケージ要件

Oracle Big Data SQLをインストールする前に、すべてのHadoopクラスタ・ノード上に次のパッケージをインストールしておく必要があります。これらは、Oracle Big Data SQL 4.1をサポートするOracle Big Data Applianceのリリースにすでにインストールされています。問合せサーバーをインストールする場合は、さらにいくつかのパッケージが必要です。 

libaio
dmidecode
net-snmp
net-snmp-utils
glibc
libgcc
libcgroup-tools (Oracle Linux 7 only)
libstdc++
libuuid
ntp
perl
perl-libwww-perl
perl-libxml-perl
perl-XML-LibXML
perl-Time-HiRes
perl-XML-SAX
perl-Env (Oracle Linux 7 only)
rpm
curl
unzip
zip
tar
wget
uname

次のパッケージは、問合せサーバーをインストールする場合にのみ必要です。


expect 
procmail

yumユーティリティは、これらのパッケージをインストールする場合の推奨方法です。これらはすべて、単一のyumコマンドでインストールできます。次に例を示します(expectおよびprocmailは含まれません)。

# yum -y install dmidecode net-snmp net-snmp-utils glibc libgcc libcgroup-tools libstdc++ libuuid ntp perl perl-libs perl-Time-HiRes perl-libwww-perl perl-libxml-perl perl-XML-LibXML perl-XML-SAX perl-Env fuse fuse-libs rpm curl unzip zip tar wget uname -y libaio gcc

構成管理サーバーの特別な前提条件

CMまたはAmbariが実行されているノード(通常はOracle Big Data Applianceのノード3)では、互換性のあるバージョンのPythonおよびPython Cryptographyパッケージもインストールする必要があります。これが必要かどうかを判断するには、次の項を参照してください。手動でPythonのバージョンをインストールする必要がある場合は、yumのパラメータ文字列にopenssl-develを追加します。

その他の前提条件

  • HDFS、YARNおよびHiveは、Oracle Big Data SQLのインストール時および実行時にクラスタで実行されている必要があります。これらは、Cloudera CDHではパーセルまたはパッケージとして、Hortonworks HDPではスタックとしてインストールできます。
  • CDHで、Oracle Big Data SQLが必要とするHadoopサービスをパッケージとしてインストールする場合は、それらがCM内からインストールされることを確認してください。そうでない場合、CMはこれらを管理できません。これは、パーセルベースのインストールでは問題ではありません。

1.5.2 クラスタ管理ノードのPythonの要件

CMまたはAmbariクラスタ管理サービスが実行されているノードでは、Oracle Big Data SQLインストーラにPython 2.7.5以上3.0未満が必要です。Python Cryptographyパッケージが存在しない場合は、これもこのPythonインストールに追加する必要があります。

Jaguar (Oracle Big Data SQLインストーラ)には、インストーラを実行するノード上にローカルでPython (>= 2.7.5 <3.0)が存在する必要があります。これは、CMまたはAmbariクラスタ管理サービスが実行されているノードです。このサポートされているバージョン範囲のPythonのインストールがすでに存在する場合は、それを使用してJaguarを実行できます。

  • Oracle Linux 6または7が実行されているOracle Big Data ApplianceまたはコモディティHadoopクラスタの場合:

    JaguarインストーラをサポートするためにPythonを手動でインストールしないでください。アプライアンスですでに使用可能な互換性のあるPythonパッケージが用意されており、Jaguarインストーラはプロンプトを表示せずに、このパッケージを自動的に探して使用します。

  • Oracle Linux 6が実行されているコモディティHadoopクラスタの場合:

    互換性のあるバージョンのPythonが存在しない場合はインストールします。

  • Oracle Linux 5が実行されているOracle Big Data ApplianceまたはコモディティHadoopクラスタの場合:

    互換性のあるバージョンのPythonが存在しない場合はインストールします。Oracle Big Data Applianceで、これを2つ目のインストールとしてのみインストールします。

重要:

Oracle Big Data Applianceでは、デフォルトのPythonインストールを新しいバージョンで上書きしたり、デフォルトを新しいバージョンに切り替えないでください。この制限は、サポートされている他のHadoopプラットフォームにも適用される場合があります。ご使用のCDHまたはHDPプラットフォームに関するドキュメントを参照してください。

コモディティHadoopプラットフォーム上のOracle Linux 6では、Jaguarインストーラによって、互換性のあるPythonインストールのパスを求められます。

必要なPython Cryptographyモジュールのインストール

Pythonのpipユーティリティを使用して、Python Cryptographyモジュールをインストールできます。Python (>= 2.7.5 <3.0)がデフォルトでない場合は、sclを使用します。この例では、pipをインストールした後でモジュールをインストールしてインポートします。 

# scl enable python27 "pip install -U pip"  
# scl enable python27 "pip install cryptography"  
# scl enable python27 "python -c 'import cryptography; print \"ok\";'"

その後、Jaguarインストーラを実行できます。

1.5.2.1 2つ目のインストールとしてのPython 2.7.5以上の追加

次は、2つ目のインストールとしてPython 2.7.5以上(ただし3.0未満)を追加するための手順です。

ノート:

Pythonを手動でインストールする場合は、まずopenssl-develパッケージがインストールされていることを確認してください。 

# yum install -y openssl-devel
# pyversion=2.7.5
# cd /tmp/
# mkdir py_install
# cd py_install
# wget https://www.python.org/static/files/pubkeys.txt
# gpg --import pubkeys.txt
# wget https://www.python.org/ftp/python/$pyversion/Python-$pyversion.tgz.asc
# wget https://www.python.org/ftp/python/$pyversion/Python-$pyversion.tgz
# gpg --verify Python-$pyversion.tgz.asc Python-$pyversion.tgz
# tar xfzv Python-$pyversion.tgz
# cd Python-$pyversion
# ./configure --prefix=/usr/local/python/2.7.5
# make
# mkdir -p /usr/local/python/2.7.5
# make install
# export PATH=/usr/local/python/2.7.5/bin:$PATH

2つ目のPythonのインストールを作成する場合は、Python更新を定期的に適用して新しいセキュリティ修正を組み込むことをお薦めします。

重要: Oracle Big Data Applianceでは、オラクル社で直接指示される場合を除き、mammothインストールされたPythonは更新しないでください。

1.5.2.2 適切なPythonバージョンを起動するためにsclを使用する必要がある場合

クラスタ管理サーバーに複数のPythonリリースがある場合は、このリリースのOracle Big Data SQLに関連する操作に対して、必ずPython 2.7.5以上(ただし3.0未満)が起動されるようにしてください。

sclユーティリティが使用可能な場合は、Python 2.7.5以上を明示的に起動するために使用できます。これは、別のPythonインストールがデフォルトの場合に必要です。その場合は、sclまたは別の方法を使用して、スクリプトに適したPythonバージョン、およびJaguar (Oracle Big Data SQLインストーラ)などのPythonベースのユーティリティを起動します。 

[root@myclusteradminserver:BDSjaguar] # scl enable python27 "./jaguar install bds-config.json"

この要件には、例外が1つあります。Oracle Linux 6またはOracle Linux 7が実行されているOracle Big Data Applianceクラスタでは、Jaguarインストーラを実行するために明示的にsclを使用する必要はありません。この場合は、次のようにJaguarを直接起動できます。

[root@myclusteradminserver:BDSjaguar] # ./jaguar install bds-config.json

sclが使用可能で、この環境で互換性のあるPythonリリースを起動するためにsclが必要な場合は、Jaguar自体がsclを自動的に起動します。

これはBig Data ApplianceのJaguarにのみ適用されることに注意してください。Oracle Big Data SQLに必要な他のPythonスクリプトを(Oracle Big Data Appliance上でも)実行するには、Python 2.7.5がデフォルトでない場合はsclを使用します。

たとえば、必要なPython Cryptographyパッケージをインストールするには、sclを起動して、適切なバージョンのPythonを使用していることを確認する必要があります。
# scl enable python27 pip install cryptography

1.5.3 環境設定

インストール前に次のように環境を設定する必要があります。

  • ntp有効
  • shmallに対するshmmaxの最小比率:

    shmmax = shmall * PAGE_SIZE

  • shmmaxは、その物理メモリーより大きくする必要があります。
  • swappinessは、5から25の間に設定されます。
  • すべての*.rp_filterインスタンスの無効化
  • 4194304以上のソケット・バッファ・サイズ

1.5.4 プロキシ関連の設定

インストール・プロセスでは、ClouderaまたはHortonworksサイトからいくつかのパッケージをダウンロードするためにインターネットへのアクセスが必要です。

インターネット・アクセスにプロキシが必要な場合は、次に示す項目がLinux環境変数として設定されていることを確認するか、Jaguar構成ファイル(bds-config.json)の同等のパラメータを有効にします。

  • http_proxyおよびhttps_proxy

  • no_proxy

    no_proxyに次が含まれるように設定: "localhost,127.0.0.1,<Comma—separated list of the hostnames in the cluster (in FQDN format).>"。

インストールを実行する前に、Cloudera CDH上で、Cloudera Manager管理のすべてのプロキシ設定をクリアします。

関連項目:

表2-1では、インストーラ構成ファイルでのhttp_proxy、https_proxyおよびその他のパラメータの使用について説明します。

1.5.5 CPU、メモリーおよびネットワークの要件

Oracle Big Data SQLには、次のものが必要です。

ノードごとの最小CPUおよびメモリー

  • 8 CPUコア
  • 32 GB RAM

ノート:

このリリースと互換性のあるすべてのバージョンのOracle Database (12.1、12.2、18cおよび19c)への接続をサポートする場合、RAM要件は1ノード当たり64 GBです。Jaguar構成パラメータおよびコマンド・リファレンスのdatabase_compatibilityパラメータを参照してください。このパラメータを"full"に設定した場合、ノード当たり64 GBが最小要件になります。

ネットワーク

HadoopトラフィックがVLAN上にある場合、すべてのDataNodeが同じVLAN上にある必要があります。

1.6 Oracle Databaseノードでのインストールの前提条件

インストールの前提条件は、Oracle Big Data SQLがインストールされるHadoopシステムおよびOracle Databaseシステムのタイプに応じて異なります。

パッチ・レベル

サポートされるLinuxディストリビューション、Oracle Databaseリリース・レベルおよび必要なパッチについては、My Oracle Supportの『Oracle Big Data SQL Master Compatibility Matrix』(Doc ID 2119369.1)を参照してください。

ノート:

このインストールを開始する前に、互換性マトリクスで規定されている正しいバンドル・パッチおよび個別パッチをあらかじめ適用しておいてください。

インストールを開始する前に、次に示す追加の環境およびユーザー・アクセスの要件を確認します。

Kerberosに必要なパッケージ

Kerberos対応のOracle Databaseシステムにインストールする場合は、次のパッケージが事前にインストールされている必要があります。

  • krb5-workstation

  • krb5-libs

HDFS内のOracle表領域機能のためのパッケージ

Oracle Big Data SQLでは、Hadoop HDFSファイル・システムにOracle Database表領域を格納する方法が提供されます。次のRPMがインストールされている必要があります。

  • fuse

  • fuse-libs

# yum -y install fuse fuse-libs

Oracle Database 19cの場合のみ: RDMAコア・パッケージの最小バージョン

rdma-core-20.2-1.0.4.el7ora.x86_64

これは、RACと単一インスタンスの両方のデプロイメントのOracle Database 19cに適用されます。

Exadataのお客様は、この要件を無視できます。

必須の環境変数

次のものが常に必須です。次の環境変数が正しく設定されていることを確認してください。

  • ORACLE_SID

  • ORACLE_HOME

ノート:

GI_HOME (Oracle Big Data SQL 3.1以前では必須でした)は必要なくなりました。

必要な資格証明

  • Oracle Database所有者の資格証明(所有者は通常、oracle Linuxアカウントです。)

    Big Data SQL は、Oracle Databaseへのアドオンとしてインストールされます。データベース・インスタンスに直接関連するタスクは、データベース所有者アカウント(oracleなど)で実行されます。

  • Gridユーザーの資格証明

    Gridインフラストラクチャが存在する場合は、これを再起動する必要があります。システムでGridが使用されている場合は、再起動が必要になる場合に備えてGridユーザーの資格証明を手元に用意しておく必要があります。

Linuxユーザーgridとoracle (またはその他のデータベース所有者)は、両方とも同じグループ(通常はoinstall)に属している必要があります。このユーザーには、gridユーザーが所有するすべてのファイルを読み取る権限が必要です。その逆も同じです。

すべてのOracle Big Data SQLファイルおよびディレクトリは、oracle:oinstallユーザーおよびグループによって所有されます。

必要なグリッド・インフラストラクチャのパッチ

スクリプトbds-validate-grid-patches.shを実行して、グリッド・インフラストラクチャに、Oracle Big Dataインストールに必要なすべてのパッチが含まれていることを確認できます。bds-validate-grid-patches.shによる必要なグリッド・パッチの確認を参照してください

1.7 Oracle Big Data SQLおよび問合せサーバーのダウンロード

Oracle Big Data SQLはOracle Software Delivery Cloud (eDeliveryとも呼ばれる)からダウンロード可能です。

常に最新バージョンのBig Data SQLをダウンロードしてインストールしてください。これにより、インストール時に最高の操作性が得られ、サポートされているすべてのOracle Databasesとの互換性が提供されます。

次のステップに従って、Big Data SQLをダウンロードし、インストールの準備を整えます

ダウンロードするファイルは次の3つです。

  • プライマリBDSJaguarバンドル(Oracle Big Data SQLのJaguarインストーラが含まれています)

    V996881-01.zip

  • オプションの問合せサーバー・バンドルの2つの部分
    V996883-01_1of2.zip
V996883-01_2of2.zip

問合せサーバーを使用する場合は、プライマリ・バンドルに加えて、問合せサーバー・バンドルの2つの部分をダウンロードします。

ノート:

Oracle Big Data SQL以外の問合せサーバーは使用できません。また、問合せサーバーは個別にインストールされません。次に説明するようにJaguarによるインストールにこれを含めることができます。
  1. Oracle Software Delivery Cloudにログオンします。
  2. 「Oracle Big Data SQL」を検索します。
  3. 「Oracle Big Data SQL 4.1.0.0 for Linux x86-64」を選択します。
    実際には、4.1.0.0 n.n.nより大きいバージョンが使用可能である場合があります。同じバンドルは、サポートされているすべてのHadoopクラスタと互換性があります。
  4. オラクル社標準使用条件に同意します。その後、バンドルをダウンロードできます。
  5. クラスタ管理サーバー(CDHまたはAmbari)をホストするHadoopノードにバンドルをコピーします。Oracle Big Data Applianceの場合、これは通常Node3です。任意の場所を選択します。問合せサーバーを使用する場合は、Extrasバンドルを同じ場所にコピーします。
  6. rootとしてログオンし、BDSJaguarバンドルを解凍します。
    リリース4.1のバンドルには、実行ファイルのみが含まれています。
    # unzip V996881-01.zip
Archive:  V996881-01.zip
  inflating: BDSJaguar-4.1.0.run
  inflating: readme
  7. 実行ファイルを実行する前に、インストール・ファイルおよび構成ファイルのデフォルトの抽出ターゲットをそのまま使用するかどうかを決定します。デフォルトは/opt/oracleです。そうでない場合は、JAGUAR_ROOT環境変数を設定して変更できます。
    # export JAGUAR_ROOT=<my_directory>
    このガイド全体を通して、プレースホルダBig Data SQL Install Directoryは、ファイルを抽出したJAGUAR_ROOTを示します。

    重要:

    これは、Oracle Big Data SQLを構成およびインストールする永続的な作業ディレクトリです。インストール後に、このディレクトリ内のツールも必要になります。偶発的または不正な変更や削除からこのディレクトリを保護することをお薦めします。保護対象の主なファイルは、インストールの構成ファイル(デフォルトではbds-config.json)です。ニーズにあわせてこの構成をカスタマイズした場合、このファイルはインストールの状態の記録になります。これは、リカバリ目的で使用したり、追加で変更を加える際の基礎として使用できます。
  8. 実行ファイルを実行します。
    # ./BDSJaguar-4.1.0.run
BDSJaguar-4.1.0.run: platform is: Linux
BDSJaguar-4.1.0.run: Jaguar directory created successfull
BDSJaguar-4.1.0.run: Based on features selected in config.json file, extra bundles could be required
BDSJaguar-4.1.0.run: Please go to /opt/oracle/BDSJaguar
  9. オプションの手順: 問合せサーバーを含めます。
    インストールに問合せサーバーを含める場合は、V996883-01_1of2.zipおよびV996883-01_2of2.zipを解凍して、バンドルの2つの部分を抽出します。また、両方のファイルにスクリプトjoin.shが含まれています。このスクリプトを実行してバンドルを作成します。いずれかのzipファイルからjoin.shのコピーを使用できます。 
    $ unzip -j -o V996883-01_1of2.zip
Archive: V982741-01_1of2.zip 
  inflating: BDSQLQS82d323d472f5c4666e1a7e48cd2d75b9-00 
  inflating: join.sh 
  inflating: readme.1st 

$ unzip -j -o V996883-01_2of2.zip
Archive: V982741-01_2of2.zip 
  inflating: BDSQLQS82d323d472f5c4666e1a7e48cd2d75b9-01 
  inflating: join.sh 
  inflating: readme.1st
  
$ ./join.sh
Re-assembling Big Data SQL Query Server bundle
Detected files:
BDSQLQS82d323d472f5c4666e1a7e48cd2d75b9-00
BDSQLQS82d323d472f5c4666e1a7e48cd2d75b9-01
Joining 2 files
BigDataSQL-4.1.0-QueryServer.zip successfully created !!!

    次に、新しく作成されたバンドルを解凍して、問合せサーバー実行ファイルを抽出します。

    # unzip BDSExtra-4.1.0-QueryServer.zip
...
# ./BDSExtra-4.1.0-QueryServer.run

    Big Data SQLインストールに問合せサーバーを含めるには、Jaguarインストーラを実行する前に、この追加の実行ファイルを実行してください。

1.8 Oracle Big Data SQLの旧リリースからのアップグレード

Oracle Database側で、古いソフトウェアを削除しなくても、Oracle Big Data SQLを以前のリリース上にインストールできるようになりました。インストール・スクリプトは、ソフトウェアの古いバージョンを自動的に検出してアップグレードします。

インストールのOracle Database側のアップグレード

データベース側では、その特定のデータベースに接続されているクラスタがあれば、インストールを1回のみ実行してデータベース側をアップグレードする必要があります。これは、データベース側でのインストールが完全には独立していないためです。これらは、同じOracle Big Data SQLバイナリ・セットを共有します。これにより利便性が向上し、データベース・インスタンスで1つのインストールをアップグレードすれば、そのデータベース・インスタンス上のすべてのインストールのデータベース側が効率よくアップグレードされます。

インストールのHadoopクラスタ側のアップグレード

Hadoop側の既存のOracle Big Data SQLインストールがアップグレードされない場合、これらのインストールは、引き続きデータベース側の新しいOracle Big Data SQLバイナリが使用しますが、このリリースの新機能にアクセスすることができません。

1.9 重要な用語と概念

次に、Oracle Big Data SQLインストールの特殊な用語および概念を示します。

Oracle Big Data SQLインストール・ディレクトリ

インストールのHadoop側とデータベース側の両方で、インストール・バンドルを解凍するディレクトリは、インストーラの実行後に削除できる一時ディレクトリではありません。これらのディレクトリは、構成に今後変更を加えるためのステージング領域です。これらは削除しないでください。誤って削除されないように保護することが必要になる場合があります。

データベース認証キー

データベース認証で使用するキーは、インストールの両側(HadoopクラスタとOracle Database)で同一である必要があります。キーの最初の部分は、クラスタ側で作成されて.reqkeyファイルに格納されます。このファイルは、最初のHadoopクラスタをデータベースに接続するためにデータベース側で1回のみ使用されます。後続のクラスタ・インストールでは、構成したキーが使用されるため、.reqkeyファイルは必要なくなります。完全なキー(データベース側で完成されます)は、.ackkeyファイルに格納されます。このキーは、データベース側のインストールによって作成されるZIPファイルの一部に含まれており、ユーザーがHadoopクラスタにコピーする必要があります。

リクエスト・キー

データベース認証機能は、デフォルトで構成で有効になっています。(これを無効にするには、構成ファイルでパラメータdatabase_auth_enabledをfalseに設定します。)この設定がtrueの場合、Jaguarのinstall操作およびreconfigure操作は、request keyを生成できます(拡張子が.reqkeyのファイルに格納されます)。このキーは、データベース認可に使用される一意のGUIDキー・ペアの一部です。このGUIDキー・ペアは、インストールのデータベース側で生成されます。Jaguar操作は、コマンドラインに--requestdbコマンドライン・パラメータが単一のデータベース名(または名前のカンマ区切りリスト)とともに含まれている場合に、リクエスト・キーを作成します。この例では、インストール操作は3種類のデータベースごとに1つ、合計で3つのキーを作成します。 

# ./jaguar --requestdb orcl,testdb,proddb install
操作により、<Oracle Big Data SQL install directory>/BDSJaguar/dbkeysディレクトリにリクエスト・キー・ファイルが作成されます。この例では、Jaguarのinstallによってこれらのリクエスト・キー・ファイルが生成されます。
orcl.reqkey
testdb.reqkey
proddb.reqkey

インストールのデータベース側の前に、リクエスト・キーをデータベース・ノードおよびデータベース側のインストーラのパスにコピーします。これにより、実行時にGUIDキー・ペアが生成されます。

確認応答キー

リクエスト・キーをデータベース側のインストール・ディレクトリにコピーした後、データベース側のOracle Big Data SQLインストーラを実行すると、対応する確認応答キーが生成されます。確認応答キーは元のリクエスト・キーで、GUIDとペアになっています。このキーはファイルに格納され、このファイルは、ユーザーがHadoopクラスタに返す必要がある他の情報とともにZIPアーカイブに含まれます。

データベース・リクエスト操作(databasereq)

Jaguarのdatabasereq操作は、リクエスト・キーを生成するためのスタンドアロンの方法です。これにより、install操作またはreconfigure操作を実行することなく、1つ以上のリクエスト・キーを作成できます。 

# ./jaguar --requestdb <database name list> databasereq {configuration file | null}

データベース確認応答ZIPファイル

データベース認証またはHadoop Secure Impersonationが構成に対して有効である場合、データベース側のインストーラはZIPバンドル構成情報を作成します。データベース認証が有効になっている場合、このバンドルには確認応答キー・ファイルが含まれています。Hadoop Secure Impersonationに必要な情報も、そのオプションが有効であった場合には含まれています。このZIPファイルを処理のためにHadoopクラスタ管理サーバーの/opt/oracle/DM/databases/confにコピーします。

データベース確認応答は、インストールの3つ目のフェーズで、前述の3つのセキュリティ機能のいずれかが有効であるときにのみ実行されます。

データベース確認応答操作(databaseack)

3つの新しいセキュリティ機能(データベース認証またはHadoop Secure Impersonation)のいずれかまたはすべてを有効にするよう選択した場合は、データベース確認応答ZIPファイルをHadoopクラスタにコピーした後、Jaguarのデータベース確認応答操作を実行します。

これらの機能の設定プロセスは、Hadoopクラスタ管理サーバーで開始され(ここでは、構成ファイルにセキュリティ・ディレクティブを設定し、Jaguarを実行します)、Oracle Databaseシステムに至って(ここでは、データベース側のインストールを実行します)、Hadoopクラスタ管理サーバーに戻る(ここでは、データベース側のインストールによって生成されたZIPファイルのコピーを返します)ラウンド・トリップです。最後のステップは、データベース確認応答操作のdatabaseackを実行することで、次の概要で説明します。データベース確認応答により、これらのセキュリティ機能の設定が完了します。

デフォルト・クラスタ

デフォルト・クラスタは、Oracle Databaseにインストールされた最初のOracle Big Data SQL接続です。この文脈では、デフォルト・クラスタという用語は、Hadoopクラスタへの接続が確立されているデータベース・ノード上のインストール・ディレクトリを指します。言葉どおりにHadoopクラスタ自体を指すものではありません。Hadoopクラスタとデータベース間の各接続には、データベース・ノード上にそれぞれ独自のインストール・ディレクトリがあります。

デフォルト・クラスタの重要な側面は、デフォルト・クラスタでのHadoop Secure Impersonationの設定によって、特定のデータベースへの他のすべてのクラスタ接続に対する設定が決定されることです。インストール後のある時点でJaguarのreconfigure操作を実行し、それを使用してデフォルト・クラスタでHadoop Secure Impersonationをオンまたはオフにした場合、この変更はデータベースに関連付けられたすべてのクラスタで有効になります。

別のクラスタを追加するためにインストールを実行した場合、最初のクラスタがデフォルトのままになります。デフォルト・クラスタがアンインストールされた場合は、次のクラスタ(インストールの時系列順)がデフォルトになります。

1.10 インストールの概要

Oracle Big Data SQLソフトウェアは、すべてのHadoopクラスタDataNodeおよびすべてのOracle Databaseコンピュート・ノードにインストールする必要があります。

重要: サービスの再起動について

Hadoop側のインストールでは、次のように再起動が行われる可能性があります。

  • Cloudera Configuration Manager (またはAmbari)が再起動される可能性があります。これ自体では、どのサービスも中断されません。

  • Hive、YARN、およびHiveまたはYARN上で依存関係を持つその他のサービス(Impalaなど)は再起動されます。

    Oracle Big Data SQL JARを含めるため、Hiveのlibrariesパラメータが更新されます。ClouderaインストールでYARN Resource Managerが有効な場合は、Oracle Big Data SQLおよび他のHadoopサービスのcgroupメモリー制限を設定するために再起動されます。Oracle Big Data Applianceでは、YARN Resource Managerは常に有効であるため、常に再起動されます。

Oracle Databaseサーバーの場合、GridノードのOracle Big Data SQLセル設定に更新が必要な環境では、インストールでデータベースまたはOracle Gridインフラストラクチャ(あるいはその両方)を再起動する必要があることがあります。詳細は、「グリッド・インフラストラクチャの再起動要件の可能性」を参照してください。

前のバージョンのOracle Big Data SQLがすでにインストールされている場合

コモディティHadoopシステム(Oracle Big Data Appliance以外のもの)では、インストーラによって、Hadoopクラスタから以前のリリースが自動的にアンインストールされます。

サポート対象のすべてのOracle Databaseシステムで、以前のバージョンをアンインストールすることなく、Oracle Big Data SQLをインストールできます。

bdacliまたはMammothを介して古いバージョンを有効にしていた場合は、Oracle Big Data ApplianceでこのOracle Big Data SQLリリースをインストールする前に、bdacliを使用してその古いバージョンを手動でアンインストールする必要があります。不明な場合は、bdacli disable big_data_sqlを試してください。disableコメントが失敗した場合、インストールがsetup-bdsインストーラで実行された可能性があります。その場合、Oracle Big Data SQLの古いバージョンを無効にすることなく、新しいバージョンをインストールできます。

所要時間

次の表は、インストールの各フェーズの推定所要時間を示しています。実際の時間は異なります。

表1-3 インストールの推定所要時間

Hadoopクラスタ上でのインストール Oracle Databaseノードでのインストール

8分から28分

すべてのリソースがローカルに使用できる場合、Hadoop側のインストールには8分かかることがあります。リソースをインターネットからダウンロードする必要がある場合には、さらに20分以上かかることがあります。

データベース側の平均のインストール時間は次のように予測できます。

  • 再起動が不要な場合は、1つのノード・データベースにつき15分間。再起動が必要な場合は、時間はデータベースのサイズにより異なります。

  • RACデータベースでは、前述の時間をノードの数でかけたものになります。

  • Oracle Gridの再起動が必要な場合は、その時間も考慮に入れます。

Hadoop側でのインストール・プロセスには、Hadoopクラスタでのインストールと、Oracle Database側でのインストールの2つ目のフェーズ用のバンドルの生成も含まれます。データベース・バンドルには、Hadoop、Hiveクライアントおよびその他のソフトウェアが含まれています。HadoopおよびHiveクライアント・ソフトウェアにより、Oracle DatabaseはHDFSおよびHive Metastoreと通信できます。このクライアント・ソフトウェアは、Hadoopディストリビューションのバージョン(つまり、ClouderaまたはHortonworks)に固有のものです。このガイドで後述するように、インストールの前にこれらのパッケージをダウンロードし、ネットワーク内にURLまたはリポジトリを設定し、そのターゲットをインストール・スクリプトで使用できるようにすることができます。そうではなく、インストーラがインターネットからそれらをダウンロードできるようにする場合、インストールに余分にかかる時間はインターネットのダウンロード速度によって異なります。

インストール前のステップ

  • HadoopクラスタとOracle Databaseシステムの両方がインストールのすべての前提条件を満たしていることを確認します。データベース側では、たとえば、必要なすべてのパッチがインストールされていることを確認します。次のソースに照らして確認します。
    • My Oracle Supportの『Oracle Big Data SQL Master Compatibility Matrix』(Doc ID 2119369.1)

    • Hadoopクラスタでのインストールの前提条件を示したこのガイドの第2.1項。また、第3.1項も参照してください。ここでは、Oracle Big Data SQLのOracle Databaseシステム・コンポーネントをインストールするための前提条件について説明しています。

    Oracle Big Data Applianceは、すでにすべての前提条件を満たしています。

  • 次のログイン資格証明を利用できるようにします。

    • Hadoopクラスタと、すべてのOracle Gridノードの両方のroot資格証明。

      グリッド・ノードでは、かわりにrootユーザーとともにパスワードなしSSHを使用するオプションもあります。

    • oracle Linuxユーザー(または、データベース所有者がoracleでない場合はその他)

    • Oracle Gridユーザー(データベースの所有者と同じでない場合)。

    • Hadoop構成管理サービス(CMまたはAmabari)の管理パスワード。

  • クラスタ管理サーバー(CMまたはAmbariが稼働中)で、Oracle Big Data SQLインストール・バンドルをダウンロードして、任意の永続的な場所に解凍します。(Oracle Big Data SQLおよび問合せサーバーのダウンロードを参照してください。)

インストール・ステップの概要

これは、プロセスを理解するための概要です。詳細なインストール手順は、第2章および第3章に示します。

インストールには常に2つのフェーズあります。Hadoopクラスタでのインストールと、Oracle Databaseシステムでの後続のインストールです。また、構成の選択内容に応じて、3つ目のデータベース確認応答フェーズが含まれることがあります。

  1. Hadoop側のインストールを開始します

    第2章で説明しているインストール・パラメータ・オプションを確認します。Hadoop側でのインストールでは、インストールのOracle Database側に影響を与えるものも含め、Oracle Big Data SQLを構成する方法に関するすべての決定を下します。

  2. Jaguarインストーラを環境にあわせて適切に構成するために、バンドルに用意されているbds-config.jsonファイルを編集します。同じパラメータを使用して、独自の構成ファイルを作成することもできます。

  3. 「Hadoop側のOracle Big Data SQLのインストールまたはアップグレード」で説明されているように、インストーラを実行してHadoop側のインストールを実行します。

    データベース認証機能が有効である場合、JaguarはHadoopクラスタに接続するデータベースごとにリクエスト・キー(.reqkey)ファイルも出力する必要があります。このファイルを生成するには、Jaguarのinstallコマンドに--requestdbパラメータを含めます(推奨される方法)。--requestdbをサポートするその他のJaguar操作を使用して後でファイルを生成することもできます。

    このファイルには、データベース認証に使用されるGUIDキー・ペアの一方のキーが含まれています。キーを作成してインストールするステップについては、インストール・ステップで詳しく説明します。

  4. 各Oracle Databaseコンピュート・ノードでデータベース側のインストール・バンドルを一時ディレクトリにコピーします。

  5. リクエスト・キー・ファイルが生成されていた場合は、そのファイルを同じディレクトリにコピーします。

  6. データベース側のインストールを開始します

    データベース・サーバーにデータベース所有者としてにログオンし、バンドルを解凍して、含まれている実行ファイルを実行します。実行ファイルはソフトウェアをインストールしません。$ORACLE_HOMEの下にインストール・ディレクトリを設定します。

  7. データベース所有者として、Oracle Databaseサーバー側のインストールを実行します。(「Oracle Database側のOracle Big Data SQLのインストールまたはアップグレード」を参照してください。)

    インストールのこのフェーズでは、各コンピュート・ノード上の一時的な場所にデータベース側のインストール・バンドルをコピーします。.reqkeyファイルがデータベース用に生成された場合は、インストール・ディレクトリにそのファイルをコピーしてから処理を進めます。次に、bds-database-install.shインストール・プログラムを実行します。

    データベース側のインストーラでは、次の処理を実行します。

    • Oracle Big Data SQLバイナリをデータベース・ノードにコピーします。

    • Hadoopクラスタへのアクセスに必要なすべてのデータベース・メタデータおよびMTA extproc (外部プロセス)を作成し、通信設定を構成します。

    重要:

    必ず各データベース・コンピュート・ノードにバンドルをインストールします。Hadoop側のインストールにより、Hadoopクラスタの各ノードにソフトウェアが自動的に伝播されます。しかし、データベース側のインストールではこのように機能しません。ソフトウェアを各データベース・コンピュート・ノードにコピーして、直接インストールする必要があります。

    Oracle Grid環境で、セル設定を更新する必要がある場合は、Gridの再起動が必要になることがあります。Gridのパスワードを知っていることを確認してください。Gridの再起動が必要な場合、インストールを完了するために、Gridの資格証明が必要になります。

  8. 該当する場合は、データベース確認応答ステップを実行します

    データベース認証またはHadoop Secure Impersonationが有効であった場合、データベース側のインストールによって、Hadoopクラスタ管理サーバーにコピーする必要があるZIPファイルが生成されます。ファイルは、$ORACLE_HOMEの下のインストール・ディレクトリに生成され、次の形式でファイル名が付けられます。 

    <Hadoop cluster name>-<Number nodes in the cluster>-<FQDN of the cluster management server node>-<FQDN of this database node>.zip
    このファイルをHadoopクラスタ管理サーバー上の/opt/oracle/DM/databases/confにコピーし、rootとしてBDSJaguarディレクトリからデータベース確認応答コマンドを実行します。
    # cd <Big Data SQL install directory>/BDSJaguar
# ./jaguar databaseack <bds-config.json>

ワークフロー図

詳細なインストール・ワークフロー

次の図は、この概要で説明されているインストールの詳細な一連のステップを示しています。

ノート:

ワークフローに示されたステップを開始する前に、両方のシステムがインストールの前提条件を満たしていることを確認してください。

図1-1 インストールのワークフロー

注意:

この図の--reqkeyパラメータには、実際にはファイルへのフルパス(/bds-databse-install.sh --reqkey=/opt/tmp/orcl.reqkeyなど)が必要です。
図1-1の説明が続きます
「図1-1 インストールのワークフロー」の説明

キーの生成およびインストール

次の図では、データベース認証に使用されるGUIDキー・ペアを作成し、インストールするために必要な3つのステップに焦点を当てています。Jaguarコマンドのパラメータを囲む中カッコは、リスト内の操作のいずれかが必須であることを示しています。これらの各操作は、--requestdbパラメータの使用をサポートしています。updatenodesはこのリストに含まれていますが、このリリースではupdatenodesは非推奨です。かわりに、reconfigureを使用してください。

図1-2 データベース認証のためのGUIDキー・ペアの生成およびインストール

図1-2の説明が続きます。
「図1-2 データベース認証のためのGUIDキー・ペアの生成およびインストール」の説明

1.11 インストールのクイック・リファレンスの使用

Hadoop側でのJaguarユーティリティおよびOracle Database側でのbds-database-install.shの機能をよく理解したら、後続のインストールでは「インストールのクイック・リファレンス」を参考に作業すると便利です。このリファレンスでは、インストール・ステップについて簡潔に説明しています。各ステップを詳しくは説明していないため、ユーザーにはこのプロセスの実用的な知識が必要です。このドキュメントおよびその他のドキュメントの関連する詳細へのリンクが含まれています。