| Oracle® Big Data SQLユーザーズ・ガイド リリース3 (3.2) E92089-01 |
|
 前 |
 次 |
製品の以前のバージョンの変更は次のとおりです。
Oracle Big Data SQLリリース3.1の変更点は次のとおりです。
拡張されたデプロイメント
リリース3.1では、Oracle Engineered Systemsとコモディティ・サーバー間のOracle Big Data SQL接続のサポートが拡大されています。
Oracle Big Data SQLの旧リリースでは、次のOracle Database/Hadoop接続が可能です。
Oracle Exadata Database MachineからOracle Big Data Applianceへの接続。
コモディティ・サーバー上のOracle DatabaseからコモディティHadoopシステムへの接続。
リリース3.1現在、Oracle Big Data SQLでは、次のOracle Database/Hadoopシステムの接続がすべてサポートされます。
コモディティ・サーバー上のOracle DatabaseからOracle Big Data Applianceへの接続。
コモディティ・サーバー上のOracle DatabaseからコモディティHadoopシステムへの接続。
Oracle Exadata Database MachineからOracle Big Data Applianceへの接続。
Oracle Exadata Database MachineからコモディティHadoopシステムへの接続。
"コモディティ・サーバー上のOracle Database"という語句は、Oracle Databaseプラットフォームとして公式にサポートされているExadata以外のLinuxシステムを指します。"コモディティHadoopシステム"という語句は、Hortonworks HDPシステム、またはOracle Big Data Appliance以外のCloudera CDHベースのシステムを指します。すべての場合で、Oracle DatabaseサーバーおよびHadoopシステムは、『Oracle Big Data SQL Master Compatibility Matrix』 (My Oracle SupportのドキュメントID 2119369.1)で規定されている前提条件を満たす必要があります。
Oracle SPARC SuperClusterサポート
リリース3.1ではOracle SPARC SuperClusterがサポートされますが、次のような特定の制約があります。
BDA (およびコモディティHadoopシステム)とSPARC SuperCluster間のイーサネット接続はサポートされません。
HDFS内のOracle Database表領域(Smart Scanテクノロジ使用)は、このプラットフォームではサポートされません。
Exadata Database Machineへの接続のためのイーサネット・オプション
Oracle Big Data ApplianceとOracle Exadata Databaseのどのような目的に対しても好ましい接続方法は、インフィニバンドを使用した接続です。旧リリースのOracle Big Data SQLでは、このような接続にインフィニバンドを必要とします。リリース3.1では、Exadata Database MachineとOracle Big Data Appliance間でイーサネット・ネットワークがサポートされるようになりました。これにより、この2つのエンジニアド・システムが互いに地理的に離れている場合など、インフィニバンドが使用できない環境でOracle Big Data SQLをこの2つのシステムとともに使用できます。
また、リリース3.1を使用すると、コモディティHadoopシステムとOracle Exadata Database Machine間でイーサネット接続が可能になります。
コモディティHadoopシステムとコモディティOracle Databaseサーバー間のOracle Big Data SQL接続は、旧リリース全体を通してイーサネットに基づいています。
現時点で、Oracle Big Data Appliance (またはコモディティHadoopシステム)とOracle SPARC SuperCluster間のイーサネット接続はサポートされません。
Oracle Databaseサーバーでの簡略化されたデプロイメント - Oracle Grid Infrastructureのオプション化
旧リリースのOracle Big Data SQLでは、Oracle Grid Infrastructureは、Oracle RACシステムに属さないスタンドアロン・サーバーを含め、すべてのOracle Databaseサーバーのインストールにおける前提条件です。リリース3.1では、Oracle Grid Infrastructureが存在しないサーバーにOracle Big Data SQLをインストールすることも選択できます。このような場合、インストーラによってOracle Databaseの再起動を必要とする構成ファイルの変更が行われます。
Oracle Big Data SQLインストーラの統一されたプラットフォームのサポート
Oracle Big Data SQLの旧リリースでは、Oracle Engineered Systems用とコモディティ・サーバー用にそれぞれ別々の2つのインストール手順があります。リリース3.1では、OracleプラットフォームとOracle以外のプラットフォームの両方に対して同じインストール・プロセスを使用します。これはメンテナンスの場合も同様です。サポートされているHadoop/Oracle Databaseの組合せ全部について、HadoopクラスタまたはOracle Databaseサーバーに対する変更がある場合、Oracle Big Data SQL構成を更新するための統一された一連の手順があります。
ILMを簡略化する新機能 - HDFS内のOracle Database表領域(Smart Scan テクノロジ使用)
Hadoopを使用して読取り専用のOracle Database表領域を格納するように、Oracle Database ILM (情報ライフサイクル管理)を拡張できるようになりました。Oracle DatabaseからHDFSに表領域を移動する際、表、パーティションおよびデータは、元のOracle Database内部形式を維持し、引き続き問合せでアクセスでき、次のようなOracle Databaseのパフォーマンス最適化機能とセキュリティ機能をすべてサポートします。
Smart Scan for HDFS: HadoopクラスタでのOracle Big Data SQLに対する問合せ処理のオフロードを可能にします。Smart Scanにより、Oracle Databaseにデータを返す前に、Hadoopで問合せ結果のフィルタリングもできます。ほとんどの場合、これはかなりのパフォーマンスの最適化となります。索引付け、ハイブリッド列圧縮、パーティション・プルーニングおよびOracle Databaseインメモリーもサポートされます。
Oracle Advanced Security Option (ASO)の透過的暗号化およびデータ・リダクション。
HDFSに格納される表領域は読取り専用であるため、このストレージはデータ・アーカイブに最適です。
詳細は、『Oracle Big Data SQLユーザーズ・ガイド』の3.2項を参照してください。
Oracle Shell for Hadoop Loaders 1.2の拡張機能
Oracle Shell for Hadoop Loaders (OHSH)は、データ移行のための直感的なコマンドライン・ツールです。Hive、HDFSまたはOracle Databaseに接続するようにリソースを設定し、統一されたOHSHインタフェースからこれらのデータ・ソースそれぞれにアクセスできます。OHSHは、Copy to Hadoopを使用するための手段の1つです。Copy to Hadoopユーザーは、OTNからOHSHをダウンロードできます。
OHSH 1.2には、次の変更点があります。
$HOME/.ohshシャドウ・ディレクトリでのロード操作のオンディスク・ロギング。
ロード・コマンドの実行時の出力を最小限に抑える機能。(set outputlevelについては、helpコマンドを参照してください。)
oracleユーザーのスキーマ内で存続しないOracle表からのHive表のロード。
OHSHによるウォレットおよびTNSの使用は、環境変数WALLET_LOCATIONおよびTNS_ADMINの設定に基づきます。set tnsadminコマンドとset walletlocationコマンドは、サポートされなくなりました。
また、%hive0リソースを作成するために、HIVE0_URLをリモートHiveServer2の完全修飾URLに設定しなくなりました。OHSH 1.2では、HiveServer2の<hostname>:<port>ペアである環境変数HS2_HOST_PORTをbin/ohshで設定します。
Copy To Hadoopの拡張
新しいメソッドdirectcopyがCopy to Hadoopに追加されました。
これは、Oracle DatabaseからHDFSにデータを直接コピーする単一ステップのメソッドです。詳細は、『Oracle Big Data SQLユーザーズ・ガイド』の「Copy to Hadoopを使用した直接コピーの実行」を参照してください。
アクセスの付与 – ユーザーに対するBDSQL_USERロールの要件の追加
Oracle Big Data SQLリリース以前は、すべてのユーザーにBig Data SQLアクセスが暗黙的に付与されました。リリース3.1では、BDSQL_USERロールが追加されました。Oracle Big Data SQLアクセスを必要とするユーザーには、このロールを明示的に付与する必要があります。
また、BigDataSQL構成ディレクトリ・オブジェクト上で読取り権限も付与する必要があるようになりました。
たとえば、user1にアクセスを付与するには、次のようにします。
SQL> grant BDSQL_USER to user1; SQL> grant read on directory ORACLE_BIGDATA_CONFIG to user1;
『Oracle Big Data SQLインストレーション・ガイド』に移動されたインストール手順
『Oracle Big Data SQLインストレーション・ガイド』に、このソフトウェアのインストールおよびアンインストールの手順が記載されています。Oracle Big Data Appliance 3.1より前のリリースでは、インストール手順はユーザーズ・ガイドに記載されています。
Oracle Big Data SQLリリース3.0.1の変更点は次のとおりです。
Oracle Big Data ApplianceおよびExadata Database Machineを引き続きサポートすることに加え、リリース3.0.1では、Big Data SQLのOracle Engineered Systems以外のプラットフォームのサポートがさらに向上しています。これらには現在、Big Data Appliance以外のコモディティ・ハードウェア上で動作するHortonworks Data Platform (HDP)およびCloudera's Distribution Including Apache Hadoop (CDH)が含まれます。ここでは、これらのHadoopシステムがExadata以外のサーバーで実行されるOracle Databaseと組み合せて使用されます。
新しいCDHおよびHDPプラットフォームのサポート
Oracle Big Data SQL 3.0.1は、Hortonworks Hadoop Data Platform (HDP) 2.3 – 2.4.xおよびCloudera's Distribution Including Apache Hadoop (CDH) 5.4.7 – 5.7上で実行します。CDH 5.4.7サポートには、コモディティCDHシステムとOracle Big Data Appliance 4.3の両方が含まれます。
インストール自動化の改善
HDPおよびCDHでのインストールで、以降のリストアのために、YARNリソース管理構成を自動保存できるようになりました。
oracleユーザーおよびoinstallグループの設定が、インストール・プログラムによって管理されるようになりました。
HDPおよびCDHの統一されたアンインストール手順
HDPおよびCDHの両システムでのアンインストール手順が同じになりました。
HDPおよびCDHの他の変更点
デフォルトのJDKがjdk-8u66-linux-x64にアップグレードされています
bds-database-create-bundle.shに、デフォルト以外のJDKを指定するための新しい--jdk-tar-pathパラメータが含められています。
bds-database-install.shに次の新しいパラメータが含められています。
--cell-config-dir
--root-script-only
cellinit.oraファイルが存在しないまたは空の場合、インストール・プロセスで新しいファイルが作成および移入されるようになりました。
Oracle Shell for Hadoop Loaders
Oracle Shell for Hadoop Loadersは、Copy to Hadoop、Oracle Loader for HadoopおよびOracle SQL Connector for HDFSに簡単に使用できるコマンドライン・インタフェースを提供するヘルパー・シェルです。
Oracle Big Data Appliance 4.5のサポート
Oracle Big Data SQLリリース3.0.1は、Oracle Big Data Appliance 4.5でのmammothインストール・オプションです。mammothインストール後にbdacliユーティリティを使用して、Oracle Big Data SQLリリース3.0.1をいつでも有効にすることもできます。
注意:
リリース3.0.1では、Oracle Big Data SQLはまだOracle Big Data Applianceと非Exadata Oracle Databaseサーバーとの間、または非Big Data Appliance HadoopシステムとExadata Database Machineとの間の接続をサポートしていません。マルチスレッド・エージェント制御ユーティリティ(mtactl)を使用すると、Oracle Big Data SQLのユーザーは、Oracle Clusterware Ready Service (CRS)環境と非CRS Oracle Database環境の両方で、MTA (マルチスレッド・エージェント) extprocの起動、停止および構成が可能になります。
注意:
非CRS環境では、MTA extprocを起動するためにmtactlを実行する必要があります。 使用方法
この使用方法の説明では、mta_sidは特定のマルチスレッドextprocエージェント・サービスのSIDです。
mtactl {start|restart|stop|status|delete|show|bdsql} <mta_sid>
mtactl unset <parameter> <mta_sid>
mtactl set <parameter> <parameter_value> <mta_sid>
mtactl -help
mtactl <command> -help
マルチスレッド・エージェント制御ユーティリティのコマンド
表7 mtactlコマンド
| コマンド | 完全な構文 | 説明 |
|---|---|---|
start |
mtactl start <mta_sid> |
リポジトリに保存してある初期化パラメータの値を使用して、このSIDに対応するMTA extprocを起動します。リポジトリが存在しない場合は、デフォルト値を使用します。 注意: Oracle Big Data SQL 3.1を使用していた場合、現在はrestartとstartの動作が3.1の動作と逆になっている点に注意してください。startでは、リポジトリからの初期値が使用されるようになりました(この値が使用可能な場合)。restartは常にデフォルト値が使用されます。 |
restart |
mtactl start <mta_sid> |
リポジトリをクリーン・アップし、デフォルト値を使用してSIDに対応するMTA extprocエージェントを再起動します。 |
stop |
mtactl stop <mta_sid> |
指定のSIDにサービスを提供するMTA extprocエージェントを停止します。 |
status |
mtactl status <mta_sid> |
指定のSIDにサービスを提供するMTA extprocのステータスを表示します。 |
delete |
mtactl delete <mta_sid> |
指定のSIDに対応するリポジトリをクリーン・アップします。 |
show |
mtactl show <mta_sid> |
指定のSIDにサービスを提供するMTA extprocの初期化パラメータを表示します。 |
bdsql |
mtactl bdsql <mta_sid> |
追加の操作を表示します。これらは、Oracle Big Data SQLで使用するようにMTA extprocを設定するためのものです。 |
set |
mtactl set <init parameter> <value> <mta_sid> |
指定のSIDにサービスを提供するMTA extprocの初期化パラメータを設定します。サポートされているパラメータは次のとおりです。max_dispatchers tcp_dispatchers max_task_threads max_sessions listener_address |
unset |
mtactl unset <init parameter> <mta_sid> |
指定のSIDにサービスを提供するMTA extprocのリポジトリ内の初期化パラメータを設定解除します。 |
例
$ mtactl start BDSQL_hadoop_cl_1 //note: using existing or default init parameter values $ mtactl delete BDSQL_hadoop_cl_1 $ mtactl set max_sessions 200 BDSQL_hadoop_cl_1 $ mtactl set max_dispatchers 5 BDSQL_hadoop_cl_1 $ mtactl set max_task_threads 5 BDSQL_hadoop_cl_1 $ mtactl set listener_address "(ADDRESS=(PROTOCOL=ipc)(KEY=crs))" BDSQL_hadoop_cl_1 $ mtactl start BDSQL_hadoop_cl_1 (note: use customized parameter values) $ mtactl restart BDSQL_hadoop_cl_1 //note: using default init parameter values
