Oracle Big Data SQL 4.0での変更点

Oracle Big Data SQLリリース4.0の新機能と変更点は次のとおりです。

Oracle Database 18cのサポート、およびOracle Database 12.2および12.1の下位互換性

Oracle Big Data SQL 4.0の新機能をOracleで利用するには、Oracle Database 18c以上を使用する必要があります。ただし、このリリースでは、Oracle Database 12.1および12.2の使用が完全にサポートされています(これらのデータベース・バージョンでは4.0の新機能は利用できません)。この下位互換性により、Oracle Database 18cと12cの両方が混在する環境にリリース4.0をインストールして管理できます。

Cloudera Enterprise 6のサポート

Oracle Big Data SQLのこのリリースでは、Cloudera Enterpriseリリース5に加えて、Cloudera Enterpriseリリース6も完全にサポートされています。Oracle Big Data SQLがCloudera Enterpriseリリース6にインストールされている場合、Jaguarインストーラはこのリリース・レベルを検出し、それに応じてインストールを構成します。追加の手順は必要ありません。

オブジェクト・ストアにアクセスするための新規ORACLE_BIGDATAドライバ

リリース4.0には、ORACLE_HIVEおよびORACLE_HDFSに加えて、新しいORACLE_BIGDATAドライバも含まれています。このドライバを使用すると、クラウドのオブジェクト・ストア内のデータに対して外部表を作成できます。現時点では、Oracle Object StoreおよびAmazon S3がサポートされています。これらのストアのParquetファイル、Avroファイルおよびテキスト・ファイルを介して外部表を作成できます。開発およびテストのために、ORACLE_BIGDATAを使用して、Oracle Databaseディレクトリ・オブジェクトを介してローカルのデータ・ファイルにアクセスすることもできます。このドライバはCで記述されています。これは、Javaコードを実行しないため、Java以外の環境でも動作します

リリース4.0では、ORACLE_BIGDATAはParquetファイルのスカラー・フィールドの戻り値をサポートしています。現時点では、より複雑なデータ型やマルチパートParquetファイルはサポートされていません。リーダーがParquetファイルの複雑なデータ型をサポートしていないため、生成された列リストでは外部表定義の複雑な列が省略されます。Parquetファイルに格納されているほとんどの型は、Oracle表の列の型として直接サポートされていません。

新しい集計オフロード機能(この項でも紹介)など、Oracle Big Data SQLのSmart Scanのパフォーマンス最適化では、オブジェクト・ストアからOracle Big Data SQLがインストールされているHadoopクラスタの処理セルにデータをオフロードすることでオブジェクト・ストアを操作します。

オブジェクト・ストアに対する認証は、DBMS_CREDENTIALパッケージを使用して作成した資格証明オブジェクトを介して行われます。外部表作成の文のパラメータとして資格証明オブジェクトの名前および場所URIを含めます。

関連項目:

Oracle Big Data SQLユーザーズ・ガイドのオブジェクト・ストアにアクセスするためのOracle外部表の作成には、作成文の例と、Parquetデータ型およびAvroデータ型からOracleデータ型への変換表が記載されています。

Oracle Big Data SQL問合せサーバー

問合せサーバーは、Hadoopクラスタ・エッジ・ノードに直接インストールする、軽量でメンテナンス不要の18c Oracle Databaseです。これにより、本格的なOracle Databaseシステムを必要とせずに、Hadoopでデータを簡単に問い合せることができます。このサービスは、Oracle SQL問合せエンジンのみで構成されています。セッション間で保持するのに便利なメタデータの特定のカテゴリを除いて、永続記憶域が提供されません。

簡単にインストールできてメンテナンス不要

Big Data SQL問合せサーバーは、標準のOracle Big Data SQLインストールの一部として含まれています。このオプション・コンポーネントを使用するために必要な追加作業は、Oracle Big Data SQLをダウンロードしたのと同じサイトからextrasパッケージをダウンロードして解凍するだけです。また、このサービスを実行する専用エッジ・ノードのアドレスなど、Jaguarインストーラの構成ファイルに設定する必要がある問合せサーバー関連パラメータもいくつかあります。その後、Oracle Big Data SQLをインストールすると、問合せサーバーのインストールが完全に自動化され、インストール後の構成は必要ありません。
シングルユーザー・モードとマルチユーザー・モードを提供

このサービスには、シングルユーザーとマルチユーザーの2つのモードがあります。シングルユーザー・モードでは、問合せサーバーへのアクセスにシングルユーザーを使用します。すべてのユーザーは、インストール中に指定されたパスワードを使用して、BDSQLユーザーとして問合せサーバーに接続します。マルチユーザー・モードでは、Hadoopクラスタ・ユーザーは、Kerberosプリンシパルを使用して問合せサーバーにログインします。
Kerberosと連携して自動的にKerberosプリンシパルをインポート

Kerberosで保護されたクラスタは、シングルユーザー・モードとマルチユーザー・モードの両方をサポートできます。

保護されたクラスタへのインストール中に、インストーラは自動的にKDCに問い合せてKerberosプリンシパルを識別し、このプリンシパルに基づいて外部で識別されたユーザーを設定します。インストール後、管理者は手動でプリンシパルを追加または削除できます。
各問合せサーバーの再起動後に初期状態にリセット

Big Data SQL問合せサーバーが再起動されるたびに、データベース・インスタンスは元の状態にリセットされます。これは、致命的なエラーが発生した場合にも行われます。このリセットにより、白紙の状態から再開できます。ただし、再起動しても外部表は保持されます。ORACLE_HIVE、ORACLE_HDFSおよびORACLE_BIGDATAの外部表、関連する統計およびユーザー定義のビューは保持されます。ORACLE_BIGDATA外部表の場合は、DBMS_CREDENTIALで作成されたオブジェクト・ストアのアクセス資格証明も保持されます。この外部データはすべて再起動後も保持されます。ユーザー・データを含む通常の表は再起動時に保持されません。
Hortonworks AmbariまたはCloudera Managerを介して管理可能

Big Data SQL問合せサービスは、AmbariまたはCloudera Managerでサービスとして自動的に設定されます。これらの管理ツールを使用して、プロセスの監視と停止/開始、警告、エラーおよび情報メッセージの表示、いくつかのBig Data SQL問合せサービスの操作(統計収集やHiveメタデータのインポートなど)の実行を行うことができます。

問合せサーバーは、Oracle Big Data SQLのライセンスに記載されている限定使用ライセンスの下に提供されています。

関連項目:

『Oracle Big Data SQLユーザーズ・ガイド』の問合せサーバーの使用では、問合せサーバーを設定して使用するプロセスについて説明しています。

Kerberosと連携して自動的にKerberosプリンシパルをインポート
Kerberosで保護されたクラスタは、シングルユーザー・モードとマルチユーザー・モードの両方をサポートできます。

保護されたクラスタへのインストール中に、インストーラは自動的にKDCに問い合せてKerberosプリンシパルを識別し、このプリンシパルに基づいて外部で識別されたユーザーを設定します。インストール後、管理者は手動でプリンシパルを追加または削除できます。
各問合せサーバーの再起動後に初期状態にリセット
Big Data SQL問合せサーバーが再起動されるたびに、データベース・インスタンスは元の状態にリセットされます。これは、致命的なエラーが発生した場合にも行われます。このリセットにより、白紙の状態から再開できます。ただし、再起動しても外部表は保持されます。ORACLE_HIVE、ORACLE_HDFSおよびORACLE_BIGDATAの外部表、関連する統計およびユーザー定義のビューは保持されます。ORACLE_BIGDATA外部表の場合は、DBMS_CREDENTIALで作成されたオブジェクト・ストアのアクセス資格証明も保持されます。この外部データはすべて再起動後も保持されます。ユーザー・データを含む通常の表は再起動時に保持されません。
Hortonworks AmbariまたはCloudera Managerを介して管理可能
Big Data SQL問合せサービスは、AmbariまたはCloudera Managerでサービスとして自動的に設定されます。これらの管理ツールを使用して、プロセスの監視と停止/開始、警告、エラーおよび情報メッセージの表示、いくつかのBig Data SQL問合せサービスの操作(統計収集やHiveメタデータのインポートなど)の実行を行うことができます。

問合せサーバーは、Oracle Big Data SQLのライセンスに記載されている限定使用ライセンスの下に提供されています。

関連項目:

問合せサーバーの使用Oracle Big Data SQLユーザーズ・ガイドの問合せサーバーの使用では、問合せサーバーを設定して使用するプロセスについて説明しています。

集計オフロード

Oracle Big Data SQLでは、Oracle In-Memoryテクノロジを利用して、集計をOracle Big Data SQLセルにオフロードできるようになりました。Oracle Big Data SQLでは、Hadoopクラスタの処理能力を利用して、クラスタ・ノード全体に集計を分散させます。

特に適度な数のサマリー・グループがある場合は、集計オフロードによって達成されるパフォーマンスの向上が非常に大きくなる可能性があります。

Oracle Big Data SQLセルは、単一表と複数表の集計をサポートしています(ファクト表に結合するディメンション表など)。複数表集計の場合、Oracle Databaseは、キー・ベクターが集計プロセスのセルにプッシュされるキー・ベクター変換最適化を使用します。この変換タイプは、ビジネス問合せで一般的に使用される一般的な集計演算子(SUM、MIN、MAXおよびCOUNT)を使用するスター型結合SQL問合せに役立ちます。

関連項目:

Oracle Big Data SQLユーザーズ・ガイドの集計オフロードについて

Oracle Big Data SQLでのSentry認証

Oracle Big Data SQLでは、HDFSファイル・アクセスの認可のサポートに加えて、Hiveメタデータへのアクセスを認可するSentryポリシーもサポートしています。Sentryによって、列レベルまでのユーザー・アクセスをきめ細かく制御できます。

関連項目:

Oracle Big Data SQLでのSentry認証。

インストーラの改善

Jaguarインストーラを使用すると、オプションの問合せサーバーのデータベースを簡単にインストールできます。このコンポーネントのインストールのために、Jaguar構成ファイルにいくつかの新しいパラメータが追加されています。
Oracle Big Data SQLに、独自のJDKが追加されました。Oracle Technology Networkからダウンロードする必要はありません。他のバージョンのJDKが存在する可能性がありますが、Oracle Big Data SQLで使用するJDKパスを変更しないでください。
インストーラは、構成ファイルのKerberosセクションに入力されたプリンシパルを、対応するkeytabファイルと照合して検証し、一致しない場合はエラーにフラグを付けるようになりました。
クラスタ・エッジ・ノードは、要件の事前チェックから自動的に除外されます。
インストールの事前チェックでは、Oracle Big Data SQL処理セルがインストールされるノードでのみハードウェア要因(コアおよびメモリー)が検証されます。
データベース側では、インストールにより、サブネット(InfiniBand接続の場合)、LD_LIBRARY_PATHおよび接続の反対側のHadoopシステムのホスト名が検証されるようになりました。
データベース側のアンインストールでは、この操作により、すべてのOracle Big Data SQLアーティファクトがデータベース・サーバーから削除され、すべての変更がcellinit.*oraおよびデータベース・パラメータに戻されるようになりました。
このリリースでは、Jaguarのupdatenodes操作は非推奨です。かわりに、reconfigureを使用してクラスタ設定を変更し、データベース側のインストール・バンドルを作成し、構成を拡張または縮小します。
インストールの準備状況を事前に判断できる2つの新しいスクリプトが用意されています。
Oracle Big Data SQLのHadoop側をインストールする前に、クラスタの各DataNodeでbds_node_check.shを実行して、ノードがインストールの前提条件を満たしているかどうかを確認できます。

Oracle Databaseシステムにインストールする前に、bds-validate-grid-patches.shを実行して、Oracle Big Data SQLリリースに必要なパッチがOracle Gridに含まれていることを確認できます。
各Hadoopノードで実行できるスクリプトbds_cluster_node_helper.shは、ノード上のOracle Big Data SQLインストールのステータスを提供したり、ログ・データおよびメンテナンスに役立つその他の情報を収集します。ログ・データ収集の範囲には、3つのオプションがあります。