1. ユーザーズ・ガイド
  2. はじめに
  3. このリリースでの変更点
  4. Oracle Big Data SQL 4.0での変更点

Oracle Big Data SQL 4.0での変更点

Oracle Big Data SQLリリース4.0の新機能と変更点は次のとおりです。

Oracle Database 18cのサポート、およびOracle Database 12.2および12.1の下位互換性

Oracle Big Data SQL 4.0の新機能を利用するには、Oracle Database 18c以上を使用する必要があります。ただし、Oracle Database 12.1および12.2の使用は完全にサポートされています(これらのデータベース・バージョンで4.0の新機能は利用できません)。この下位互換性により、Oracle Database 18cと12cの両方が混在する環境にリリース4.0をインストールして管理できます。

Big Data SQL問合せサーバー

Big Data SQL問合せサーバーは、軽量でゼロ・メンテナンスのOracle Databaseです。これにより、機能フル装備のOracle Databaseサービスがなくても、Hadoopのデータを簡単に問い合せることができます。このサービスは、Oracle SQL問合せエンジンのみで構成されています。セッション間で保持するのに便利なメタデータの特定のカテゴリを除いて、永続記憶域が提供されません。

  • 自動でインストールし、メンテナンスは不要

    Big Data SQL問合せサーバーは、標準のOracle Big Data SQLインストールの一部として含まれています。指定する必要があるのは、サービスをインストールするエッジ・ノードのアドレスのみです。インストール自体は完全に自動化されているため、インストール後の構成は必要ありません。

  • シングルユーザー・モードとマルチユーザー・モードを提供

    このサービスには、シングルユーザーとマルチユーザーの2つのモードがあります。シングルユーザー・モードでは、問合せサーバーへのアクセスにシングルユーザーを使用します。すべてのユーザーは、インストール中に指定されたパスワードを使用して、BDSQLユーザーとして問合せサーバーに接続します。マルチユーザー・モードでは、Hadoopクラスタ・ユーザーは、Kerberosプリンシパルを使用して問合せサーバーにログインします。

  • Kerberosと連携して自動的にKerberosプリンシパルをインポート

    Kerberosで保護されたクラスタは、シングルユーザー・モードとマルチユーザー・モードの両方をサポートできます。

    保護されたクラスタへのインストール中に、インストーラは自動的にKDCに問い合せてKerberosプリンシパルを識別し、このプリンシパルに基づいて外部で識別されたユーザーを設定します。インストール後、管理者は手動でプリンシパルを追加または削除できます。

  • 各問合せサーバーの再起動後に初期状態にリセット

    Big Data SQL問合せサーバーが再起動されるたびに、データベース・インスタンスは元の状態にリセットされます。これは、致命的なエラーが発生した場合にも行われます。このリセットにより、白紙の状態から再開できます。再起動では、外部表(ORACLE_HIVEタイプとHDFSタイプの両方)、関連する統計およびユーザー定義ビューが保持されます。再起動により、ユーザー・データが含まれている標準の表が削除されます

  • Hortonworks AmbariまたはCloudera Managerを介して管理可能

    Big Data SQL問合せサービスは、AmbariまたはCloudera Managerでサービスとして自動的に設定されます。これらの管理ツールを使用して、プロセスの監視と停止/開始、警告、エラーおよび情報メッセージの表示、いくつかのBig Data SQL問合せサービスの操作(統計収集やHiveメタデータのインポートなど)の実行を行うことができます。

問合せサーバーは、Oracle Big Data SQLインストレーション・ガイドのOracle Big Data SQLのライセンスで説明されている制限付き使用ライセンスで提供されています。

オブジェクト・ストアにアクセスするための新規ORACLE_BIGDATAドライバ

リリース4.0には、ORACLE_HIVEおよびORACLE_HDFSに加えて、新しいORACLE_BIGDATAドライバも含まれています。このドライバを使用すると、クラウドのオブジェクト・ストア内のデータに対して外部表を作成できます。現時点では、Oracle Object StoreおよびAmazon S3がサポートされています。ORACLE_BIGDATAでは、これらの環境でParquet、Avroおよびテキスト・ファイルに対して外部表を作成できます。開発およびテストでは、これを使用してOracle Databaseディレクトリ・オブジェクトを介してローカル・データ・ファイルにアクセスすることもできます。ドライバはCで記述され、Javaコードは実行されません。

リリース4.0では、ORACLE_BIGDATAはParquetファイルのスカラー・フィールドの戻り値をサポートしています。現時点では、より複雑なデータ型やマルチパートParquetファイルはサポートされていません。リーダーがParquetファイルの複雑なデータ型をサポートしていないため、生成された列リストでは外部表定義の複雑な列が省略されます。Parquetファイルに格納されているほとんどの型は、Oracle表の列の型として直接サポートされていません。

新しい集計オフロード機能などOracle Big Data SQLのSmart Scanは、データをオブジェクト・ストアからOracle Big Data SQLがインストールされているHadoopクラスタの処理セルにオフロードして、オブジェクト・ストアを操作します。

オブジェクト・ストアに対する認証は、DBMS_CREDENTIALパッケージを使用して作成した資格証明オブジェクトを介して行われます。外部表作成の文のパラメータとして資格証明オブジェクトの名前および場所URIを含めます。

関連項目:

オブジェクト・ストア・アクセスのためのOracle外部表の作成を参照してください。作成文の例と、ParquetおよびAvroデータ型からOracleデータ型への変換表があります。

集計オフロード

Oracle Big Data SQLでは、Oracle In-Memoryテクノロジを利用して、集計をOracle Big Data SQLセルにオフロードできるようになりました。Oracle Big Data SQLでは、Hadoopクラスタの処理能力を利用して、クラスタ・ノード全体に集計を分散させます。オフロードしない集計と比べて、パフォーマンスが大きく向上します。特に、適度の数の要約グループ化があると顕著です。

Oracle Big Data SQLセルは、単一表と複数表の集計をサポートしています(ファクト表に結合するディメンション表など)。複数表集計の場合、Oracle Databaseは、キー・ベクターが集計プロセスのセルにプッシュされるキー・ベクター変換最適化を使用します。この変換タイプは、ビジネス問合せで一般的に使用される一般的な集計演算子(SUM、MIN、MAXおよびCOUNT)を使用するスター型結合SQL問合せに役立ちます。

関連項目:

集計オフロードについて

Oracle Big Data SQLでのSentry認証

Oracle Big Data SQLでは、HDFSファイル・アクセスの認可のサポートに加えて、Hiveメタデータへのアクセスを認可するSentryポリシーもサポートしています。Sentryによって、列レベルまでのユーザー・アクセスをきめ細かく制御できます。

関連項目:

Oracle Big Data SQLインストレーション・ガイドのBig Data SQLでのSentry認証を参照してください。

インストーラの改善

  • Jaguarインストーラを使用すると、オプションの問合せサーバーのデータベースを簡単にインストールできます。このコンポーネントのインストールのために、Jaguar構成ファイルにいくつかの新しいパラメータが追加されています。

  • Oracle Big Data SQLに、独自のJDKが追加されました。Oracle Technology Networkからダウンロードする必要はありません。他のバージョンのJDKが存在する可能性がありますが、Oracle Big Data SQLで使用するJDKパスを変更しないでください。

  • インストーラは、構成ファイルのKerberosセクションに入力されたプリンシパルを、対応するkeytabファイルと照合して検証し、一致しない場合はエラーにフラグを付けるようになりました。

  • クラスタ・エッジ・ノードは、要件の事前チェックから自動的に除外されます。

  • インストールの事前チェックでは、Oracle Big Data SQL処理セルがインストールされるノードでのみハードウェア要因(コアおよびメモリー)が検証されます。

  • データベース側では、インストールにより、サブネット(InfiniBand接続の場合)、LD_LIBRARY_PATHおよび接続の反対側のHadoopシステムのホスト名が検証されるようになりました。

  • データベース側のアンインストールでは、この操作により、すべてのOracle Big Data SQLアーティファクトがデータベース・サーバーから削除され、すべての変更がcellinit.*oraおよびデータベース・パラメータに戻されるようになりました。

  • このリリースでは、Jaguarのupdatenodes操作は非推奨です。かわりに、reconfigureを使用してクラスタ設定を変更し、データベース側のインストール・バンドルを作成し、構成を拡張または縮小します。

  • インストールの準備状況を事前に判断できる2つの新しいスクリプトが用意されています。

    Oracle Big Data SQLのHadoop側をインストールする前に、クラスタの各DataNodeでbds_node_check.shを実行して、ノードがインストールの前提条件を満たしているかどうかを確認できます。

    Oracle Databaseシステムにインストールする前に、bds-validate-grid-patches.shを実行して、Oracle Big Data SQLリリースに必要なパッチがOracle Gridに含まれていることを確認できます。

  • 各Hadoopノードで実行できるスクリプトbds_cluster_node_helper.shは、ノード上のOracle Big Data SQLインストールのステータスを提供したり、ログ・データおよびメンテナンスに役立つその他の情報を収集します。ログ・データ収集の範囲には、3つのオプションがあります。