目次

• タイトルおよび著作権情報
• はじめに
  • 対象読者
  • ドキュメントのアクセシビリティについて
  • 関連ドキュメント
  • 表記規則
  • バッカス・ナウア記法の構文
  • このリリースでの変更点
    • Oracle Big Data SQL 4.1での変更点
    • Oracle Big Data SQL 4.0での変更点
    • Oracle Big Data SQL 3.2での変更点
• 1 Oracle Big Data SQLの概要
  • 1.1 Oracle Big Data SQLとは
    • 1.1.1 Oracle外部表について
    • 1.1.2 Oracle Big Data SQLのアクセス・ドライバについて
    • 1.1.3 ビッグ・データ・ソースのSmart Scanについて
    • 1.1.4 ストレージ索引について
    • 1.1.5 述語のプッシュダウンについて
    • 1.1.6 キャラクタ・ラージ・オブジェクト(CLOB)処理のプッシュダウンについて
    • 1.1.7 集計オフロードについて
    • 1.1.8 Oracle Big Data SQLの統計について
  • 1.2 インストール
• 2 データ・アクセスのためのOracle Big Data SQLの使用
  • 2.1 外部表の作成
    • 2.1.1 SQL CREATE TABLE文について
      • 2.1.1.1 基本的な構文
      • 2.1.1.2 外部表の句について
    • 2.1.2 HiveデータのOracle外部表の作成
      • 2.1.2.1 Hive表に関する情報の取得
      • 2.1.2.2 CREATE_EXTDDL_FOR_HIVE関数の使用
      • 2.1.2.3 Oracle SQL Developerを使用したHiveへの接続
      • 2.1.2.4 ORACLE_HIVEのCREATE TABLE文の作成
        • 2.1.2.4.1 ORACLE_HIVEのデフォルト設定の使用
        • 2.1.2.4.2 ORACLE_HIVEのデフォルト設定の上書き
      • 2.1.2.5 Hiveデータ型からOracleデータ型への変換
    • 2.1.3 Oracle NoSQL DatabaseのOracle外部表の作成
      • 2.1.3.1 Oracle NoSQL DatabaseのHive外部表の作成
      • 2.1.3.2 Oracle NoSQLデータのOracle Database表の作成
      • 2.1.3.3 Oracle NoSQLからOracle Databaseへの型マッピングについて
      • 2.1.3.4 Oracle NoSQL Databaseのデータのアクセス例
        • 2.1.3.4.1 Oracle NoSQL Database表の例の作成
        • 2.1.3.4.2 vehicleTableのHive表の例の作成
        • 2.1.3.4.3 VEHICLESのOracle表の作成
    • 2.1.4 Apache HBaseのOracle外部表の作成
      • 2.1.4.1 HBaseのHive外部表の作成
      • 2.1.4.2 HBaseのOracle Database表の作成
    • 2.1.5 HDFSファイルのOracle外部表の作成
      • 2.1.5.1 デフォルトのアクセス・パラメータとORACLE_HDFSの使用
      • 2.1.5.2 ORACLE_HDFS LOCATION句
      • 2.1.5.3 ORACLE_HDFSのデフォルト設定の上書き
        • 2.1.5.3.1 デリミタ付きテキスト・ファイルへのアクセス
        • 2.1.5.3.2 Avroコンテナ・ファイルへのアクセス
        • 2.1.5.3.3 JSONデータへのアクセス
    • 2.1.6 Kafkaトピック用Oracle外部表の作成
      • 2.1.6.1 OracleのKafka用Hiveストレージ・ハンドラを使用したKafkaトピック用Hive外部表の作成
      • 2.1.6.2 Kafkaトピック用Oracle Big Data SQL表の作成
    • 2.1.7 オブジェクト・ストア・アクセス用のOracle外部表の作成
      • 2.1.7.1 オブジェクト・ストア・アクセスの表の作成例
      • 2.1.7.2 Oracleディレクトリ・オブジェクトを介したローカル・ファイルへのアクセス
      • 2.1.7.3 Oracleデータ型への変換
      • 2.1.7.4 ORACLE_BIGDATAでの圧縮ファイルのサポート
  • 2.2 外部表の問合せ
    • 2.2.1 ユーザー・アクセス権の付与
    • 2.2.2 エラー処理について
    • 2.2.3 ログ・ファイルについて
    • 2.2.4 ファイル・リーダーについて
      • 2.2.4.1 OracleによってHadoopソース用に最適化されたParquetリーダーの使用
  • 2.3 データベース・サーバー(Oracle Exadata Machineなど)上のOracle Big Data SQLについて
    • 2.3.1 bigdata_configディレクトリについて
    • 2.3.2 一般的な構成プロパティ
      • 2.3.2.1 bigdata.properties
      • 2.3.2.2 bigdata-log4j.properties
    • 2.3.3 クラスタ・ディレクトリについて
    • 2.3.4 権限について
  • 2.4 Oracle SQL Access to Kafka
    • 2.4.1 Oracle SQL Access to Kafkaについて
    • 2.4.2 Oracle SQL Access to Kafkaの概要
    • 2.4.3 Kafkaクラスタの登録
    • 2.4.4 Kafkaトピック内のCSVデータにアクセスするためのビューの作成
    • 2.4.5 Kafkaトピック内のJSONデータにアクセスするためのビューの作成
    • 2.4.6 連続ストリームとしてのKafkaデータの問合せ
    • 2.4.7 特定のオフセットからのKafkaデータの検索
    • 2.4.8 特定のタイムスタンプからのKafkaデータの検索
    • 2.4.9 Oracle Databaseに格納された表へのKafkaデータのロード
    • 2.4.10 一時表へのKafkaデータのロード
    • 2.4.11 Oracle SQL Access to Kafkaビューのカスタマイズ
    • 2.4.12 既存のKafkaビューの再構成
• 3 情報ライフサイクル管理: Oracle Database内およびHadoop内のデータへのハイブリッド・アクセス
  • 3.1 Hadoopおよびハイブリッド・パーティション表への格納について
  • 3.2 Copy to Hadoopの使用
    • 3.2.1 Copy to Hadoopとは
    • 3.2.2 Copy to Hadoopの使用の概要
      • 3.2.2.1 Copy to Hadoopの表アクセス要件
    • 3.2.3 Oracle Shell for Hadoop LoadersのCopy to Hadoopとの使用
      • 3.2.3.1 Oracle Shell for Hadoop Loadersの概要
    • 3.2.4 例によるCopy to Hadoop
      • 3.2.4.1 最初の検討: HiveへのOracle表のロードおよびHadoopでのデータの格納
      • 3.2.4.2 Copy to Hadoop製品キットでの例の使用
        • 3.2.4.2.1 デフォルトのコピー方法でのCopy to Hadoopの使用
        • 3.2.4.2.2 段階的コピー方法でのCopy to Hadoopの使用
    • 3.2.5 Hiveのデータの問合せ
    • 3.2.6 Copy to Hadoopでの列マッピングおよびデータ型変換
      • 3.2.6.1 列マッピングの概要
      • 3.2.6.2 データ型変換について
    • 3.2.7 Sparkの使用
    • 3.2.8 Copy to Hadoopと連携したOracle SQL Developerの使用
  • 3.3 ハイブリッド・パーティション表へのアクセスの有効化
  • 3.4 HDFSへのOracle表領域の格納
    • 3.4.1 HDFS内の表領域の利点および制約
    • 3.4.2 HDFS内の表領域とデータ暗号化について
    • 3.4.3 HDFSへの表領域の移動
      • 3.4.3.1 bds-copy-tbs-to-hdfsの使用
      • 3.4.3.2 HDFSへの表領域の手動による移動
    • 3.4.4 HDFS内の表領域に対するSmart Scan
• 4 Oracle Big Data SQLのセキュリティ
  • 4.1 Oracle Big Data SQLへのアクセス
  • 4.2 マルチユーザー認可
    • 4.2.1 マルチユーザー認可モデル
  • 4.3 Oracle Big Data SQLでのSentry認証
    • 4.3.1 Sentryおよびマルチユーザー認可
    • 4.3.2 Sentryのグループ、ユーザーおよびロールベースのアクセス制御
    • 4.3.3 Oracle Big Data SQLでSentryを使用する方法
    • 4.3.4 Sentryに対するOracle Big Data SQL権限関連の例外
  • 4.4 Hadoop認可: ファイル・レベル・アクセスおよびApache Sentry
  • 4.5 Oracle Databaseセキュリティ・ポリシーの遵守
• 5 問合せサーバーの操作
  • 5.1 Oracle Big Data SQL Query Serverについて
  • 5.2 重要な用語と概念
  • 5.3 問合せサーバーの機能
  • 5.4 問合せサーバーと同期化するHiveデータベースの指定
    • 5.4.1 bds-config.json構成ファイルでのHiveデータベースの指定
    • 5.4.2 sync_hive_db_list構成パラメータを使用したHiveデータベースの更新
  • 5.5 問合せサーバーとHiveとの同期化
    • 5.5.1 Cloudera Managerを使用した問合せサーバーの手動再起動
    • 5.5.2 Cloudera Managerを使用した問合せサーバーの手動同期化
    • 5.5.3 PL/SQL APIを使用した問合せサーバーの手動同期化
    • 5.5.4 問合せサーバー完全同期の有効化
  • 5.6 問合せサーバーの再起動とメタデータ永続性
  • 5.7 問合せサーバーのセキュリティ
• 6 Oracle Big Data SQLリファレンス
  • 6.1 CREATE TABLE ACCESS PARAMETERS句
    • 6.1.1 プロパティを指定するための構文ルール
    • 6.1.2 ORACLE_HDFSアクセス・パラメータ
      • 6.1.2.1 ORACLE_HDFSのデフォルトのパラメータ設定
      • 6.1.2.2 ORACLE_HDFSのオプションのパラメータ設定
    • 6.1.3 ORACLE_HIVEアクセス・パラメータ
      • 6.1.3.1 ORACLE_HIVEのデフォルトのパラメータ設定
      • 6.1.3.2 ORACLE_HIVEのオプションのパラメータ値
    • 6.1.4 ORACLE_HDFSおよびORACLE_HIVEのアクセス・パラメータの完全なリスト
      • 6.1.4.1 com.oracle.bigdata.buffersize
      • 6.1.4.2 com.oracle.bigdata.datamode
      • 6.1.4.3 com.oracle.bigdata.colmap
      • 6.1.4.4 com.oracle.bigdata.erroropt
      • 6.1.4.5 com.oracle.bigdata.fields
      • 6.1.4.6 com.oracle.bigdata.fileformat
      • 6.1.4.7 com.oracle.bigdata.log.exec
      • 6.1.4.8 com.oracle.bigdata.log.qc
      • 6.1.4.9 com.oracle.bigdata.overflow
      • 6.1.4.10 com.oracle.bigdata.rowformat
      • 6.1.4.11 com.oracle.bigdata.tablename
    • 6.1.5 ORACLE_BIGDATAアクセス・パラメータ
  • 6.2 Hiveの静的データ・ディクショナリ・ビュー
    • 6.2.1 ALL_HIVE_DATABASES
    • 6.2.2 ALL_HIVE_TABLES
    • 6.2.3 ALL_HIVE_COLUMNS
    • 6.2.4 DBA_HIVE_DATABASES
    • 6.2.5 DBA_HIVE_TABLES
    • 6.2.6 DBA_HIVE_COLUMNS
    • 6.2.7 USER_HIVE_DATABASES
    • 6.2.8 USER_HIVE_TABLES
    • 6.2.9 USER_HIVE_COLUMNS
  • 6.3 DBMS_BDSQL PL/SQL Package
    • 6.3.1 ADD_USER_MAP
    • 6.3.2 REMOVE_USER_MAP
    • 6.3.3 マルチユーザー認証セキュリティ表
  • 6.4 DBMS_BDSQS_ADMIN PL/SQLパッケージ
  • 6.5 DBMS_HADOOP PL/SQLパッケージ
    • 6.5.1 CREATE_EXTDDL_FOR_HIVE
      • 6.5.1.1 例
• 付録
  • A 段階的コピーにCopy to Hadoopを使用するための手動によるステップ
    • A.1 データ・ポンプ・ファイルの生成
      • A.1.1 データ・ポンプ形式ファイルについて
      • A.1.2 ターゲット・ディレクトリの識別
      • A.1.3 CREATE TABLE構文について
    • A.2 HDFSへのファイルのコピー
    • A.3 Hive表の作成
      • A.3.1 Hive外部表について
    • A.4 サンプル・スキーマの使用例
      • A.4.1 サンプル・データについて
      • A.4.2 EXPDIR Databaseディレクトリの作成
      • A.4.3 顧客データのデータ・ポンプ形式ファイルの作成
        • A.4.3.1 簡単なSELECT文を使用したCREATE TABLEの例
        • A.4.3.2 さらに複雑なSQL SELECT文を使用したCREATE TABLEの例
      • A.4.4 データ・ファイルの内容の確認
      • A.4.5 Hadoopへのファイルのコピー
      • A.4.6 Hive外部表の作成
  • B 直接コピーでのCopy to Hadoopの使用
    • B.1 直接コピーにCopy to Hadoopを使用するための手動によるステップ
    • B.2 Copy to Hadoopプロパティ・リファレンス
  • C mtactlを使用したMTA extprocの管理
  • D 診断のヒントおよび詳細
    • D.1 bdscheckswによる診断の実行
    • D.2 クイック・テストの実行方法
    • D.3 Oracle Big Data SQLのデータベース・オブジェクト
    • D.4 その他のデータベース側のアーティファクト
    • D.5 Hadoopデータノードのアーティファクト
    • D.6 外部表を問い合せるためのプロセス
    • D.7 Hiveデータ・ディクショナリ問合せのプロセス
    • D.8 Oracle Big Data SQLの主な管理タスク
    • D.9 その他のJava診断
    • D.10 Oracle Big Data SQLの正しいパッチの確認
    • D.11 SQL.NET問題のデバッグ
  • E Oracle Big Data SQLソフトウェアのアクセシビリティの推奨事項
    • E.1 スクリーン・リーダーおよび点字ディスプレイの使用上のヒント
    • E.2 スクリーン拡大鏡の使用上のヒント
• 索引