目次

• タイトルおよび著作権情報
• はじめに
  • 対象読者
  • ドキュメントのアクセシビリティ
  • 関連ドキュメント
  • 表記規則
  • バッカス・ナウア記法の構文
  • このリリースでの変更点
    • Oracle Big Data SQL 4.1.2での変更点
    • Oracle Big Data SQL 4.1.1での変更点
    • Oracle Big Data SQL 4.1での変更点
    • Oracle Big Data SQL 4.0での変更点
• 1 Oracle Big Data SQLとは
  • 1.1 Oracle外部表について
  • 1.2 Oracle Big Data SQLのアクセス・ドライバについて
  • 1.3 ビッグ・データ・ソースのSmart Scanについて
  • 1.4 ストレージ索引について
  • 1.5 述語のプッシュダウンについて
  • 1.6 キャラクタ・ラージ・オブジェクト(CLOB)処理のプッシュダウンについて
  • 1.7 集計オフロードについて
  • 1.8 Oracle Big Data SQLの統計について
• 2 インストール
• 3 データ・アクセスのためのOracle Big Data SQLの使用
  • 3.1 外部表の作成について
    • 3.1.1 基本的なCreate Table構文
    • 3.1.2 外部表の句について
  • 3.2 Hiveデータの外部表の作成
    • 3.2.1 Hive表に関する情報の取得
    • 3.2.2 CREATE_EXTDDL_FOR_HIVE関数の使用
    • 3.2.3 Oracle SQL Developerを使用したHiveへの接続
    • 3.2.4 ORACLE_HIVEのCREATE TABLE構文の作成
      • 3.2.4.1 デフォルトのORACLE_HIVE設定の使用
      • 3.2.4.2 デフォルトのORACLE_HIVE設定の上書き
    • 3.2.5 Hiveデータ型からOracleデータ型への変換
  • 3.3 Oracle NoSQL Databaseの外部表の作成
    • 3.3.1 Oracle NoSQL DatabaseのHive外部表の作成
    • 3.3.2 Oracle NoSQLデータのOracle Database表の作成
    • 3.3.3 Oracle NoSQLからOracle Databaseへの型マッピングについて
    • 3.3.4 Oracle NoSQL Databaseのデータのアクセス例
  • 3.4 Apache HBaseのOracle外部表の作成
    • 3.4.1 HBaseのHive外部表の作成
    • 3.4.2 HBaseのOracle Database表の作成
  • 3.5 HDFSファイルのOracle外部表の作成
    • 3.5.1 デフォルトのアクセス・パラメータとORACLE_HDFSの使用
    • 3.5.2 ORACLE_HDFS LOCATION句
    • 3.5.3 ORACLE_HDFSのデフォルト設定の上書き
      • 3.5.3.1 デリミタ付きテキスト・ファイルへのアクセス
      • 3.5.3.2 Avroコンテナ・ファイルへのアクセス
      • 3.5.3.3 JSONデータへのアクセス
  • 3.6 Kafkaトピック用Oracle外部表の作成
    • 3.6.1 OracleのKafka用Hiveストレージ・ハンドラを使用したKafkaトピック用Hive外部表の作成
    • 3.6.2 Kafkaトピック用Oracle Big Data SQL表の作成
  • 3.7 オブジェクト・ストア・アクセス用のOracle外部表の作成
    • 3.7.1 オブジェクト・ストア・アクセスの表の作成例
    • 3.7.2 Oracleディレクトリ・オブジェクトを介したローカル・ファイルへのアクセス
    • 3.7.3 Oracleデータ型への変換
    • 3.7.4 ORACLE_BIGDATAでの圧縮ファイルのサポート
  • 3.8 外部表の問合せ
    • 3.8.1 ユーザー・アクセス権の付与
    • 3.8.2 エラー処理について
    • 3.8.3 ログ・ファイルについて
    • 3.8.4 ファイル・リーダーについて
      • 3.8.4.1 OracleによってHadoopソース用に最適化されたParquetリーダーの使用
  • 3.9 Oracle SQL Access to Kafka
    • 3.9.1 Oracle SQL Access to Kafkaについて
    • 3.9.2 Oracle SQL Access to Kafkaの概要
    • 3.9.3 Kafkaクラスタの登録
    • 3.9.4 Kafkaトピック内のCSVデータにアクセスするためのビューの作成
    • 3.9.5 Kafkaトピック内のJSONデータにアクセスするためのビューの作成
    • 3.9.6 連続ストリームとしてのKafkaデータの問合せ
    • 3.9.7 特定のオフセットからのKafkaデータの検索
    • 3.9.8 特定のタイムスタンプからのKafkaデータの検索
    • 3.9.9 Oracle Databaseに格納された表へのKafkaデータのロード
    • 3.9.10 一時表へのKafkaデータのロード
    • 3.9.11 Oracle SQL Access to Kafkaビューのカスタマイズ
    • 3.9.12 既存のKafkaビューの再構成
  • 3.10 データベース・サーバー(Oracle Exadata Machineなど)上のOracle Big Data SQLについて
    • 3.10.1 bigdata_configディレクトリについて
    • 3.10.2 一般的な構成プロパティ
      • 3.10.2.1 bigdata.properties
      • 3.10.2.2 bigdata-log4j.properties
    • 3.10.3 クラスタ・ディレクトリについて
    • 3.10.4 権限について
• 4 情報ライフサイクル管理: Oracle Database内およびHadoop内のデータへのハイブリッド・アクセス
  • 4.1 Copy to Hadoopの使用
    • 4.1.1 Copy to Hadoopとは
    • 4.1.2 Copy to Hadoopの使用の概要
      • 4.1.2.1 Copy to Hadoopの表アクセス要件
    • 4.1.3 Oracle Shell for Hadoop LoadersのCopy to Hadoopとの使用
      • 4.1.3.1 Oracle Shell for Hadoop Loadersとは
    • 4.1.4 例によるCopy to Hadoop
      • 4.1.4.1 最初の検討: HiveへのOracle表のロードおよびHadoopでのデータの格納
      • 4.1.4.2 Copy to Hadoop製品キットでの例の使用
        • 4.1.4.2.1 デフォルトのコピー方法でのCopy to Hadoopの使用
        • 4.1.4.2.2 段階的コピー方法でのCopy to Hadoopの使用
    • 4.1.5 Hiveのデータの問合せ
    • 4.1.6 Copy to Hadoopでの列マッピングおよびデータ型変換
      • 4.1.6.1 列マッピングの概要
      • 4.1.6.2 データ型変換について
    • 4.1.7 Sparkの使用
  • 4.2 ハイブリッド・パーティション表へのアクセスの有効化
• 5 Oracle Big Data SQLのセキュリティ
  • 5.1 Oracle Big Data SQLへのアクセス
  • 5.2 マルチユーザー認可
    • 5.2.1 マルチユーザー認可モデル
  • 5.3 Oracle Big Data SQLでのSentry認証
    • 5.3.1 Sentryおよびマルチユーザー認可
    • 5.3.2 Sentryのグループ、ユーザーおよびロールベースのアクセス制御
    • 5.3.3 Oracle Big Data SQLでSentryを使用する方法
    • 5.3.4 Sentryに対するOracle Big Data SQL権限関連の例外
  • 5.4 Hadoop認可: ファイル・レベル・アクセスおよびApache Sentry
  • 5.5 Oracle Databaseセキュリティ・ポリシーの遵守
• 6 問合せサーバーの操作
  • 6.1 Oracle Big Data SQL Query Serverについて
    • 6.1.1 問合せサーバーの機能
  • 6.2 重要な用語と概念
  • 6.3 問合せサーバーと同期化するHiveデータベースの指定
    • 6.3.1 bds-config.json構成ファイルでのHiveデータベースの指定
    • 6.3.2 sync_hive_db_list構成パラメータを使用したHiveデータベースの更新
  • 6.4 問合せサーバーとHiveとの同期化
    • 6.4.1 Cloudera Managerを使用した問合せサーバーの手動再起動
    • 6.4.2 Cloudera Managerを使用した問合せサーバーの手動同期化
    • 6.4.3 PL/SQL APIを使用した問合せサーバーの同期化
    • 6.4.4 問合せサーバー完全同期の有効化
  • 6.5 問合せサーバーの再起動とメタデータ永続性
  • 6.6 問合せサーバーへの接続
    • 6.6.1 問合せサーバーへの接続について
    • 6.6.2 TLS接続用のクライアント・ウォレットのコピー
    • 6.6.3 セキュアでないHadoopクラスタへの接続
      • 6.6.3.1 BDSQLユーザー・パスワードの変更
    • 6.6.4 Kerberos認証を使用したセキュアなHadoopクラスタへの接続
    • 6.6.5 パスワードベースのデータベース認証を使用したセキュアなHadoopクラスタへの接続
    • 6.6.6 管理接続
• 7 Oracle Big Data SQLリファレンス
  • 7.1 CREATE TABLE ACCESS PARAMETERS句
    • 7.1.1 プロパティを指定するための構文ルール
    • 7.1.2 ORACLE_HDFSアクセス・パラメータ
      • 7.1.2.1 ORACLE_HDFSのデフォルトのパラメータ設定
      • 7.1.2.2 ORACLE_HDFSのオプションのパラメータ設定
    • 7.1.3 ORACLE_HIVEアクセス・パラメータ
      • 7.1.3.1 ORACLE_HIVEのデフォルトのパラメータ設定
      • 7.1.3.2 ORACLE_HIVEのオプションのパラメータ値
    • 7.1.4 ORACLE_HDFSおよびORACLE_HIVEのアクセス・パラメータの完全なリスト
      • 7.1.4.1 com.oracle.bigdata.buffersize
      • 7.1.4.2 com.oracle.bigdata.datamode
      • 7.1.4.3 com.oracle.bigdata.colmap
      • 7.1.4.4 com.oracle.bigdata.erroropt
      • 7.1.4.5 com.oracle.bigdata.fields
      • 7.1.4.6 com.oracle.bigdata.fileformat
      • 7.1.4.7 com.oracle.bigdata.log.exec
      • 7.1.4.8 com.oracle.bigdata.log.qc
      • 7.1.4.9 com.oracle.bigdata.overflow
      • 7.1.4.10 com.oracle.bigdata.rowformat
      • 7.1.4.11 com.oracle.bigdata.tablename
    • 7.1.5 ORACLE_BIGDATAアクセス・パラメータ
  • 7.2 Hiveの静的データ・ディクショナリ・ビュー
    • 7.2.1 ALL_HIVE_DATABASES
    • 7.2.2 ALL_HIVE_TABLES
    • 7.2.3 ALL_HIVE_COLUMNS
    • 7.2.4 DBA_HIVE_DATABASES
    • 7.2.5 DBA_HIVE_TABLES
    • 7.2.6 DBA_HIVE_COLUMNS
    • 7.2.7 USER_HIVE_DATABASES
    • 7.2.8 USER_HIVE_TABLES
    • 7.2.9 USER_HIVE_COLUMNS
  • 7.3 DBMS_BDSQL PL/SQL Package
    • 7.3.1 ADD_USER_MAP
    • 7.3.2 REMOVE_USER_MAP
    • 7.3.3 マルチユーザー認証セキュリティ表
  • 7.4 DBMS_BDSQS PL/SQLパッケージ
    • 7.4.1 GATHER_EXTERNAL_TABLE_STATS
    • 7.4.2 SYNC_HIVE_DATABASES
  • 7.5 DBMS_BDSQS_ADMIN PL/SQLパッケージ
    • 7.5.1 ADD_DATABASE_USERS
    • 7.5.2 ADD_KERBEROS_PRINCIPALS
    • 7.5.3 DROP_DATABASE_USERS
    • 7.5.4 DROP_KERBEROS_PRINCIPALS
  • 7.6 DBMS_HADOOP PL/SQLパッケージ
    • 7.6.1 CREATE_EXTDDL_FOR_HIVE
      • 7.6.1.1 例
• 付録
  • A 段階的コピーにCopy to Hadoopを使用するための手動によるステップ
    • A.1 データ・ポンプ・ファイルの生成
      • A.1.1 データ・ポンプ形式ファイルについて
      • A.1.2 ターゲット・ディレクトリの識別
      • A.1.3 CREATE TABLE構文について
    • A.2 HDFSへのファイルのコピー
    • A.3 Hive表の作成
      • A.3.1 Hive外部表について
    • A.4 サンプル・スキーマの使用例
      • A.4.1 サンプル・データについて
      • A.4.2 EXPDIR Databaseディレクトリの作成
      • A.4.3 顧客データのデータ・ポンプ形式ファイルの作成
        • A.4.3.1 簡単なSELECT文を使用したCREATE TABLEの例
        • A.4.3.2 さらに複雑なSQL SELECT文を使用したCREATE TABLEの例
      • A.4.4 データ・ファイルの内容の確認
      • A.4.5 Hadoopへのファイルのコピー
      • A.4.6 Hive外部表の作成
  • B 直接コピーでのCopy to Hadoopの使用
    • B.1 直接コピーにCopy to Hadoopを使用するための手動によるステップ
    • B.2 Copy to Hadoopプロパティ・リファレンス
  • C mtactlを使用したMTA extprocの管理
  • D 診断のヒントおよび詳細
    • D.1 bdscheckswによる診断の実行
    • D.2 クイック・テストの実行方法
    • D.3 Oracle Big Data SQLのデータベース・オブジェクト
    • D.4 その他のデータベース側のアーティファクト
    • D.5 Hadoopデータノードのアーティファクト
    • D.6 外部表を問い合せるためのプロセス
    • D.7 Hiveデータ・ディクショナリ問合せのプロセス
    • D.8 Oracle Big Data SQLの主な管理タスク
    • D.9 その他のJava診断
    • D.10 Oracle Big Data SQLの正しいパッチの確認
    • D.11 SQL.NET問題のデバッグ
  • E Oracle Big Data SQLソフトウェアのアクセシビリティの推奨事項
    • E.1 スクリーン・リーダーおよび点字ディスプレイの使用上のヒント
    • E.2 スクリーン拡大鏡の使用上のヒント
• 索引