目次

タイトルおよび著作権情報

はじめに

• 対象読者
• 関連ドキュメント
• 表記規則
• バッカス・ナウア記法の構文
• Oracle Big Data SQL 3.0.1での変更点
• Oracle Big Data SQL 3.0での変更点

1 Oracle Big Data SQLの概要

• 1.1 Oracle Big Data SQLとは
  • 1.1.1 Oracle外部表について
  • 1.1.2述語のプッシュダウンについて
  • 1.1.3 Oracle Big Data SQLのアクセス・ドライバについて
  • 1.1.4 Smart Scanテクノロジについて
  • 1.1.5 ストレージ索引について

2 Oracle Big Data SQLのインストール

• 2.1 Oracle Big Data SQL互換性マトリクス
• 2.2 Oracle Big Data ApplianceおよびOracle Exadata Database Machineでのインストール
  • 2.2.1 インストールの実行
  • 2.2.2 Oracle Big Data SQLのインストール後スクリプトの実行
    • 2.2.2.1 bds-exa-installスクリプトの実行
    • 2.2.2.2 bds-exa-install構文
    • 2.2.2.3 bds-exa-installスクリプトの実行のトラブルシューティング
  • 2.2.3 Oracle Big Data SQLを使用したデータ・セキュリティについて
  • 2.2.4 Kerberos化されたクラスタへのOracle Big Data SQLアクセスの有効化
  • 2.2.5 Big Data SQLエージェントの起動および停止
• 2.3 他のHadoopシステムでのOracle Big Data SQLのインストール
  • 2.3.1 Oracle Big Data SQLのダウンロード
  • 2.3.2 HDPクラスタをインストールするための前提条件
  • 2.3.3 CDHクラスタをインストールするための前提条件
  • 2.3.4 インストールの概要
  • 2.3.5 Hadoopクラスタ管理サーバーでのインストール
  • 2.3.6 データベース側のインストール・バンドルの作成
  • 2.3.7 Oracle Databaseサーバーでのインストール
  • 2.3.8 Oracle Big Data SQLの削除
  • 2.3.9 Big Data SQLの保護
    • 2.3.9.1 Big Data SQLの通信とセキュアなHadoopクラスタ
    • 2.3.9.2 Oracle Big Data SQLおよびOracle Secure External Password Storeの設定

3 データ・アクセスのためのOracle Big Data SQLの使用

• 3.1 HiveデータのOracle外部表の作成
  • 3.1.1 Hive表に関する情報の取得
  • 3.1.2 CREATE_EXTDDL_FOR_HIVE関数の使用
  • 3.1.3 ORACLE_HIVEのCREATE TABLE文の作成
    • 3.1.3.1 ORACLE_HIVEのデフォルト設定の使用
    • 3.1.3.2 ORACLE_HIVEのデフォルト設定の上書き
• 3.2 Oracle NoSQL DatabaseのOracle外部表の作成
  • 3.2.1 Oracle NoSQL DatabaseのHive外部表の作成
  • 3.2.2 Oracle NoSQLデータのOracle Database表の作成
  • 3.2.3 列データ型マッピングについて
  • 3.2.4 Oracle NoSQL Databaseのデータのアクセス例
    • 3.2.4.1 Oracle NoSQL Database表の例の作成
    • 3.2.4.2 vehicleTableのHive表の例の作成
    • 3.2.4.3 VEHICLESのOracle表の作成
• 3.3 Apache HBaseのOracle外部表の作成
  • 3.3.1 HBaseのHive外部表の作成
  • 3.3.2 HBaseのOracle Database表の作成
• 3.4 HDFSファイルのOracle外部表の作成
  • 3.4.1 デフォルトのアクセス・パラメータとORACLE_HDFSの使用
  • 3.4.2 ORACLE_HDFSのデフォルト設定の上書き
    • 3.4.2.1 デリミタ付きテキスト・ファイルへのアクセス
    • 3.4.2.2 Avroコンテナ・ファイルへのアクセス
• 3.5 SQL CREATE TABLE文について
  • 3.5.1 基本的な構文
  • 3.5.2 外部表の句について
    • 3.5.2.1 TYPE句
    • 3.5.2.2 DEFAULT DIRECTORY句
    • 3.5.2.3 LOCATION句
    • 3.5.2.4 ORACLE_HDFS LOCATION句
    • 3.5.2.5 ORACLE_HIVE LOCATION句
    • 3.5.2.6 REJECT LIMIT句
    • 3.5.2.7 ACCESS PARAMETERS句
• 3.6 データ型変換について
• 3.7 外部表の問合せ
  • 3.7.1 ユーザー・アクセス権の付与
  • 3.7.2 エラー処理の概要
  • 3.7.3 ログ・ファイルについて
• 3.8 データベース・サーバー(Oracle Exadata Machineなど)上のOracle Big Data SQLについて
  • 3.8.1 共通ディレクトリについて
  • 3.8.2 一般的な構成プロパティ
    • 3.8.2.1 bigdata.properties
    • 3.8.2.2 bigdata-log4j.properties
  • 3.8.3 クラスタ・ディレクトリについて
  • 3.8.4 権限について

4 HadoopへのOracle表のコピー

• 4.1 Copy to Hadoopとは
• 4.2 Copy to Hadoopの使用の概要
• 4.3 Copy to Hadoopのインストール
  • 4.3.1 Copy to Hadoopの前提条件
  • 4.3.2 Oracle Big Data Appliance/Oracle Exadata Database Machine環境でのCopy to Hadoopのインストール
    • 4.3.2.1 Oracle Big Data ApplianceでのCopy to Hadoopのインストール
    • 4.3.2.2 Oracle Exadata Database MachineでのCopy to Hadoopのインストール
  • 4.3.3 他のシステムでのCopy to Hadoopのインストール
    • 4.3.3.1 Hadoopクラスタ(Oracle Big Data Database Applianceクラスタ以外)でのCopy to Hadoopのインストール
    • 4.3.3.2 Oracle Databaseサーバー(Oracle Exadata Database Machine以外)でのCopy to Hadoopのインストール
• 4.4 データ・ポンプ・ファイルの生成
  • 4.4.1 データ・ポンプ形式ファイルについて
  • 4.4.2 ターゲット・ディレクトリの識別
  • 4.4.3 CREATE TABLE構文について
  • 4.4.4 HDFSへのファイルのコピー
• 4.5 Hive表の作成
  • 4.5.1 Hive外部表について
  • 4.5.2 列マッピングの概要
  • 4.5.3 データ型変換について
• 4.6 サンプル・スキーマの使用例
  • 4.6.1 サンプル・データについて
  • 4.6.2 EXPDIR Databaseディレクトリの作成
  • 4.6.3 顧客データのデータ・ポンプ形式ファイルの作成
    • 4.6.3.1 簡単なSELECT文を使用したCREATE TABLEの例
    • 4.6.3.2 さらに複雑なSQL SELECT文を使用したCREATE TABLEの例
  • 4.6.4 データ・ファイルの内容の確認
  • 4.6.5 Hadoopへのファイルのコピー
  • 4.6.6 Hive外部表の作成
  • 4.6.7 Hiveのデータの問合せ
• 4.7 Oracle Shell for Hadoop LoadersのCopy to Hadoopとの使用
  • 4.7.1 Oracle Shell for Hadoop Loadersの概要
  • 4.7.2 Oracle Shell for Hadoop Loadersの設定

5 Oracle Big Data SQLリファレンス

• 5.1 DBMS_HADOOP PL/SQLパッケージ
  • 5.1.1 CREATE_EXTDDL_FOR_HIVE
    • 5.1.1.1 例
• 5.2 CREATE TABLE ACCESS PARAMETERS句
  • 5.2.1 プロパティを指定するための構文ルール
  • 5.2.2 ORACLE_HDFSアクセス・パラメータ
    • 5.2.2.1 ORACLE_HDFSのデフォルトのパラメータ設定
    • 5.2.2.2 ORACLE_HDFSのオプションのパラメータ設定
  • 5.2.3 ORACLE_HIVEアクセス・パラメータ
    • 5.2.3.1 ORACLE_HIVEのデフォルトのパラメータ設定
    • 5.2.3.2 ORACLE_HIVEのオプションのパラメータ値
  • 5.2.4 com.oracle.bigdata.buffersize
  • 5.2.5 com.oracle.bigdata.colmap
  • 5.2.6 com.oracle.bigdata.datamode
  • 5.2.7 com.oracle.bigdata.erroropt
  • 5.2.8 com.oracle.bigdata.fields
  • 5.2.9 com.oracle.bigdata.fileformat
  • 5.2.10 com.oracle.bigdata.log.exec
  • 5.2.11 com.oracle.bigdata.log.qc
  • 5.2.12 com.oracle.bigdata.overflow
  • 5.2.13 com.oracle.bigdata.rowformat
  • 5.2.14 com.oracle.bigdata.tablename
• 5.3 Hiveの静的データ・ディクショナリ・ビュー
  • 5.3.1 ALL_HIVE_DATABASES
  • 5.3.2 ALL_HIVE_TABLES
  • 5.3.3 ALL_HIVE_COLUMNS
  • 5.3.4 DBA_HIVE_DATABASES
  • 5.3.5 DBA_HIVE_TABLES
  • 5.3.6 DBA_HIVE_COLUMNS
  • 5.3.7 USER_HIVE_DATABASES
  • 5.3.8 USER_HIVE_TABLES
  • 5.3.9 USER_HIVE_COLUMNS

付録

A ライセンス情報

• A.1 Oracle Big Data SQLのライセンス
  • A.1.1 ANTLR 4.5.2
  • A.1.2 JLine 2.13
  • A.1.3 Apache Commons Exec 1.3
  • A.1.4 Apacheのライセンス

索引