目次

タイトルおよび著作権情報

はじめに

• 対象読者
• 関連ドキュメント
• 表記規則
• バッカス・ナウア記法の構文
• Oracle Big Data SQL 3.2.1での変更点

1 Oracle Big Data SQLの概要

• 1.1 Oracle Big Data SQLとは
  • 1.1.1 Oracle外部表について
  • 1.1.2 Oracle Big Data SQLのアクセス・ドライバについて
  • 1.1.3 Smart Scan for HDFSについて
  • 1.1.4 ストレージ索引について
  • 1.1.5述語のプッシュダウンについて
  • 1.1.6 Oracle Big Data SQLの統計について
• 1.2 インストール

2 データ・アクセスのためのOracle Big Data SQLの使用

• 2.1 HiveデータのOracle外部表の作成
  • 2.1.1 Hive表に関する情報の取得
  • 2.1.2 CREATE_EXTDDL_FOR_HIVE関数の使用
  • 2.1.3 Oracle SQL Developerを使用したHiveへの接続
  • 2.1.4 ORACLE_HIVEのCREATE TABLE文の作成
    • 2.1.4.1 ORACLE_HIVEのデフォルト設定の使用
    • 2.1.4.2 ORACLE_HIVEのデフォルト設定の上書き
• 2.2 Oracle NoSQL DatabaseのOracle外部表の作成
  • 2.2.1 Oracle NoSQL DatabaseのHive外部表の作成
  • 2.2.2 Oracle NoSQLデータのOracle Database表の作成
  • 2.2.3 列データ型マッピングについて
  • 2.2.4 Oracle NoSQL Databaseのデータのアクセス例
    • 2.2.4.1 Oracle NoSQL Database表の例の作成
    • 2.2.4.2 vehicleTableのHive表の例の作成
    • 2.2.4.3 VEHICLESのOracle表の作成
• 2.3 Apache HBaseのOracle外部表の作成
  • 2.3.1 HBaseのHive外部表の作成
  • 2.3.2 HBaseのOracle Database表の作成
• 2.4 HDFSファイルのOracle外部表の作成
  • 2.4.1 デフォルトのアクセス・パラメータとORACLE_HDFSの使用
  • 2.4.2 ORACLE_HDFSのデフォルト設定の上書き
    • 2.4.2.1 デリミタ付きテキスト・ファイルへのアクセス
    • 2.4.2.2 Avroコンテナ・ファイルへのアクセス
• 2.5 Kafkaトピック用Oracle外部表の作成
  • 2.5.1 OracleのKafka用Hiveストレージ・ハンドラを使用したKafkaトピック用Hive外部表の作成
  • 2.5.2 Kafkaトピック用Oracle Big Data SQL表の作成
• 2.6 Oracle Big Data SQL用カスタムParquetリーダーの使用
• 2.7 SQL CREATE TABLE文について
  • 2.7.1 基本的な構文
  • 2.7.2 外部表の句について
    • 2.7.2.1 TYPE句
    • 2.7.2.2 DEFAULT DIRECTORY句
    • 2.7.2.3 LOCATION句
    • 2.7.2.4 ORACLE_HDFS LOCATION句
    • 2.7.2.5 ORACLE_HIVE LOCATION句
    • 2.7.2.6 REJECT LIMIT句
    • 2.7.2.7 ACCESS PARAMETERS句
• 2.8 データ型変換について
• 2.9 外部表の問合せ
  • 2.9.1 ユーザー・アクセス権の付与
  • 2.9.2 エラー処理について
  • 2.9.3 ログ・ファイルについて
• 2.10 データベース・サーバー(Oracle Exadata Machineなど)上のOracle Big Data SQLについて
  • 2.10.1 bigdata_configディレクトリについて
  • 2.10.2 一般的な構成プロパティ
    • 2.10.2.1 bigdata.properties
    • 2.10.2.2 bigdata-log4j.properties
  • 2.10.3 クラスタ・ディレクトリについて
  • 2.10.4 権限について

3 HadoopへのOracleデータの格納

• 3.1 Copy to Hadoopの使用方法
  • 3.1.1 Copy to Hadoopとは
  • 3.1.2 Copy to Hadoopの使用の概要
    • 3.1.2.1 Copy to Hadoopの表アクセス要件
  • 3.1.3 Oracle Shell for Hadoop LoadersのCopy to Hadoopとの使用
    • 3.1.3.1 Oracle Shell for Hadoop Loadersの概要
  • 3.1.4 Copy to Hadoopを使用した直接コピーの実行
  • 3.1.5 Copy to Hadoopを使用した段階的コピーの実行
  • 3.1.6 Hiveのデータの問合せ
  • 3.1.7 列マッピングおよびデータ型変換について
    • 3.1.7.1 列マッピングの概要
    • 3.1.7.2 データ型変換について
  • 3.1.8 Sparkの使用
  • 3.1.9 Copy to Hadoopと連携したOracle SQL Developerの使用
• 3.2 HDFSへのOracle表領域の格納
  • 3.2.1 HDFS内の表領域の利点および制約
  • 3.2.2 HDFS内の表領域とデータ暗号化について
  • 3.2.3 HDFSへの表領域の移動
    • 3.2.3.1 bds-copy-tbs-to-hdfsの使用
    • 3.2.3.2 HDFSへの表領域の手動による移動
  • 3.2.4 HDFS内の表領域に対するSmart Scan

4 Oracle Big Data SQLリファレンス

• 4.1 DBMS_HADOOP PL/SQLパッケージ
  • 4.1.1 CREATE_EXTDDL_FOR_HIVE
    • 4.1.1.1 例
• 4.2 DBMS_BDSQL PL/SQLパッケージ
  • 4.2.1 ADD_USER_MAP
  • 4.2.2 REMOVE_USER_MAP
  • 4.2.3 マルチユーザー認証セキュリティ表
• 4.3 CREATE TABLE ACCESS PARAMETERS句
  • 4.3.1 プロパティを指定するための構文ルール
  • 4.3.2 ORACLE_HDFSアクセス・パラメータ
    • 4.3.2.1 ORACLE_HDFSのデフォルトのパラメータ設定
    • 4.3.2.2 ORACLE_HDFSのオプションのパラメータ設定
  • 4.3.3 ORACLE_HIVEアクセス・パラメータ
    • 4.3.3.1 ORACLE_HIVEのデフォルトのパラメータ設定
    • 4.3.3.2 ORACLE_HIVEのオプションのパラメータ値
  • 4.3.4 com.oracle.bigdata.buffersize
  • 4.3.5 com.oracle.bigdata.colmap
  • 4.3.6 com.oracle.bigdata.datamode
  • 4.3.7 com.oracle.bigdata.erroropt
  • 4.3.8 com.oracle.bigdata.fields
  • 4.3.9 com.oracle.bigdata.fileformat
  • 4.3.10 com.oracle.bigdata.log.exec
  • 4.3.11 com.oracle.bigdata.log.qc
  • 4.3.12 com.oracle.bigdata.overflow
  • 4.3.13 com.oracle.bigdata.rowformat
  • 4.3.14 com.oracle.bigdata.tablename
• 4.4 Hiveの静的データ・ディクショナリ・ビュー
  • 4.4.1 ALL_HIVE_DATABASES
  • 4.4.2 ALL_HIVE_TABLES
  • 4.4.3 ALL_HIVE_COLUMNS
  • 4.4.4 DBA_HIVE_DATABASES
  • 4.4.5 DBA_HIVE_TABLES
  • 4.4.6 DBA_HIVE_COLUMNS
  • 4.4.7 USER_HIVE_DATABASES
  • 4.4.8 USER_HIVE_TABLES
  • 4.4.9 USER_HIVE_COLUMNS

付録

A 段階的コピーにCopy to Hadoopを使用するための手動による手順

• A.1 データ・ポンプ・ファイルの生成
  • A.1.1 データ・ポンプ形式ファイルについて
  • A.1.2 ターゲット・ディレクトリの識別
  • A.1.3 CREATE TABLE構文について
• A.2 HDFSへのファイルのコピー
• A.3 Hive表の作成
  • A.3.1 Hive外部表について
• A.4 サンプル・スキーマの使用例
  • A.4.1 サンプル・データについて
  • A.4.2 EXPDIR Databaseディレクトリの作成
  • A.4.3 顧客データのデータ・ポンプ形式ファイルの作成
    • A.4.3.1 簡単なSELECT文を使用したCREATE TABLEの例
    • A.4.3.2 さらに複雑なSQL SELECT文を使用したCREATE TABLEの例
  • A.4.4 データ・ファイルの内容の確認
  • A.4.5 Hadoopへのファイルのコピー
  • A.4.6 Hive外部表の作成

B 直接コピーでのCopy to Hadoopの使用

• B.1 直接コピーにCopy to Hadoopを使用するための手動による手順
• B.2 Copy to Hadoopプロパティ・リファレンス

C mtactlを使用したMTA extprocの管理

D 診断のヒントおよび詳細

• D.1 bdscheckswによる診断の実行
• D.2 クイック・テストの実行方法
• D.3 Oracle Big Data SQLのデータベース・オブジェクト
• D.4 その他のデータベース側のアーティファクト
• D.5 Hadoopデータノードのアーティファクト
• D.6 外部表を問い合せるためのプロセス
• D.7 Hiveデータ・ディクショナリ問合せのプロセス
• D.8 Oracle Big Data SQLの主な管理タスク
• D.9 その他のJava診断
• D.10 Oracle Big Data SQLの正しいパッチの確認

E ライセンス情報

• E.1 Oracle Big Data SQLのライセンス
  • E.1.1 ANTLR 4.7
  • E.1.2 Apache Commons Exec 1.3
  • E.1.3 Apache Licensed Code
  • E.1.4 Apache License

索引