主コンテンツへ
Oracle® Big Data SQLユーザーズ・ガイド
リリース3 (3.1)
E83728-02
索引
次
目次
タイトルおよび著作権情報
はじめに
対象読者
関連ドキュメント
表記規則
バッカス・ナウア記法の構文
Oracle Big Data SQL 3.1での変更点
以前のリリースの変更履歴
Oracle Big Data SQL 3.0.1での変更点
Oracle Big Data SQL 3.0での変更点
1
Oracle Big Data SQLの概要
1.1
Oracle Big Data SQLとは
1.1.1
Oracle外部表について
1.1.2
Oracle Big Data SQLのアクセス・ドライバについて
1.1.3
Smart Scan for HDFSについて
1.1.4
ストレージ索引について
1.1.5
述語のプッシュダウンについて
1.1.6
Oracle Big Data SQLの統計について
1.2
インストール
2
データ・アクセスのためのOracle Big Data SQLの使用
2.1
HiveデータのOracle外部表の作成
2.1.1
Hive表に関する情報の取得
2.1.2
CREATE_EXTDDL_FOR_HIVE関数の使用
2.1.3
Oracle SQL Developerを使用したHiveへの接続
2.1.4
ORACLE_HIVEのCREATE TABLE文の作成
2.1.4.1
ORACLE_HIVEのデフォルト設定の使用
2.1.4.2
ORACLE_HIVEのデフォルト設定の上書き
2.2
Oracle NoSQL DatabaseのOracle外部表の作成
2.2.1
Oracle NoSQL DatabaseのHive外部表の作成
2.2.2
Oracle NoSQLデータのOracle Database表の作成
2.2.3
列データ型マッピングについて
2.2.4
Oracle NoSQL Databaseのデータのアクセス例
2.2.4.1
Oracle NoSQL Database表の例の作成
2.2.4.2
vehicleTableのHive表の例の作成
2.2.4.3
VEHICLESのOracle表の作成
2.3
Apache HBaseのOracle外部表の作成
2.3.1
HBaseのHive外部表の作成
2.3.2
HBaseのOracle Database表の作成
2.4
HDFSファイルのOracle外部表の作成
2.4.1
デフォルトのアクセス・パラメータとORACLE_HDFSの使用
2.4.2
ORACLE_HDFSのデフォルト設定の上書き
2.4.2.1
デリミタ付きテキスト・ファイルへのアクセス
2.4.2.2
Avroコンテナ・ファイルへのアクセス
2.5
SQL CREATE TABLE文について
2.5.1
基本的な構文
2.5.2
外部表の句について
2.5.2.1
TYPE句
2.5.2.2
DEFAULT DIRECTORY句
2.5.2.3
LOCATION句
2.5.2.4
ORACLE_HDFS LOCATION句
2.5.2.5
ORACLE_HIVE LOCATION句
2.5.2.6
REJECT LIMIT句
2.5.2.7
ACCESS PARAMETERS句
2.6
データ型変換について
2.7
外部表の問合せ
2.7.1
ユーザー・アクセス権の付与
2.7.2
エラー処理について
2.7.3
ログ・ファイルについて
2.8
データベース・サーバー(Oracle Exadata Machineなど)上のOracle Big Data SQLについて
2.8.1
bigdata_configディレクトリについて
2.8.2
一般的な構成プロパティ
2.8.2.1
bigdata.properties
2.8.2.2
bigdata-log4j.properties
2.8.3
クラスタ・ディレクトリについて
2.8.4
権限について
3
HadoopへのOracleデータの格納
3.1
Copy to Hadoopの使用方法
3.1.1
Copy to Hadoopとは
3.1.2
Copy to Hadoopの使用の概要
3.1.2.1
Copy to Hadoopの表アクセス要件
3.1.3
Oracle Shell for Hadoop LoadersのCopy to Hadoopとの使用
3.1.3.1
Oracle Shell for Hadoop Loadersの概要
3.1.4
Copy to Hadoopを使用した直接コピーの実行
3.1.5
Copy to Hadoopを使用した段階的コピーの実行
3.1.6
Hiveのデータの問合せ
3.1.7
列マッピングおよびデータ型変換について
3.1.7.1
列マッピングの概要
3.1.7.2
データ型変換について
3.1.8
Sparkの使用
3.1.9
Copy to Hadoopと連携したOracle SQL Developerの使用
3.2
HDFSへのOracle表領域の格納
3.2.1
HDFS内の表領域の利点および制約
3.2.2
HDFS内の表領域とデータ暗号化について
3.2.3
HDFSへの表領域の移動
3.2.3.1
bds-copy-tbs-to-hdfsの使用
3.2.3.2
HDFSへの表領域の手動による移動
3.2.4
HDFS内の表領域に対するSmart Scan
4
Oracle Big Data SQLリファレンス
4.1
DBMS_HADOOP PL/SQLパッケージ
4.1.1
CREATE_EXTDDL_FOR_HIVE
4.1.1.1
例
4.2
CREATE TABLE ACCESS PARAMETERS句
4.2.1
プロパティを指定するための構文ルール
4.2.2
ORACLE_HDFSアクセス・パラメータ
4.2.2.1
ORACLE_HDFSのデフォルトのパラメータ設定
4.2.2.2
ORACLE_HDFSのオプションのパラメータ設定
4.2.3
ORACLE_HIVEアクセス・パラメータ
4.2.3.1
ORACLE_HIVEのデフォルトのパラメータ設定
4.2.3.2
ORACLE_HIVEのオプションのパラメータ値
4.2.4
com.oracle.bigdata.buffersize
4.2.5
com.oracle.bigdata.colmap
4.2.6
com.oracle.bigdata.datamode
4.2.7
com.oracle.bigdata.erroropt
4.2.8
com.oracle.bigdata.fields
4.2.9
com.oracle.bigdata.fileformat
4.2.10
com.oracle.bigdata.log.exec
4.2.11
com.oracle.bigdata.log.qc
4.2.12
com.oracle.bigdata.overflow
4.2.13
com.oracle.bigdata.rowformat
4.2.14
com.oracle.bigdata.tablename
4.3
Hiveの静的データ・ディクショナリ・ビュー
4.3.1
ALL_HIVE_DATABASES
4.3.2
ALL_HIVE_TABLES
4.3.3
ALL_HIVE_COLUMNS
4.3.4
DBA_HIVE_DATABASES
4.3.5
DBA_HIVE_TABLES
4.3.6
DBA_HIVE_COLUMNS
4.3.7
USER_HIVE_DATABASES
4.3.8
USER_HIVE_TABLES
4.3.9
USER_HIVE_COLUMNS
付録
A
段階的コピーにCopy to Hadoopを使用するための手動による手順
A.1
データ・ポンプ・ファイルの生成
A.1.1
データ・ポンプ形式ファイルについて
A.1.2
ターゲット・ディレクトリの識別
A.1.3
CREATE TABLE構文について
A.2
HDFSへのファイルのコピー
A.3
Hive表の作成
A.3.1
Hive外部表について
A.4
サンプル・スキーマの使用例
A.4.1
サンプル・データについて
A.4.2
EXPDIR Databaseディレクトリの作成
A.4.3
顧客データのデータ・ポンプ形式ファイルの作成
A.4.3.1
簡単なSELECT文を使用したCREATE TABLEの例
A.4.3.2
さらに複雑なSQL SELECT文を使用したCREATE TABLEの例
A.4.4
データ・ファイルの内容の確認
A.4.5
Hadoopへのファイルのコピー
A.4.6
Hive外部表の作成
B
直接コピーでのCopy to Hadoopの使用
B.1
直接コピーにCopy to Hadoopを使用するための手動による手順
B.2
Copy to Hadoopプロパティ・リファレンス
C
診断のヒントおよび詳細
C.1
bdscheckswによる診断の実行
C.2
クイック・テストの実行方法
C.3
Oracle Big Data SQLのデータベース・オブジェクト
C.4
その他のデータベース側のアーティファクト
C.5
Hadoopデータノードのアーティファクト
C.6
外部表を問い合せるためのプロセス
C.7
Hiveデータ・ディクショナリ問合せのプロセス
C.8
Oracle Big Data SQLの主な管理タスク
C.9
その他のJava診断
C.10
Oracle Big Data SQLの正しいパッチの確認
D
ライセンス情報
D.1
Oracle Big Data SQLのライセンス
D.1.1
ANTLR 4.5.2
D.1.2
JLine 2.13
D.1.3
Apache Commons Exec 1.3
D.1.4
Apache Licensed Code
D.1.5
Apacheのライセンス
索引