| Oracle® Big Data Applianceソフトウェア・ユーザーズ・ガイド リリース4 (4.0) E57728-01 |
|
 前 |
 次 |
この章には、Oracle Big Data SQLのリファレンス情報が含まれています。
DBMS_HADOOPパッケージには、Hive表のCREATE EXTERNAL TABLE DDLを生成するための関数が含まれています。
この関数は、Hive表のSQL CREATE TABLE ORGANIZATION EXTERNAL文を返します。ORACLE_HIVEアクセス・ドライバを使用します。
構文
DBMS_HADOOP.CREATE_EXTDDL_FOR_HIVE ( cluster_id IN VARCHAR2, db_name IN VARCHAR2 := NULL, hive_table_name IN VARCHAR2, hive_partition IN BOOLEAN, table_name IN VARCHAR2 := NULL, perform_ddl IN BOOLEAN DEFAULT FALSE, text_of_ddl OUT VARCHAR2 );
パラメータ
表7-1 CREATE_EXTDDL_FOR_HIVE関数のパラメータ
| パラメータ | 説明 |
|---|---|
|
|
HiveメタストアがあるHadoopクラスタ |
|
|
Hiveデータベースの名前 |
|
|
Hive表の名前 |
|
|
表がパーティション化されている( |
|
|
作成されるOracle外部表の名前。すでに存在する名前にはできません。 |
|
|
生成された コマンドを確認または変更する場合は、コマンドを自動的に実行しないでください。 |
|
|
生成された |
使用上の注意
Oracle DatabaseシステムはOracle Big Data SQL用に構成する必要があります。「Oracle Exadata Database Machine上のOracle Big Data SQLについて」を参照してください。
データ型変換は、Hiveデータ型とOracleデータ型の間のデフォルトのマッピングに基づいています。「データ型変換について」を参照してください。
次の問合せは、デフォルトのHiveデータベースからmy_hive_tableのCREATE EXTERNAL TABLE DDLを返します。Hiveへの接続は、ORACLE_BIGDATA_CONFIGディレクトリ内の構成ファイルを使用して確立されます。これは、HADOOP1クラスタの場所を識別します。
DECLARE
DDLtxt VARCHAR2(4000);
BEGIN
dbms_hadoop.create_extddl_for_hive(
CLUSTER_ID=>'hadoop1',
DB_NAME=>'default',
HIVE_TABLE_NAME=>'my_hive_table',
HIVE_PARTITION=>FALSE,
TABLE_NAME=>'my_xt_oracle',
PERFORM_DDL=>FALSE,
TEXT_OF_DDL=>DDLtxt
);
dbms_output.put_line(DDLtxt);
END;
/
問合せは、次のSQLコマンドのテキストを返します。
CREATE TABLE my_xt_oracle
(
c0 VARCHAR2(4000),
c1 VARCHAR2(4000),
c2 VARCHAR2(4000),
c3 VARCHAR2(4000))
ORGANIZATION EXTERNAL
(TYPE ORACLE_HIVE
DEFAULT DIRECTORY DEFAULT_DIR
ACCESS PARAMETERS (
com.oracle.bigdata.cluster=hadoop1
com.oracle.bigdata.tablename=default.my_hive_table
)
)
PARALLEL 2 REJECT LIMIT UNLIMITED
この項では、ORACLE_HDFSまたはORACLE_HIVEアクセス・ドライバを使用する外部表を作成するときに使用するプロパティについて説明します。CREATE TABLE ORGANIZATION EXTERNAL文で、ACCESS PARAMETERSのopaque_format_spec句にパラメータを指定します。
この項の内容は次のとおりです。
プロパティのアルファベット順リスト
プロパティは、SQLのCREATE TABLE ACCESS PARAMETERS句および構成ファイルのキーワード/値のペアを使用して設定されます。構文は次のルールに従う必要があります。
各キーワード/値のペアの形式は、キーワード、コロンまたは等号および値です。次に有効なキーワード/値のペアを示します。
keyword=value keyword:value
値は、セパレータの後の最初の非空白文字から行末まですべてです。セパレータと値の間の空白は無視されます。値の後の空白は保持されます。
プロパティ定義は1行または複数行になります。
行の終了文字は、行フィード、キャリッジ・リターンまたはキャリッジ・リターンの後に続く行フィードです。
プロパティ定義が複数行にまたがる場合は、行の終了文字の前にバックスラッシュ(エスケープ文字)を付けますが、最終行には付けません。この例では、Keyword1プロパティの値はValue part 1 Value part 2 Value part 3です。
Keyword1= Value part 1 \
Value part 2 \
Value part 3
先頭の空白の各物理行を削除して行を連結することで、論理行を作成できます。パーサーは、論理行からプロパティ名および値を抽出します。
文字の前に代入を示すバックスラッシュ(エスケープ文字)を付けることで、プロパティ名またはプロパティ値に特殊文字を埋め込むことができます。表7-2に特殊文字を示します。
表7-2 プロパティの特殊文字
| エスケープ・シーケンス | 文字 |
|---|---|
|
|
Backspace ( |
|
|
水平タブ( |
|
|
行フィード( |
|
|
フォーム・フィード( |
|
|
キャリッジ・リターン( |
|
|
二重引用符( |
|
|
一重引用符( |
|
|
バックスラッシュ( 複数のバックスラッシュが行末にある場合、パーサーは奇数のバックスラッシュに対してのみ値を次の行に継続します。 |
|
|
2バイト、ビッグ・エンディアン、Unicodeコード・ポイント。 1文字に2コード・ポイント(4バイト)が必要な場合、パーサーは2番目のコード・ポイントに |
ORACLE_HDFSアクセス・ドライバのアクセス・パラメータは、HDFS内のデータを特定するのに必要なメタデータを提供し、Hive表を作成します。
CREATE TABLE文からすべてのアクセス・パラメータを省略した場合、ORACLE_HDFSは次のデフォルト値を使用します。
com.oracle.bigdata.rowformat=DELIMITED
com.oracle.bigdata.fileformat=TEXTFILE
com.oracle.bigdata.overflow={"action":"truncate"}
com.oracle.bigdata.erroropt={"action":"setnull"}
ORACLE_HDFSは、次のオプションのcom.oracle.bigdataパラメータをサポートしています。このパラメータは、opaque_format_spec句で指定できます。
例7-1に、複数のアクセス・パラメータが設定されているCREATE TABLE文を示します。
例7-1 ORACLE_HDFSの複数のアクセス・パラメータの設定
CREATE TABLE ORDER (CUST_NUM VARCHAR2(10),
ORDER_NUM VARCHAR2(20),
ORDER_DATE DATE,
ITEM_CNT NUMBER,
DESCRIPTION VARCHAR2(100),
ORDER_TOTAL (NUMBER8,2)) ORGANIZATION EXTERNAL
(TYPE ORACLE_HDFS
ACCESS PARAMETERS (
com.oracle.bigdata.fields: (CUST_NUM, \
ORDER_NUM, \
ORDER_DATE, \
ORDER_LINE_ITEM_COUNT, \
DESCRIPTION, \
ORDER_TOTAL)
com.oracle.bigdata.colMap: {"col":"item_cnt", \
"field":"order_line_item_count"}
com.oracle.bigdata.overflow: {"action":"TRUNCATE", \
"col":"DESCRIPTION"}
com.oracle.bigdata.errorOpt: [{"action":"replace", \
"value":"INVALID NUM", \
"col":["CUST_NUM","ORDER_NUM"]} , \
{"action":"reject", \
"col":"ORDER_TOTAL}]
)
LOCATION ("hdfs:/usr/cust/summary/*"));
ORACLE_HIVEは、Hiveカタログから外部データ・ソースに関するメタデータを取得します。通常、外部データ表の列へのHiveデータのデフォルト・マッピングは適切です。ただし、状況によっては、特殊なパラメータ設定が必要です。独自の理由でデフォルト値を上書きする場合もあります。
CREATE TABLE文からすべてのアクセス・パラメータを省略した場合、ORACLE_HIVEは次のデフォルト値を使用します。
com.oracle.bigdata.tablename=name of external table
com.oracle.bigdata.overflow={"action":"truncate"}
com.oracle.bigdata.erroropt={"action":"setnull"}
ORACLE_HIVEは、次のオプションのcom.oracle.bigdataパラメータをサポートしています。このパラメータは、opaque_format_spec句で指定できます。
例7-2に、複数のアクセス・パラメータが設定されているCREATE TABLE文を示します。
例7-2 ORACLE_HIVEの複数のアクセス・パラメータの設定
CREATE TABLE ORDER (cust_num VARCHAR2(10),
order_num VARCHAR2(20),
order_date DATE,
item_cnt NUMBER,
description VARCHAR2(100),
order_total (NUMBER8,2)) ORGANIZATION EXTERNAL
(TYPE oracle_hive
ACCESS PARAMETERS (
com.oracle.bigdata.tableName: order_db.order_summary
com.oracle.bigdata.colMap: {"col":"ITEM_CNT", \
"field":"order_line_item_count"}
com.oracle.bigdata.overflow: {"action":"ERROR", \
"col":"DESCRIPTION"}
com.oracle.bigdata.errorOpt: [{"action":"replace", \
"value":"INV_NUM" , \
"col":["CUST_NUM","ORDER_NUM"]} ,\
{"action":"reject", \
"col":"ORDER_TOTAL}]
));
ソース・データの列をOracle外部表の列にマップします。ソース・フィールド名がOracle列名の最大長を超える場合、または外部表で別の列名を使用する場合、このプロパティを使用します。
構文
キーワード/値のペアを持つJSONドキュメントを次の図に示します。
colmap ::=
colmap_entry ::=
セマンティクス
"col":name
"col": キーワードは小文字を使用して、引用符で囲む必要があります。
name: Oracle外部表の列の名前。大/小文字を区別し、引用符で囲む必要があります。
"field":name
"field": キーワードは小文字を使用して、引用符で囲む必要があります。
name: データ・ソースのフィールドの名前。大/小文字は区別しませんが、引用符で囲む必要があります。「プロパティを指定するための構文ルール」を参照してください。
SmartScanがデリミタ付きテキスト・ファイルで構成されるデータ・ソースをスキャンするために使用する方法を指定します。方法によって、パフォーマンスに大きな違いが生じる可能性があります。
列の値の計算中に発生するエラーを処理する方法を示します。
構文
キーワード/値のペアを持つJSONドキュメントを次の図に示します。
erroropt ::=
error_element ::=
セマンティクス
"action"、"reject"、"setnull"、"replace"、"value"および"col"キーワードは小文字を使用して、引用符で囲む必要があります。「プロパティを指定するための構文ルール」を参照してください。
"action":value
value: One of these keywords:
"reject": 行をロードしません。
"setnull": 列をNULLに設定します。
"replace": 列を指定された値に設定します。
"value":string
string: 外部表の不正な値を置換します。引用符で囲む必要があります。
"col":name
name: 外部表の列を識別します。列名は大/小文字を区別し、引用符で囲む必要があります。リストできるのは1回のみです。
データ・ソースのフィールド名およびデータ型をリストします。
構文
キーワード/値のペアを持つJSONドキュメントを次の図に示します。
fields ::=
data_type ::=
primitive_type ::=
セマンティクス
構文は、Hive表のフィールド・リストと同じです。フィールド・リストを複数行に分割する場合、バックスラッシュを使用して改行文字をエスケープする必要があります。
field_name
Hiveフィールドの名前。英数字およびアンダースコア(_)のみ使用します。最大長は128文字です。フィールド名は大/小文字を区別します。
data_type
Hiveフィールドのデータ型。オプション。デフォルトはSTRINGです。文字セットはUTF8である必要があります。
データ型は複合またはプリミティブになります。
Hive複合データ型
ARRAY: 索引付け可能なリスト
MAP: キー値のタプル
STRUCT: 要素のリスト
UNIONTYPE: 複数のデータ型
Hiveプリミティブ・データ型
INT: 4バイトの整数
BIGINT: 8バイトの整数
SMALLINT: 2バイトの整数
TINYINT: 1バイトの整数
BOOLEAN: TRUEまたはFALSE
FLOAT: 単精度
DOUBLE: 倍精度
STRING: 文字列
|
関連項目: Apache Hive Language Manualのデータ型に関する項を参照してください。
|
COMMENT col_comment
一重引用符で囲まれた文字列リテラル。Hive表のメタデータとして格納されます(TBLPROPERTIESのcommentプロパティ)。
アクセス・ドライバがCDH上の並列プロセスとして実行されている場合、問合せのCコードによって生成されたログ・ファイルを生成する方法を指定します。
アクセス・ドライバはHadoopクラスタ・ノード上で実行されている場合、ログ・ファイルの作成または書込みを行いません。並列問合せプロセスがログ・ファイルを書き込みます。Javaコードからのログ・ファイルはlog4jプロパティによって制御されます。このプロパティは、構成ファイルまたはアクセス・パラメータで指定されます。「bigdata-log4j.properties」を参照してください。
セマンティクス
directory_object
ログ・ファイルが作成されるHadoopクラスタ上のHDFSパスのOracleディレクトリ・オブジェクト。
file_name_template
ファイル名の生成に使用する文字列。表7-2に、テンプレートで使用できるオプションの変数を示します。
アクセス・ドライバが問合せのログ・ファイルを生成する方法を指定します。
セマンティクス
directory_object
ログ・ファイルが書き込まれるパスを指すOracleディレクトリ・オブジェクトの名前。この値を省略すると、ログは外部表のデフォルト・ディレクトリに書き込まれます。
file_name_template
ファイル名の生成に使用する文字列。表7-4に、文字列で使用できるオプションの変数を示します。
外部表の列には長すぎる文字列データの処理方法を示します。データ・ソースは文字またはバイナリになります。Hiveの場合、データ・ソースはSTRUCT、UNIONTYPES、MAPまたはARRAYにすることもできます。
構文
キーワード/値のペアを持つJSONドキュメントを次の図に示します。
overflow ::=
overflow_element ::=
セマンティクス
"action"、"truncate"、"error"および"col"タグは小文字を使用して、引用符で囲む必要があります。「プロパティを指定するための構文ルール」を参照してください。
"action":value
"action"の値は次のキーワードのいずれかになります。
truncate: 列に収まるようにデータを短くします。
error: エラーをスローします。com.oracle.bigdata.erroroptプロパティは、エラーの結果を制御します。
"col":name
name: 外部表の列を識別します。名前は大/小文字を区別し、引用符で囲む必要があります。
アクセス・ドライバがファイル内のレコードからフィールドを抽出するために必要な情報を提供します。
セマンティクス
DELIMITED
レコード内のフィールドを区切るために使用する文字を示します。
FIELDS TERMINATED BY: レコード内の各フィールドを区切る文字。オプションのESCAPED BY文字は、フィールド値内に表示される場合、デリミタ文字の前に付けます。
COLLECTION ITEMS TERMINATED BY: 配列要素の終了を示す文字。
MAP KEYS TERMINATED BY: MAPフィールドのエントリの終了を示す文字。
LINES TERMINATED BY: レコードの終了を示す文字。
NULL DEFINED AS: null値を示す文字。
SERDE
アクセス・ドライバが必要とするSerDeのデータおよびプロパティを解析できるSerDeを識別します。
例
この例では、Avroコンテナ・ファイルにSerDeを指定します。
com.oracle.bigdata.rowformat: SERDE'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
次の例では、正規表現を含むファイルのSerDeを指定します。
com.oracle.bigdata.rowformat=\
SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' \
WITH SERDEPROPERTIES \
("input.regex" = "(\\\\d{6}) (\\\\d{5}) (.{29}) .*")
Oracle Databaseカタログには、アクセス可能なHive表の複数の静的データ・ディクショナリ・ビューが含まれています。Oracle DatabaseからHiveデータベースにアクセスする場合、ORACLE_BIGDATA_CONFIGディレクトリ・オブジェクトの読取りアクセス権が必要です。
ALL_HIVE_DATABASESは、現在のユーザーにアクセスできるHiveメタストア内のすべてのデータベースを示します。
関連ビュー
DBA_HIVE_DATABASESは、Hiveメタストア内のすべてのデータベースを示します。
USER_HIVE_DATABASESは、現在のユーザーが所有するHiveメタストア内のデータベースを示します。
| 列 | データ型 | NULL | 説明 |
|---|---|---|---|
CLUSTER_ID |
VARCHAR2(4000) |
NOT NULL |
HiveメタストアがあるHadoopクラスタ |
DATABASE_NAME |
VARCHAR2(4000) |
NOT NULL |
Hiveデータベース名 |
DESCRIPTION |
VARCHAR2(4000) |
Hiveデータベースの説明 | |
DB_LOCATION |
VARCHAR2(4000) |
NOT NULL |
|
HIVE_URI |
VARCHAR2(4000) |
HiveデータベースのURI |
ALL_HIVE_TABLESは、現在のユーザーにアクセスできるHiveメタストア内のすべての表を示します。
Oracle Big Data SQL構成は、現在のユーザーのデフォルトのHiveデータベースを識別する必要があります。現在のユーザーには、ORA_BIGSQL_CONFIGデータベース・ディレクトリのREAD権限も必要です。「共通ディレクトリについて」を参照してください。
関連ビュー
DBA_HIVE_TABLESは、Hiveメタストア内のすべての表を示します。
USER_HIVE_TABLESは、Hiveメタストア内の現在のユーザーが所有するデータベースの表を示します。
| 列 | データ型 | NULL | 説明 |
|---|---|---|---|
CLUSTER_ID |
VARCHAR2(4000) |
NOT NULL |
HiveメタストアがあるHadoopクラスタ |
DATABASE_NAME |
VARCHAR2(4000) |
NOT NULL |
Hiveデータベースの名前 |
TABLE_NAME |
VARCHAR2(4000) |
NOT NULL |
Hive表の名前 |
LOCATION |
VARCHAR2(4000) |
||
NO_OF_COLS |
NUMBER |
Hive表内の列の数 | |
CREATION_TIME |
DATE |
表が作成された時刻 | |
LAST_ACCESSED_TIME |
DATE |
最新のアクセス時刻 | |
OWNER |
VARCHAR2(4000) |
Hive表の所有者 | |
TABLE_TYPE |
VARCHAR2(4000) |
NOT NULL |
Hive表のタイプ(外部、管理対象など) |
PARTITIONED |
VARCHAR2(4000) |
表がパーティション化されている(YES)かされていない(NO)か |
|
NO_OF_PART_KEYS |
NUMBER |
パーティションの数 | |
INPUT_FORMAT |
VARCHAR2(4000) |
入力形式 | |
OUTPUT_FORMAT |
VARCHAR2(4000) |
出力形式 | |
SERIALIZATION |
VARCHAR2(4000) |
SerDeシリアル化情報 | |
COMPRESSED |
NUMBER |
表が圧縮されている(YES)かされていない(NO)か |
|
HIVE_URI |
VARCHAR2(4000) |
HiveデータベースのURI |
ALL_HIVE_COLUMNSは、現在のユーザーにアクセスできるすべてのHive表の列を示します。
Oracle Big Data SQL構成は、現在のユーザーのデフォルトのHiveデータベースを識別する必要があります。現在のユーザーには、ORA_BIGSQL_CONFIGデータベース・ディレクトリのREAD権限も必要です。「共通ディレクトリについて」を参照してください。
関連ビュー
DBA_HIVE_COLUMNSは、Hiveメタストア内のすべての表の列を示します。
USER_HIVE_COLUMNSは、現在のユーザーが所有するHiveデータベースの表の列を示します。
| 列 | データ型 | NULL | 説明 |
|---|---|---|---|
CLUSTER_ID |
VARCHAR2(4000) |
NOT NULL |
HiveメタストアがあるHadoopクラスタ |
DATABASE_NAME |
VARCHAR2(4000) |
NOT NULL |
Hiveデータベースの名前。空白の場合は、デフォルト・データベース |
TABLE_NAME |
VARCHAR2(4000) |
NOT NULL |
Hive表の名前 |
COLUMN_NAME |
VARCHAR2(4000) |
NOT NULL |
Hive列の名前 |
HIVE_COLUMN_TYPE |
VARCHAR2(4000) |
NOT NULL |
Hive列のデータ型 |
ORACLE_COLUMN_TYPE |
VARCHAR2(4000) |
NOT NULL |
Hiveデータ型と同等のOracleデータ型 |
LOCATION |
VARCHAR2(4000) |
||
OWNER |
VARCHAR2(4000) |
Hive表の所有者 | |
CREATION_TIME |
DATE |
表が作成された時刻 | |
HIVE_URI |
VARCHAR2(4000) |
HiveデータベースのURI |
DBA_HIVE_TABLESは、Hiveメタストア内のすべての表を示します。列はALL_HIVE_TABLESの列と同じです。
Oracle Big Data SQL構成は、現在のユーザーのデフォルトのHiveデータベースを識別する必要があります。「共通ディレクトリについて」を参照してください。
USER_HIVE_DATABASESは、現在のユーザーが所有するHiveメタストア内のデータベースを示します。列(OWNERを除く)はALL_HIVE_DATABASESの列と同じです。
USER_HIVE_TABLESは、Hiveメタストア内の現在のユーザーが所有するデータベースの表を示します。列(OWNERを除く)はALL_HIVE_TABLESの列と同じです。
Oracle Big Data SQL構成は、現在のユーザーのデフォルトのHiveデータベースを識別する必要があります。現在のユーザーには、ORA_BIGSQL_CONFIGデータベース・ディレクトリのREAD権限も必要です。「共通ディレクトリについて」を参照してください。
USER_HIVE_COLUMNSは、現在のユーザーが所有するHiveデータベースの表の列を示します。列(OWNERを除く)はALL_HIVE_COLUMNSの列と同じです。
Oracle Big Data SQL構成は、現在のユーザーのデフォルトのHiveデータベースを識別する必要があります。現在のユーザーには、ORA_BIGSQL_CONFIGデータベース・ディレクトリのREAD権限も必要です。「共通ディレクトリについて」を参照してください。
