HDFSハンドラの使用

8 HDFSハンドラの使用

HDFSハンドラの使用方法について説明します。このハンドラは、変更キャプチャ・データをHadoop分散ファイル・システム(HDFS)にストリーミングする目的で設計されています。

トピック:

8.1 概要

HDFSは、ビッグ・データ用のプライマリ・ファイル・システムです。Hadoopは通常、Hadoopクラスタとして機能する複数のマシンにインストールされます。Hadoopでは、きわめて大量のデータをクラスタに格納でき、そのデータはクラスタ内のマシン全体で水平方向にスケーリングされます。そのうえで、様々なビッグ・データ・アプリケーションを使用してそのデータの分析を実行できます。

親トピック: HDFSハンドラの使用

8.2 SequenceFile形式でのHDFSへの書込み

HDFS SequenceFileは、バイナリ・キーと値のペアで構成されているフラット・ファイルです。gg.handler.name.formatプロパティをsequencefileに設定してデータをSequenceFile形式で書き込むことができます。レコードのkey部分はnullに設定され、実際のデータはvalue部分に設定されます。Hadoop SequenceFileの詳細は、https://wiki.apache.org/hadoop/SequenceFileを参照してください。

トピック:

親トピック: HDFSハンドラの使用

8.2.1 Hiveとの統合

HDFSハンドラには必要なHive機能がすべて用意されているため、Oracle GoldenGate for Big DataリリースにはHiveストレージ・ハンドラが含まれていません。

Hive統合を作成し、表を作成してDDLイベントの発生時に表定義を更新できます。これは、Avroオブジェクト・コンテナ・ファイル形式でフォーマットされたデータにのみ制限されます。詳細は、「Avroオブジェクト・コンテナ・ファイル形式でのHDFSの書き込み」および「HDFSハンドラ構成」を参照してください。

Hiveで順序ファイルを消費するには、DDLでSTORED as sequencefileを含むHive表を作成します。create tableスクリプトのサンプルを次に示します。

CREATE EXTERNAL TABLE table_name (
  col1 string,
  ...
  ...
  col2 string)
ROW FORMAT DELIMITED
STORED as sequencefile
LOCATION '/path/to/hdfs/file';

注意:

ファイルがHiveで使用されるようにする場合は、gg.handler.name.partitionByTableプロパティをtrueに設定する必要があります。

親トピック: SequenceFile形式でのHDFSへの書込み

8.2.2 データ形式の理解

データは各レコードのvalue部分に書き込まれ、区切りText Formatで表されます。区切りテキスト・フォーマッタの使用で説明されているすべてのオプションが、HDFS SequenceFileにデータを書き込む際に適用されます。

次に例を示します。

gg.handler.name.format=sequencefile
gg.handler.name.format.includeColumnNames=true
gg.handler.name.format.includeOpType=true
gg.handler.name.format.includeCurrentTimestamp=true
gg.handler.name.format.updateOpKey=U

親トピック: SequenceFile形式でのHDFSへの書込み

8.3 HDFSハンドラの設定および実行

HDFSハンドラを実行するには、Hadoop単一インスタンスまたはHadoopクラスタをインストールして実行する必要があり、HDFSハンドラを実行しているマシンからネットワークにアクセスできる必要があります。Apache Hadoopはオープン・ソースであり、次の場所からダウンロードできます。

http://hadoop.apache.org/

単一ノード・クラスタ(疑似分散操作モード用)またはクラスタ化設定(完全分散操作モード用)のインストール方法は、「Getting Started」のリンクをたどってください。

ここでは、HDFSハンドラのコンポーネントの構成とハンドラの実行について説明します。

親トピック: HDFSハンドラの使用

8.3.1 クラスパス構成

HDFSハンドラをHDFSに接続して実行するには、HDFS core-site.xmlファイルおよびHDFSクライアントjarが、gg.classpath変数で構成されている必要があります。HDFSクライアントjarは、HDFSハンドラが接続するHDFSのバージョンと一致する必要があります。必要なクライアントjarファイルのリリース別リストは、「HDFSハンドラ・クライアント依存性」を参照してください。

core-site.xmlファイルのデフォルトの場所は、Hadoop_Home/etc/hadoopです

HDFSクライアントjarのデフォルトの場所は次のディレクトリです。

Hadoop_Home/share/hadoop/common/lib/*

Hadoop_Home/share/hadoop/common/*

Hadoop_Home/share/hadoop/hdfs/lib/*

Hadoop_Home/share/hadoop/hdfs/*

gg.classpathは、指示に従って正確に構成する必要があります。core-site.xmlファイルのパスには、ワイルドカードを付けずにcore-site.xmlファイルがあるディレクトリのパスを含めてください。core-site.xmlファイルのパスにワイルドカード(*)を含めると、このファイルが選択されません。逆に、依存関係jarのパスには、そのディレクトリにあるjarファイルがすべて関連するクラスパスに含まれるように、ワイルドカード(*)を含める必要があります。*.jarは使用しないでください

正しく構成されたgg.classpath変数の例を次に示します。

gg.classpath=/ggwork/hadoop/hadoop-2.6.0/etc/hadoop:/ggwork/hadoop/hadoop-2.6.0/share/hadoop/common/lib/*:/ggwork/hadoop/hadoop-2.6.0/share/hadoop/common/*:/ggwork/hadoop/hadoop-2.6.0/share/hadoop/hdfs/*:/ggwork/hadoop/hadoop-2.6.0/share/hadoop/hdfs/lib/*

Kerberosセキュリティを有効にする場合は、HDFS構成ファイルhdfs-site.xmlもクラスパスに存在する必要があります。デフォルトでは、hdfs-site.xmlファイルは、Hadoop_Home/etc/hadoopディレクトリに配置されます。HDFSハンドラがHadoopと同じ場所に配置されていない場合は、いずれかまたは両方のファイルを別のマシンにコピーできます。

親トピック: HDFSハンドラの設定および実行

8.3.2 HDFSハンドラ構成

HDFSハンドラの構成可能な値は次のとおりです。これらのプロパティは、Javaアダプタ・プロパティ・ファイルにあります(Replicatプロパティ・ファイルにはありません)。

HDFSハンドラの選択を有効にするには、まずgg.handler.jdbc.type=hdfsを指定してハンドラ・タイプを構成してから、次に示す他のHDFSプロパティを構成する必要があります。

プロパティ	オプション / 必須	有効な値	デフォルト	説明
`gg.handlerlist`	必須	任意の文字列	なし	HDFSハンドラの名前を指定します。HDFSハンドラ名は、この表にリストしたプロパティ名の一部になります。
`gg.handler.name.type`	必須	`hdfs`	なし	HDFSハンドラを選択し、変更データ取得をHDFSにストリーミングします。
`gg.handler.name.mode`	オプション	`tx` \| `op`	`op`	ハンドラの操作(`op`)モードかトランザクション(`tx`)モードかを選択します。ほぼどんな場合でも、トランザクション・モードのほうがパフォーマンスは良くなります。
`gg.handler.name.maxFileSize`	オプション	デフォルトの測定単位はバイトです。`k`、`m`または`g`を使用して、KB、MBまたはGBを指定できます。有効な値は、`10000`、`10k`、`100m`、`1.1g`などです。	`1g`	作成されるHDFSファイルの最大ファイル・サイズを選択します。
`gg.handler.name.pathMappingTemplate`	オプション	HDFSのターゲット書込みディレクトリを解決する有効なテンプレート化された文字列。テンプレートには、HDFS書込みディレクトリを生成するために実行時に動的に解決される定数およびキーワードを混在させることができます。	`/ogg/${toLowerCase[${fullyQualifiedTableName}]}`	HDFS書込みディレクトリを実行時に動的に生成するために、定数とともにインタレースされるキーワードを使用できます(「テンプレート文字列を使用したHDFSファイル名の生成」を参照)。
`gg.handler.name.fileRollInterval`	オプション	デフォルトの測定単位はミリ秒です。`ms`、`s`、`m`、`h`がそれぞれ、ミリ秒、秒、分、時間を表すように指定できます。有効な値は、`10000`、10000ms、`10s`、`10m`、`1.5h`などです。`0`以下の値を指定すると、ファイルのローリング・オン時間がオフになります。	ファイルのローリング・オン時間がオフ。	タイマーはHDFSファイルが作成されるときにスタートします。間隔が経過したときにまだファイルが開いている場合、そのファイルは閉じられます。新しいファイルはすぐには開かれません。新しいHDFSファイルは、ジャストインタイム・ベースで作成されます。
`gg.handler.name.inactivityRollInterval`	オプション	デフォルトの測定単位はミリ秒です。`ms`、`s`、`m`、`h`を使用して、ミリ秒、秒、分、時間を指定できます。有効な値は、10000、10000ms、10s、10, 5m、1hなどです。0以下の値を指定すると、ファイルの非アクティブ・ローリング・オン時間がオフになります。	ファイルの非アクティブ・ローリング・オン時間がオフ。	タイマーは、HDFSファイルへの前回の書込みからスタートします。HDFSファイルへの新しい書込みでカウンタが再開されます。カウンタが経過したときにまだファイルが開いている場合、そのHDFSファイルは閉じられます。新しいファイルはすぐには開かれません。新しいHDFSファイルは、ジャストインタイム・ベースで作成されます。
`gg.handler.name.fileNameMappingTemplate`	オプション	実行時にHDFSファイル名を動的に生成するために使用される、解決可能なキーワードと定数を含む文字列。	`${fullyQualifiedTableName}_${groupName}_${currentTimeStamp}.txt`	一意のHDFSファイル名を実行時に動的に生成するために、定数とともにインタレースされるキーワードを使用できます(「テンプレート文字列を使用したHDFSファイル名の生成」を参照)。ファイル名は通常、`${fullyQualifiedTableName}_${groupName}_${currentTimeStamp}{.txt}`の形式に従います。
`gg.handler.name.partitionByTable`	オプション	`true` \| `false`	`true` (データは表ごとにパーティション化される)	HDFSに書き込まれるデータを表ごとにパーティション化するかどうかを決定します。`true`に設定すると、異なる表のデータは異なるHDFSファイルに書き込まれます。`false`に設定すると、別の表のデータが同じHDFSファイルにインタレースされます。 Avroオブジェクト・コンテナ・ファイル・フォーマッタを使用するには`true`に設定する必要があります。`false`に設定すると、初期化時に構成の例外が発生します。
`gg.handler.name.rollOnMetadataChange`	オプション	`true` \| `false`	`true` (HDFSファイルは、メタデータ変更イベント時にロールされます)	メタデータの変更があった場合に、HDFSファイルをロールするかどうかを決定します。trueの場合はHDFSがロールされ、falseの場合はHDFSがロールされません。 Avroオブジェクト・コンテナ・ファイル・フォーマッタを使用するには`true`に設定する必要があります。`false`に設定すると、初期化時に構成の例外が発生します。
`gg.handler.name.format`	オプション	`delimitedtext` \| `json` \| `json_row` \| `xml` \| `avro_row` \| `avro_op` \| `avro_row_ocf` \| `avro_op_ocf` \| `sequencefile`	`delimitedtext`	出力データのフォーマット方法について、HDFSハンドラのフォーマッタを選択します。 `delimitedtext`: 区切りテキスト `json`: JSON `json_row`: JSON出力モデリング行データ `xml`: XML `avro_row`: 行コンパクト形式のAvro `avro_op`: 操作詳細形式のAvro。 `avro_row_ocf`: Avroオブジェクト・コンテナ・ファイル(OCF)形式でHDFSに書き込まれる行コンパクト形式のAvro。 `avro_op_ocf`: Avroオブジェクト・コンテナ・ファイル形式でHDFSに書き込まれる詳細形式のAvro。 `sequencefile`: 順序ファイル形式でHDFSに順番に書き込まれる区切りテキスト。
`gg.handler.name.includeTokens`	オプション	`true` \| `false`	`false`	トークン・フィールドとトークン・キーや値を出力に含める場合は`true`に設定します。トークン出力を表示しない場合は`false`に設定します。
`gg.handler.name.partitioner.fully_qualified_table_ name` カンマで区切られた1つ以上の列名と等しい。	オプション	完全修飾の表名と列名が存在する必要があります。	`-`	これは、`par_{column name}={column value}`という形式で、HDFSのデータをサブディレクトリに分割します。
`gg.handler.name.authType`	オプション	`kerberos`	`none`	このプロパティを`kerberos`に設定すると、Kerberos認証が有効になります。
`gg.handler.name.kerberosKeytabFile`	オプション(次の場合は必須 `authType=Kerberos` )	Kerberos `keytab`ファイルの相対パスまたは絶対パス。	`-`	`keytab`ファイルを使用すると、HDFSハンドラがパスワードにアクセスし、Kerberosセキュリティに対して`kinit`操作を実行できます。
`gg.handler.name.kerberosPrincipal`	オプション(次の場合は必須 `authType=Kerberos` )	`user/FQDN@MY.REALM`などの有効なKerberosプリンシパル名。	`-`	Kerberos認証で用いるKerberosプリンシパル名。
`gg.handler.name.schemaFilePath`	オプション		`null`	HDFSの有効なパスに設定して、スキーム(使用可能な場合)はHDFSディレクトリに書きこまれるようにします。スキーマは現在AvroおよびJSONフォーマッタでのみ使用できます。メタデータ変更イベントが発生すると、スキーマが上書きされてスキーマの変更が反映されます。
`gg.handler.name.compressionType` 順序ファイル形式にのみ適用可能。	オプション	`block \| none \| record`	`none`	Hadoop順序ファイル圧縮タイプ。`gg.handler.name.format`が`sequencefile`に設定されている場合のみ適用できます
`gg.handler.name.compressionCodec` 順序ファイルに適用可能で、HDFSへの書き込みはAvro OCF形式のみ。	オプション	`org.apache.hadoop.io.compress.DefaultCodec \| org.apache.hadoop.io.compress. BZip2Codec \| org.apache.hadoop.io.compress.SnappyCodec \| org.apache.hadoop.io.compress. GzipCodec`	`org.apache.hadoop.io.compress.DefaultCodec`	Hadoop順序ファイル圧縮コーデック。`gg.handler.name.format`が`sequencefile`に設定されている場合のみ適用できます
入力必須	オプション	`null \| snappy \| bzip2 \| xz \| deflate`	`null`	Avro OCFフォーマッタ圧縮コード。この構成では、Avro OCFファイルに使用される圧縮ライブラリの選択を制御します。 SnappyはSnappy JARファイルにネイティブ・バイナリを含み、圧縮時または圧縮解除時にJava-nativeトラバーサルを実行します。Snappyを使用することで、Javaを使用しているときは発生しない実行時の問題やプラットフォームの移植の問題が生じる場合があります。場合によっては、追加のテストを実施して、Snappyが必要なすべてのプラットフォームで確実に動作するか確認する必要があります。Snappyはオープン・ソース・ライブラリであるため、オラクル社は必要なすべてのプラットフォームでの稼働を保証できません。
`gg.handler.name.hiveJdbcUrl`	オプション	Hive JDBCインタフェースを使用してHiveに接続するための有効なURL。	`null` (Hive統合は無効)	Avro OCFフォーマッタにのみ適用できます。この構成値では、Hive JDBCインタフェースを通じてHiveに接続するためのJDBC URLを指定します。このプロパティを使用するには、`gg.classpath`にHive JDBCライブラリを含める必要があります。 Hive JDBC接続は、基本の資格証明、SSL/TLS、またはKerberosを介して保護できます。基本の資格証明では、ユーザー名およびパスワードの構成プロパティが指定されます。 SSL/TLSでのHive JDBC URLの生成方法については、Hiveドキュメントを参照してください。 KerberosでのHive JDBC URLの生成方法については、Hiveドキュメントを参照してください。(Hive JDBCのセキュリティにKerberosを使用する場合、HDFS接続に対してKerberosを有効にする必要があります。この場合、Hive JDBC接続は同じKerberosプリンシパルを使用してHDFS Kerberos機能でピギーバックすることができます)。
`gg.handler.name.hiveJdbcUsername`	オプション	Hive JDBC接続が資格証明により保護される場合の有効なユーザー名。	`System.getProperty`(`user.name`)からのJavaの呼び出し結果	Avroオブジェクト・コンテナ・ファイルOCFフォーマッタにのみ適用できます。このプロパティは、`hiveJdbcUrl`プロパティが設定されている場合にのみ関連します。JDBC接続が資格証明により保護されている場合に、環境に必要になる場合があります。Hiveでは、Hive DDL操作がユーザーに関連付けられている必要があります。値を設定しない場合、デフォルトはJavaの呼び出し`System.getProperty`(`user.name`)の結果になります。
`gg.handler.name.hiveJdbcPassword`	オプション	Hive JDBC接続にパスワードが必要な場合の有効なパスワード。	なし	Avro OCFフォーマッタにのみ適用できます。このプロパティは、`hiveJdbcUrl`プロパティが設定されている場合にのみ関連します。JDBC接続が資格証明により保護されている場合に、環境に必要になる場合があります。このプロパティは、JDBC接続にパスワードが必要となるようHiveが構成されている場合に必須です。
`gg.handler.name.hiveJdbcDriver`	オプション	完全修飾のHive JDBCドライバ・クラス名。	`org.apache.hive.jdbc.HiveDriver`	Avro OCFフォーマッタにのみ適用できます。このプロパティは、`hiveJdbcUrl`プロパティが設定されている場合にのみ関連します。デフォルトはHive Hadoop2 JDBCドライバ名です。通常、このプロパティは構成が不要で、Apache Hiveに新しいJDBCドライバ・クラスが導入される場合に使用されます。
`gg.handler.name.openNextFileAtRoll`	オプション	`true \| false`	`false`	抽出、ロード、変換(ELT)の状況をサポートするために、Avro OCFまたは順序ファイルの書込みを行わないHDFSハンドラにのみ適用できます。このプロパティを`true`に設定すると、ファイル・ロールが発生した場合に新しいファイルがただちに作成されます。ファイル・ロールは次のいずれかによってトリガーされます: メタデータ変更ファイル・ロールの経過間隔非アクティブの経過間隔データ・ファイルはHDFSにロードされ、監視プログラムはデータの消費を待機する書込みディレクトリを監視します。消費アプリケーションによって前のファイルを消費できるように、監視プログラムは新しいファイルの出現をトリガーとして使用します。
`gg.handler.name.hsync`	オプション	`true` \| `false`	`false`	`hflush`コールを使用して、データがHDFSハンドラからHDFSクラスタに確実に転送されるようにするために設定します。`false`に設定すると、`hflush`は、書込み永続性を確実にするためにトランザクションのコミット時にオープンしているHDFS書込みストリームで呼び出されます。 `hsync`を`true`に設定すると、トランザクションのコミット時に`hflush`ではなく`hsync`が呼び出されます。`hsync`を使用すると、データがHDFSクラスタに移動され、データがディスクに書き込まれます。これにより、高レベルの書込み永続性が実現しますが、パフォーマンスに悪影響を与えます。また、分析ツールで書込みデータをすぐには利用できません。多くのアプリケーションでは、このプロパティを`false`に設定することが適しています。

親トピック: HDFSハンドラの設定および実行

8.3.3 サンプル構成の確認

Javaアダプタ・プロパティ・ファイルからのHDFSハンドラのサンプル構成を次に示します。

gg.handlerlist=hdfs
gg.handler.hdfs.type=hdfs
gg.handler.hdfs.mode=tx
gg.handler.hdfs.includeTokens=false
gg.handler.hdfs.maxFileSize=1g
gg.handler.hdfs.pathMappingTemplate=/ogg/${fullyQualifiedTableName
gg.handler.hdfs.fileRollInterval=0
gg.handler.hdfs.inactivityRollInterval=0
gg.handler.hdfs.partitionByTable=true
gg.handler.hdfs.rollOnMetadataChange=true
gg.handler.hdfs.authType=none
gg.handler.hdfs.format=delimitedtext

親トピック: HDFSハンドラの設定および実行

8.3.4 パフォーマンスに関する考慮事項

HDFSハンドラは、書込み永続性を維持する目的で、各トランザクションの最後にHDFSデータ・ノードにデータをフラッシュするために、HDFS書込みストリームでHDFSフラッシュ・メソッドを呼び出します。これは負荷の高いコールなので、1つまたは複数の操作のトランザクションで多数のHDFSフラッシュ・コールが発生する場合には特に、パフォーマンスが悪影響を受ける可能性があります。

複数の小さいトランザクションを1つの大きいトランザクションのバッチ処理にまとめると、HDFSハンドラのパフォーマンスが大幅に向上する可能性があります。高いパフォーマンスが必要な場合は、Replicatプロセスのバッチ処理機能を構成します。詳細は、「Replicatのグループ化」を参照してください。

HDFSクライアント・ライブラリは、HDFSハンドラがオープンするHDFSファイル・ストリームごとにスレッドを生成します。そのため、JMVで実行するスレッドの数は、オープンしているHDFSファイル・ストリームの数に比例して増加します。オープンしているHDFSファイル・ストリームが増えると、HDFSハンドラのパフォーマンスが低下する可能性があります。(ソース・レプリケーション表が多い、またはパーティション化を多用しているという理由で)多くのHDFSファイルに書き込むようHDFSハンドラを構成すると、パフォーマンスが低下することがあります。ユースケースによって、多くの表への書込みが必要な場合は、HDFSファイル・ストリームをクローズするロール・オン時間またはロール・オン非アクティブの機能を有効にすることをお薦めします。HDFSファイル・ストリームをクローズすると、HDFSクライアント・スレッドが終了し、関連するリソースをJVMが再利用できるようになります。

親トピック: HDFSハンドラの設定および実行

8.3.5 セキュリティ

HDFSクラスタは、Kerberos認証を使用して保護できます。HDFSハンドラは、Kerberosで保護されたクラスタに接続できます。HDFS core-site.xmlがハンドラのクラスパスにあり、hadoop.security.authenticationプロパティをkerberosに、hadoop.security.authorizationプロパティをtrueに設定する必要があります。また、HDFSハンドラのJava構成ファイルで次のプロパティを設定する必要があります。

gg.handler.name.authType=kerberos
gg.handler.name.kerberosPrincipalName=legal Kerberos principal name
gg.handler.name.kerberosKeytabFile=path to a keytab file that contains the password for the Kerberos principal so that the HDFS Handler can programmatically perform the Kerberos kinit operations to obtain a Kerberos ticket

keytabファイルからKerberosパスワードを復号化できない場合があります。これによって、Kerberos認証が対話型モードにフォール・バックされ、プログラムで呼び出されているため機能しなくなります。この問題の原因は、Java Cryptography Extension (JCE)が、Java Runtime Environment (JRE)にインストールされていないことです。JCEがJREにロードされていることを確認します。http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.htmlを参照してください。

親トピック: HDFSハンドラの設定および実行

8.4 Avroオブジェクト・コンテナ・ファイル形式でのHDFSへの書込み

HDFSハンドラには、Avroオブジェクト・コンテナ・ファイル(OCF)形式でHDFSに書き込むための特殊な機能が含まれています。このAvro OCFはAvro仕様の一部です。詳細は、次の場所にあるAvroドキュメントを参照してください。

https://avro.apache.org/docs/current/spec.html#Object+Container+Files

Avro OCF形式を選択する理由は次のとおりです。

Apache Hiveと統合できます(HDFSに書き込まれる未加工のAvroはHiveでサポートされない。)
スキーマ展開に対する適切なサポートを提供します。

HDFSにAvro OCF形式で書込みできるようにするには、次の構成を行います。

行データをHDFSにAvro OCF形式で書き込むには、gg.handler.name.format=avro_row_ocfプロパティを構成します。

操作データをHDFSにAvro OCF形式で書き込むには、gg.handler.name.format=avro_op_ocfプロパティを構成します。

HDFSおよびAvro OCF統合には、Hiveで対応する表を作成し、メタデータ変更イベントについてスキーマを更新するための機能が含まれています。構成の項では、Hiveとの統合を有効にするプロパティに関する情報を説明しています。Oracle GoldenGate Hive統合はJDBCインタフェースを使用してHiveにアクセスするため、この統合を有効にするにはHive JDBCサーバーを実行する必要があります。

親トピック: HDFSハンドラの使用

8.5 テンプレート文字列を使用したHDFSファイル名の生成

HDFSハンドラでは、テンプレート文字列を使用してHDFSファイル名を動的に生成できます。テンプレート文字列を使用すると、静的な文字列とともに実行時に動的に解決されるキーワードの組合せを生成することで、生成されるHDFSファイル名をより詳細に制御できます。テンプレート・ファイル名は、gg.handler.name.fileNameMappingTemplate構成プロパティを使用して制御できます。このパラメータのデフォルト値は次のとおりです。

${fullyQualifiedTableName}_${groupName}_${currentTimestamp}.txt

実行時に動的に置き換えられるキーワードは、次のものがサポートされています。

キーワード

置換

${fullyQualifiedTableName}

名前をピリオド(.)で区切った完全修飾表名。たとえば、oracle.test.table1。

${catalogName}

ソース表のカタログ名。たとえば、oracle。

${schemaName}

ソース表のスキーマ名。たとえば、test。

${tableName}

ソース表の短い表名。たとえば、table1。

${groupName}

調整された適用を使用する場合は、スレッドIDと連結されたReplicatプロセス名。たとえば、HDFS001。

${currentTimestamp}

日時のデフォルトの出力形式はyyyy-MM-dd_HH-mm-ss.SSSです。たとえば、2017-07-05_04-31-23.123。

または、構文${currentTimestamp[yyyy-MM-dd_HH-mm-ss.SSS]}を使用して、独自の日付の書式マスクを構成することもできます。日時の書式マスクはJavaクラスjava.text.SimpleDateFormatの規則に従います。

${toLowerCase[]}

大カッコ内の引数を小文字に変換します。次のように、キーワードは、大カッコ内にネストできます。

${toLowerCase[${fullyQualifiedTableName}]}

これは、Oracle GoldenGateでソース表名が大文字に正規化されているため重要です。

${toUpperCase[]}

大カッコ内の引数を大文字に変換します。キーワードは、大カッコ内にネストできます。

有効なテンプレートおよび解決された文字列の例を次に示します。

有効なテンプレート: 置換
${schemaName}.${tableName}__${groupName}_${currentTimestamp}.txt: test.table1__HDFS001_2017-07-05_04-31-23.123.txt
${fullyQualifiedTableName}--${currentTimestamp}.avro: oracle.test.table1—2017-07-05_04-31-23.123.avro
${fullyQualifiedTableName}_${currentTimestamp[yyyy-MM-ddTHH-mm-ss.SSS]}.json: oracle.test.table1—2017-07-05T04-31-23.123.json

テンプレートを使用してHDFSファイル名を生成する場合は、次の制限に注意してください。

生成されるHDFSファイル名は、有効なHDFSファイル名である必要があります。
調整された適用および分割されたソース表データを異なるReplicatスレッドに使用する場合は、HDFSファイルの命名テンプレートの一部として${groupName}を使用することを強くお薦めします。生成されるHDFS名の一意性を提供するのはグループ名で、${currentTimestamp}単独では保証されません。HDFSファイル名の衝突により、Replicatプロセスの異常終了が発生します。

親トピック: HDFSハンドラの使用

8.6 メタデータ変更イベント

メタデータ変更イベントが、HDFSハンドラによって処理されるようになりました。HDFSハンドラのデフォルトの動作では、メタデータ変更イベントが発生した場合、現在の関連ファイルがロールされます。この動作により、メタデータ変更の結果は少なくとも複数のファイルに分割できます。メタデータ変更に対するファイル・ローリングは設定変更が可能なので、オフにすることができます。

メタデータ変更イベントをサポートするには、ソース・データベースで変更をキャプチャするプロセスが、DDL変更と証跡でのメタデータの両方をサポートする必要があります。Oracle GoldenGateでは、すべてのデータベース実装でDDLレプリケーションがサポートされているわけではありません。DDLレプリケーションがサポートされているかどうかを判断するには、適切なデータベースに対応するOracle GoldenGateのインストレーションおよび構成ガイドを参照してください。

親トピック: HDFSハンドラの使用

8.7 パーティション化

HDFSハンドラは、1つ以上の列値による表データのパーティション化をサポートしています。パーティション化を有効にする構成構文は、次のとおりです。

gg.handler.name.partitioner.fully qualified table name=one mor more column names separated by commas

次の例で考えてみます。

gg.handler.hdfs.partitioner.dbo.orders=sales_region

この例では、HDFSでファイルが次のように分割されます。

/ogg/dbo.orders/par_sales_region=west/data files
/ogg/dbo.orders/par_sales_region=east/data files
/ogg/dbo.orders/par_sales_region=north/data files
/ogg/dbo.orders/par_sales_region=south/data files

パーティション化する列は、慎重に選択してください。重要なのは、値の候補が少ない(10個以下)列を選択することと、その値がデータのグループ化と分析に役立つことです。たとえば、販売地域の列はパーティション化に適しています。顧客の生年月日が含まれている列は、パーティション化に適していません。値の候補が多い列でパーティション化を構成すると、問題が起きる可能性があります。選択を誤ると、数百ものHDFSファイル・ストリームがオープンし、「パフォーマンスに関する考慮事項」で説明したように、パフォーマンスが低下する恐れがあります。また、パーティション化が不適切な場合は、データの分析中に問題が発生することがあります。Apache Hiveで、Hiveデータをパーティション化する場合には、where句のすべてにパーティション基準を指定する必要があります。

親トピック: HDFSハンドラの使用

8.8 HDFSのその他の考慮事項

Oracle HDFSハンドラでは、HDFSにデータをストリーミングする前提条件として、特定のHDFSクライアント・ライブラリをクラスパスで解決する必要があります。

必要なクライアントJARファイルのバージョン別リストは、「HDFSハンドラ・クライアント依存性」を参照してください。HDFSクライアントjarは、Oracle GoldenGate for Big Data製品に付属しません。HDFSハンドラは複数のバージョンのHDFSをサポートし、HDFSクライアントjarはHDFSハンドラが接続するHDFSと同じバージョンである必要があります。HDFSクライアントjarはオープン・ソースであり、Apache HadoopサイトやMaven Central Repositoryなどのサイトから無償でダウンロードできます。

HDFSへの接続を確立するには、HDFSハンドラのクラスパスにHDFS core-site.xmlファイルが存在する必要があります。core-site.xmlファイルがクラスパスに存在しない場合、HDFSクライアント・コードのデフォルトは、ローカル・ファイル・システムに書き込もうとするモードになります。HDFSではなくローカル・ファイル・システムに書き込むと、トラブルシューティングや、連絡ポイント(POC)の構築に、またはHDFS統合を確立するプロセスのステップの1つとして便利です。

もう1つ気を付けたいのは、HDFSハンドラを使用してHDFSにストリーミングされるデータは、Hiveなどのビッグ・データ分析ツールですぐには利用できない場合も多いということです。これは主に、HDFSファイルに対してオープンしている書込みストリームをHDFSハンドラが保有している場合に発生します。デフォルトでは、HDFSは128 MBのブロックで書き込みます。構築中のHDFSブロックは、分析ツールが認識されないことがあります。また、HDFSシェルで-ls、-cat、-getの各コマンドを使用するとき、ファイル・サイズ間に矛盾が発生することもあります。これはHDFSストリーミングの異常であり、HDFS仕様にも書かれています。HDFSのこの異常が原因で、分析データにはファイルごとに128 MBのブラインド・スポットが発生することがあります。レプリケーション・データのストリームが一定しており、HDFSからの分析データに低レベルのレイテンシが必要なければ、これは問題になりません。ただし、HDFS書込みストリームをクローズすると、ブロック書込みがファイナライズされるため、場合によってはこれが問題になることがあります。データは分析ツールですぐに認識され、ファイル・サイズの測定は再び安定します。そのため、HDFSハンドラに追加されたファイル・ローリング機能を使用すると、HDFS書込みストリームをクローズしてすべてのデータを認識させることができます。

重要:

ファイル・ローリング・ソリューションは、それ自体に問題がある場合もあります。ファイル・ローリングを多用すると、HDFSに小さいファイルが大量に発生します。HDFS内の多数の小さいファイルにより、分析ツールでパフォーマンスの問題が発生する可能性があります。

次の場合にも、HDFSに矛盾の問題が発生する可能性があります。

HDFSハンドラ・プロセスがクラッシュする。
HDFSハンドラ・プロセスで強制シャットダウンが呼び出される。
ネットワークの停止やその他の原因でHDFSハンドラ・プロセスが異常終了する。

どの場合にもHDFSハンドラは、HDFS書込みストリームを明示的にクローズして書込みブロックをファイナライズせずに終了する可能性があります。内部プロセスとしてHDFSは、書込みストリームが破損していることを最終的に認識するため、HDFSが書込みブロックをファイナライズします。この場合、HDFSプロセスが書込みブロックをファイナライズする前に短時間の遅延が発生することがあります。

親トピック: HDFSハンドラの使用

8.9 ベスト・プラクティス

HDFSクラスタは、クラスタ・ノードと呼ばれる専用サーバーで稼働させるのが、ビッグ・データのベスト・プラクティスと考えられています。エッジ・ノードとは、HDFSクラスタ・ノードにデータをストリーミングし、HDFSクラスタ・ノードからデータを取得するアプリケーションをホストするサーバー・マシンです。HDFSクラスタ・ノードとエッジ・ノードは別のサーバーであるため、次のような利点があります。

HDFSクラスタ・ノードが、クラスタのインタフェースを提供するアプリケーションと、リソースをめぐって競合しません。
HDFSクラスタ・ノードとエッジ・ノードで要件が異なる可能性があります。この物理トポロジのために、特定のニーズに応じて適切なハードウェアを構成できます。

ベスト・プラクティスとして、HDFSハンドラはエッジ・ノードにインストールして実行し、ネットワーク接続を使用してHDFSクラスタにデータをストリーミングするようにします。HDFSハンドラは、ネットワーク上でHDFSクラスタに認識されればどのマシン上でも実行できます。HDFSハンドラをエッジ・ノードにインストールするには、core-site.xmlファイルと依存関係jarをエッジ・ノードにコピーし、HDFSハンドラがアクセスできるようにする必要があります。必要に応じて、HDFSハンドラはHDFSクラスタ・ノード上に共存させることもできます。

親トピック: HDFSハンドラの使用

8.10 HDFSハンドラのトラブルシューティング

HDFSハンドラのトラブルシューティングは、Java log4jファイルの内容から始まります。Javaロギング構成にある指示に従って、Java log4jログ・ファイルを正しく生成するようにランタイムを構成してください。

トピック:

親トピック: HDFSハンドラの使用

8.10.1 Javaクラスパス

Javaクラスパスはよくある問題です。クラスパスに問題があることは通例、Java log4jログ・ファイルの、ClassNotFoundExceptionでわかります。この問題のトラブルシューティングに、Java log4jログ・ファイルを使用できます。ログ・レベルをDEBUGに設定すると、ログ・ファイルに記録されるgg.classpathオブジェクトで参照されているjarそれぞれを記録できます。この方法では、DEBUGレベルのロギングを有効にし、ログ・ファイルで次のようなメッセージを探すと、必要な依存関係jarがすべて解決されることを確認できます。

2015-09-21 10:05:10 DEBUG ConfigClassPath:74 - ...adding to classpath: url="file:/ggwork/hadoop/hadoop-2.6.0/share/hadoop/common/lib/guava-11.0.2.jar

親トピック: HDFSハンドラのトラブルシューティング

8.10.2 HDFS接続プロパティ

HDFS core-site.xmlファイル(デフォルト設定を含んでいる)の内容は、ロギング・レベルを DEBUGまたはTRACEに設定している場合に、Java log4jログ・ファイルに出力されます。この出力には、HDFSへの接続プロパティが示されます。Java log4jログ・ファイルで次のものを検索します。

2015-09-21 10:05:11 DEBUG HDFSConfiguration:58 - Begin - HDFS configuration object contents for connection troubleshooting.

fs.defaultFSプロパティがローカル・ファイル・システムを指す場合、core-site.xmlファイルはgg.classpathプロパティで適切に設定されていません。

  Key: [fs.defaultFS] Value: [file:///].

適切にHDFSホストおよびポートが指定されたfs.defaultFSは、次のようになります。

Key: [fs.defaultFS] Value: [hdfs://hdfshost:9000].

親トピック: HDFSハンドラのトラブルシューティング

8.10.3 ハンドラとフォーマッタ構成

Java log4jログ・ファイルには、HDFSハンドラおよび選択したフォーマッタの構成状態に関する情報が含まれています。この情報は、INFOログ・レベルで出力されます。出力は次のようになります。

2015-09-21 10:05:11 INFO  AvroRowFormatter:156 - **** Begin Avro Row Formatter -
 Configuration Summary ****
  Operation types are always included in the Avro formatter output.
    The key for insert operations is [I].
    The key for update operations is [U].
    The key for delete operations is [D].
    The key for truncate operations is [T].
  Column type mapping has been configured to map source column types to an
 appropriate corresponding Avro type.
  Created Avro schemas will be output to the directory [./dirdef].
  Created Avro schemas will be encoded using the [UTF-8] character set.
  In the event of a primary key update, the Avro Formatter will ABEND.
  Avro row messages will not be wrapped inside a generic Avro message.
  No delimiter will be inserted after each generated Avro message.
**** End Avro Row Formatter - Configuration Summary ****
 
2015-09-21 10:05:11 INFO  HDFSHandler:207 - **** Begin HDFS Handler -
 Configuration Summary ****
  Mode of operation is set to tx.
  Data streamed to HDFS will be partitioned by table.
  Tokens will be included in the output.
  The HDFS root directory for writing is set to [/ogg].
  The maximum HDFS file size has been set to 1073741824 bytes.
  Rolling of HDFS files based on time is configured as off.
  Rolling of HDFS files based on write inactivity is configured as off.
  Rolling of HDFS files in the case of a metadata change event is enabled.
  HDFS partitioning information:
    The HDFS partitioning object contains no partitioning information.
HDFS Handler Authentication type has been configured to use [none]
**** End HDFS Handler - Configuration Summary ****

親トピック: HDFSハンドラのトラブルシューティング