プライマリ・コンテンツへ移動
Oracle® Fusion Middleware Oracle GoldenGate for Big Dataの統合
リリース12.3.1.1
E89944-01
次
目次
タイトルおよび著作権情報
はじめに
対象読者
ドキュメントのアクセシビリティについて
関連情報
表記規則
1
GoldenGate for Big Dataの概要
1.1
概要
1.2
サポート対象の理解
1.2.1
動作保証要件とシステム要件の確認
1.2.2
ハンドラの互換性の理解
1.2.2.1
Cassandraハンドラ
1.2.2.2
Flumeハンドラ
1.2.2.3
Elasticsearchハンドラ
1.2.2.4
HBaseハンドラ
1.2.2.5
HDFSハンドラ
1.2.2.6
JDBCハンドラ
1.2.2.7
KafkaおよびKafka Connectハンドラ
1.2.2.8
Kinesis Streamsハンドラ
1.2.2.9
MongoDBハンドラ
1.2.3
その他のサポートに関する考慮事項
1.3
Oracle GoldenGate for Big Dataの設定
1.3.1
Java環境設定
1.3.2
プロパティ・ファイル
1.3.3
トランザクションのグループ化
1.4
GoldenGate for Big Dataの構成
1.4.1
Replicatによる実行
1.4.1.1
Replicatの構成
1.4.1.2
Replicatプロセスの追加
1.4.1.3
Replicatのグループ化
1.4.1.4
Replicatのチェックポイント化
1.4.1.5
初期ロードのサポート
1.4.1.6
サポートされないReplicatの機能
1.4.1.7
マッピング機能
1.4.2
ロギング
1.4.2.1
Replicatプロセスのロギング
1.4.2.2
Java層のロギング
1.4.3
スキーマ展開およびメタデータ変更イベント
1.4.4
構成プロパティ
CDATA[]
のラッピング
1.4.5
正規表現を使用した検索と置換
1.4.5.1
スキーマ・データの置換の使用
1.4.5.2
コンテンツ・データの置換の使用
1.4.6
Oracle GoldenGate for Big Data配信のスケーリング
1.4.7
Oracle GoldenGate資格証明ストアでの識別子の使用
1.4.7.1
資格証明ストアの作成
1.4.7.2
資格証明ストアへのユーザーの追加
1.4.7.3
資格証明ストアにアクセスするためのプロパティの構成
2
Cassandraハンドラの使用
2.1
概要
2.2
詳細な機能
2.2.1
Cassandraのデータ型
2.2.2
カタログ、スキーマ、表および列の名前マッピング
2.2.3
DDL機能
2.2.3.1
キースペース
2.2.3.2
表
2.2.3.3
列の追加機能
2.2.3.4
列の削除機能
2.2.4
操作の処理
2.2.5
圧縮更新と完全イメージ更新
2.2.6
主キーの更新
2.3
Cassandraハンドラの設定および実行
2.3.1
Cassandraハンドラ構成
2.3.2
サンプル構成
2.3.3
セキュリティ
2.4
自動DDL処理
2.4.1
表チェックおよび調整プロセス
2.5
パフォーマンスに関する考慮事項
2.6
その他の考慮事項
2.7
トラブルシューティング
2.7.1
Javaクラスパス
2.7.2
ロギング
2.7.3
書込みタイムアウトの例外
2.7.4
ロギング
3
Elasticsearchハンドラの使用
3.1
概要
3.2
詳細な機能
3.2.1
Elasticsearchのバージョン
3.2.2
Elasticsearchのインデックスおよびタイプ
3.2.3
Elasticsearchのドキュメント
3.2.4
Elasticsearchの主キーの更新
3.2.5
Elasticsearchのデータ型
3.2.6
Elasticsearchの操作サポート
3.2.7
Elasticsearchの接続
3.3
Elasticsearchハンドラの設定および実行
3.3.1
Elasticsearchハンドラ構成
3.3.2
Elasticsearchトランスポート・クライアントの設定プロパティ・ファイル
3.4
Elasticsearchのパフォーマンスに関する考慮事項
3.5
Elasticsearchのプラグイン・サポート
3.6
ElasticsearchのDDL処理
3.7
Elasticsearchの操作モード
3.8
トラブルシューティング
3.8.1
不適切なJavaクラスパス
3.8.2
Elasticsearchのバージョン不一致
3.8.3
Elasticsearchトランスポート・クライアントのプロパティ・ファイルが見つからない
3.8.4
Elasticsearchのクラスタ接続の問題
3.8.5
Elasticsearchのサポートされていない
TRUNCATE
操作
3.8.6
Elasticsearchの一括実行のエラー
3.9
ロギング
3.10
Elasticsearchハンドラの既知の問題
4
Flumeハンドラの使用
4.1
概要
4.2
Flumeハンドラの設定および実行
4.2.1
クラスパス構成
4.2.2
Flumeハンドラ構成
4.2.3
サンプル構成
4.3
操作からFlumeイベントへのデータ・マッピング
4.3.1
操作モード
4.3.2
トランザクション・モードと
EventMapsTo
操作
4.3.3
トランザクション・モードと
EventMapsTo
トランザクション
4.4
パフォーマンスに関する考慮事項
4.5
メタデータ変更イベント
4.6
Flumeソース構成の例
4.6.1
Avro Flumeソース
4.6.2
Thrift Flumeソース
4.7
高度な機能
4.7.1
スキーマの伝播
4.7.2
セキュリティ
4.7.3
フェイルオーバー機能
4.7.4
ロード・バランシング機能
4.8
Flumeハンドラのトラブルシューティング
4.8.1
Javaクラスパス
4.8.2
Flumeフロー制御の問題
4.8.3
Flumeエージェント構成ファイルが見つからない
4.8.4
Flume接続の例外
4.8.5
その他のエラー
5
HBaseハンドラの使用
5.1
概要
5.2
詳細な機能
5.3
HBaseハンドラの設定および実行
5.3.1
クラスパス構成
5.3.2
HBaseハンドラ構成
5.3.3
サンプル構成
5.3.4
パフォーマンスに関する考慮事項
5.3.5
セキュリティ
5.4
メタデータ変更イベント
5.5
その他の考慮事項
5.6
HBaseハンドラのトラブルシューティング
5.6.1
Javaクラスパス
5.6.2
HBase接続プロパティ
5.6.3
ハンドラ構成のロギング
5.6.4
HBaseハンドラの削除-挿入の問題
5.6.5
Cloudera CDHのHBase互換性
6
HDFSハンドラの使用
6.1
概要
6.2
SequenceFile形式でのHDFSへの書込み
6.2.1
Hiveとの統合
6.2.2
データ形式の理解
6.2.3
HDFSハンドラの設定および実行
6.2.3.1
クラスパス構成
6.2.3.2
HDFSハンドラ構成
6.2.3.3
サンプル構成
6.2.3.4
パフォーマンスに関する考慮事項
6.2.3.5
セキュリティ
6.3
Avroオブジェクト・コンテナ・ファイル形式でのHDFSへの書き込み
6.4
テンプレート文字列を使用したHDFSファイル名の生成
6.5
メタデータ変更イベント
6.6
パーティショニング
6.7
その他の考慮事項
6.8
ベスト・プラクティス
6.9
HDFSハンドラのトラブルシューティング
6.9.1
Javaクラスパス
6.9.2
HDFS構成プロパティ
6.9.3
ハンドラとフォーマッタ構成
7
Java Database Connectivityハンドラの使用
7.1
概要
7.2
詳細な機能
7.2.1
単一操作モード
7.2.2
Oracle Databaseデータ型
7.2.3
MySQL Databaseデータ型
7.2.4
Netezzaデータベース・データ型
7.2.5
Redshiftデータベース・データ型
7.3
JDBCハンドラの設定および実行
7.3.1
Javaクラスパス
7.3.2
ハンドラ構成
7.3.3
文のキャッシュ
7.3.4
エラー処理の設定
7.4
サンプル構成
7.4.1
Oracle Databaseターゲットの例
7.4.2
JDBCメタデータ・プロバイダを使用したOracle Databaseターゲットの例
7.4.3
MySQL Databaseターゲットの例
7.4.4
JDBCメタデータ・プロバイダを使用したMySQL Databaseターゲットの例
8
Kafkaハンドラの使用
8.1
概要
8.2
詳細な機能
8.3
Kafkaハンドラの設定および実行
8.3.1
クラスパス構成
8.3.2
Kafkaハンドラ構成
8.3.3
Javaアダプタ・プロパティ・ファイル
8.3.4
Kafkaプロデューサ構成ファイル
8.3.5
テンプレートを使用したトピック名とメッセージ・キーの解決
8.4
スキーマの伝播
8.5
パフォーマンスに関する考慮事項
8.6
セキュリティ
8.7
メタデータ変更イベント
8.8
Snappyに関する考慮事項
8.9
トラブルシューティング
8.9.1
Kafka設定の検証
8.9.2
クラスパスの問題
8.9.3
無効なKafkaバージョン
8.9.4
Kafkaプロデューサ・プロパティ・ファイルが見つからない
8.9.5
Kafka接続の問題
9
Kafka Connectハンドラの使用
9.1
概要
9.2
詳細な機能
9.3
Kafka Connectハンドラの設定および実行
9.3.1
Kafka Connectハンドラの構成
9.3.2
テンプレートを使用したトピック名とメッセージ・キーの解決
9.3.3
Kafka Connectハンドラでのセキュリティの構成
9.4
Kafka Connectハンドラのパフォーマンスに関する考慮事項
9.5
Kafka Connectハンドラのトラブルシューティング
9.5.1
Kafka Connectハンドラ用のJavaクラスパス
9.5.2
無効なKafkaバージョン
9.5.3
Kafkaプロデューサ・プロパティ・ファイルが見つからない
9.5.4
Kafka接続の問題
10
Kinesis Streamsハンドラの使用
10.1
概要
10.2
詳細な機能
10.2.1
Amazon Kinesis Java SDK
10.2.2
Kinesis Streamsの入力制限
10.3
Kinesis Streamsハンドラの設定および実行
10.3.1
Kinesis Streamsハンドラでのクラスパスの設定
10.3.2
Kinesis Streamsハンドラの構成
10.3.3
テンプレートを使用したストリーム名とパーティション名の解決
10.3.4
KinesisハンドラでのクライアントIDとシークレットの構成
10.3.5
Kinesis Streamsハンドラ用のプロキシ・サーバーの構成
10.3.6
Kinesis Streamsハンドラでのセキュリティの構成
10.4
Kinesisハンドラのパフォーマンスに関する考慮事項
10.4.1
Kinesis Streamsの入力制限
10.4.2
トランザクションのバッチ処理
10.4.3
トランザクション・コミット時のフラッシュの遅延
10.5
トラブルシューティング
10.5.1
Javaクラスパス
10.5.2
Kinesisハンドラの接続に関する問題
10.5.3
ロギング
11
メタデータ・プロバイダの使用
11.1
メタデータ・プロバイダについて
11.2
Avroメタデータ・プロバイダ
11.2.1
詳細な機能
11.2.2
実行時の前提条件
11.2.3
クラスパス構成
11.2.4
Avroメタデータ・プロバイダの構成
11.2.5
サンプル構成
11.2.6
メタデータ変更イベント
11.2.7
制限事項
11.2.8
トラブルシューティング
11.2.8.1
無効なスキーマ・ファイルの場所
11.2.8.2
無効なスキーマ・ファイル名
11.2.8.3
スキーマ・ファイルでの無効なネームスペース
11.2.8.4
スキーマ・ファイルでの無効な表名
11.3
Java Database Connectivityメタデータ・プロバイダ
11.3.1
JDBCの詳細な機能
11.3.2
Javaクラスパス
11.3.3
JDBCメタデータ・プロバイダの構成
11.3.4
サンプル構成
11.4
Hiveメタデータ・プロバイダ
11.4.1
詳細な機能
11.4.2
リモート・メタストア・データベースを使用するHiveの構成
11.4.3
クラスパス構成
11.4.4
Hiveメタデータ・プロバイダの構成
11.4.5
サンプル構成
11.4.6
セキュリティ
11.4.7
メタデータ変更イベント
11.4.8
制限事項
11.4.9
その他の考慮事項
11.4.10
トラブルシューティング
12
MongoDBハンドラの使用
12.1
概要
12.2
詳細な機能
12.2.1
ドキュメント・キー列
12.2.2
主キーの更新操作
12.2.3
MongoDB証跡のデータ型
12.3
MongoDBハンドラの設定および実行
12.3.1
クラスパス構成
12.3.2
MongoDBハンドラ構成
12.3.3
接続および認証
12.3.4
一括書込みの使用
12.3.5
書込み確認の使用
12.3.6
3部構成の表名の使用
12.3.7
元に戻す処理の使用
12.4
サンプル構成
13
プラガブル・フォーマッタの使用
13.1
操作ベースと行ベースのフォーマット
13.1.1
操作フォーマッタ
13.1.2
行フォーマッタ
13.1.3
表の行または列の値の状態
13.2
区切りテキスト・フォーマッタ
13.2.1
メッセージのフォーマットの詳細
13.2.2
フォーマットしたメッセージの例
13.2.2.1
挿入メッセージの例
13.2.2.2
更新メッセージの例
13.2.2.3
削除メッセージの例
13.2.2.4
切捨てメッセージの例
13.2.3
その他の考慮事項
13.2.3.1
主キーの更新
13.2.3.2
データの統合
13.2.4
出力形式サマリーのログ
13.2.5
区切りテキスト形式の構成
13.2.6
サンプル構成
13.2.7
メタデータ変更イベント
13.3
JSONフォーマッタ
13.3.1
操作メタデータのフォーマットの詳細
13.3.2
操作データのフォーマットの詳細
13.3.3
行データのフォーマットの詳細
13.3.4
JSONメッセージの例
13.3.4.1
操作モデル化JSONメッセージの例
13.3.4.2
フラット化操作モデル化JSONメッセージの例
13.3.4.3
行モデル化JSONメッセージの例
13.3.4.4
主キー出力JSONメッセージの例
13.3.5
JSONスキーマ
13.3.6
JSONフォーマッタの構成
13.3.7
サンプル構成
13.3.8
メタデータ変更イベント
13.3.9
JSON主キーの更新
13.3.10
Oracle Stream Analyticsの統合
13.4
Avroフォーマッタ
13.4.1
Avro行フォーマッタ
13.4.1.1
操作メタデータのフォーマットの詳細
13.4.1.2
操作データのフォーマットの詳細
13.4.1.3
Avro行メッセージの例
13.4.1.3.1
挿入メッセージの例
13.4.1.3.2
更新メッセージの例
13.4.1.3.3
削除メッセージの例
13.4.1.3.4
切捨てメッセージの例
13.4.1.4
Avroスキーマ
13.4.1.5
Avro行の構成
13.4.1.6
サンプル構成
13.4.1.7
メタデータ変更イベント
13.4.1.8
特別な考慮事項
13.4.1.8.1
トラブルシューティング
13.4.1.8.2
主キーの更新
13.4.1.8.3
汎用のラッパー機能
13.4.2
Avro操作フォーマッタ
13.4.2.1
操作メタデータのフォーマットの詳細
13.4.2.2
操作データのフォーマットの詳細
13.4.2.3
Avro操作メッセージの例
13.4.2.3.1
挿入メッセージの例
13.4.2.3.2
更新メッセージの例
13.4.2.3.3
削除メッセージの例
13.4.2.3.4
切捨てメッセージの例
13.4.2.4
Avroスキーマ
13.4.2.5
Avro操作フォーマッタの構成
13.4.2.6
サンプル構成
13.4.2.7
メタデータ変更イベント
13.4.2.8
特別な考慮事項
13.4.2.8.1
トラブルシューティング
13.4.2.8.2
主キーの更新
13.4.2.8.3
汎用のラッパー・メッセージ
13.4.3
Avroオブジェクト・コンテナ・ファイル・フォーマッタ
13.4.3.1
Avro OCFフォーマッタの構成
13.5
XMLフォーマッタ
13.5.1
メッセージのフォーマットの詳細
13.5.2
XMLメッセージの例
13.5.2.1
挿入メッセージの例
13.5.2.2
更新メッセージの例
13.5.2.3
削除メッセージの例
13.5.2.4
切捨てメッセージの例
13.5.3
XMLスキーマ
13.5.4
XML構成
13.5.5
サンプル構成
13.5.6
メタデータ変更イベント
13.5.7
主キーの更新
A
Cassandraハンドラ・クライアント依存性
A.1
Cassandra Datastax Java Driver 3.1.0
B
Elasticsearchハンドラ・クライアント依存性
B.1
Elasticsearchハンドラ・クライアント依存性
B.2
Elasticsearch 2.4.4およびShield Plugin 2.2.2
B.3
Elasticsearch 5.1.2とX-Pack 5.1.2
C
Flumeハンドラ・クライアント依存性
C.1
Flumeクライアント依存性
C.1.1
Flume 1.7.0
C.1.2
Flume 1.6.0
C.1.3
Flume 1.5.2
C.1.4
Flume 1.4.0
D
HBaseハンドラ・クライアント依存性
D.1
HBaseクライアント依存性
D.1.1
HBase 1.2.5
D.1.2
HBase 1.1.1
D.1.3
HBase 1.0.1.1
E
HDFSハンドラ・クライアント依存性
E.1
Hadoopクライアント依存性
E.1.1
HDFS 2.8.0
E.1.2
HDFS 2.7.1
E.1.3
HDFS 2.6.0
E.1.4
HDFS 2.5.2
E.1.5
HDFS 2.4.1
E.1.6
HDFS 2.3.0
E.1.7
HDFS 2.2.0
F
Kafkaハンドラ・クライアント依存性
F.1
Kafkaクライアント依存性
F.1.1
Kafka 0.11.0.0
F.1.2
Kafka 0.10.2.0
F.1.3
Kafka 0.10.1.1
F.1.4
Kafka 0.10.0.1
F.1.5
Kafka 0.9.0.1
G
Kafka Connectハンドラ・クライアント依存性
G.1
Kafka Connectクライアント依存性
G.1.1
Kafka 0.11.0.0
G.1.2
Kafka 0.10.2.0
G.1.3
Kafka 0.10.2.0
G.1.4
Kafka 0.10.0.0
G.1.5
Kafka 0.9.0.1
G.2
Confluent IOのAvroコンバータおよびスキーマ・レジストリ
G.2.1
Confluent IO 3.2.1
G.2.2
Confluent IO 3.2.0
G.2.3
Confluent IO 3.2.1
G.2.4
Confluent IO 3.1.1
G.2.5
Confluent IO 3.0.1
G.2.6
Confluent IO 2.0.1
G.2.7
Confluent IO 2.0.1
H
MongoDBハンドラ・クライアント依存性
H.1
MongoDB Java Driver 3.2.2
