目次

タイトルおよび著作権情報

はじめに

• 対象読者
• ドキュメントのアクセシビリティについて
• 関連情報
• 表記規則

1 GoldenGate for Big Dataの概要

• 1.1 概要
• 1.2 サポート対象の理解
  • 1.2.1 動作保証要件とシステム要件の確認
  • 1.2.2 ハンドラの互換性の理解
    • 1.2.2.1 HDFSハンドラ
    • 1.2.2.2 HBaseハンドラ
    • 1.2.2.3 Flumeハンドラ
    • 1.2.2.4 Kafkaハンドラ
    • 1.2.2.5 Cassandraハンドラ
    • 1.2.2.6 MongoDBハンドラ
    • 1.2.2.7 JBDCハンドラ
  • 1.2.3 その他のサポートに関する考慮事項
• 1.3 Oracle GoldenGate for Big Dataの設定
  • 1.3.1 Java環境設定
  • 1.3.2 プロパティ・ファイル
  • 1.3.3 トランザクションのグループ化
• 1.4 GoldenGate for Big Dataの構成
  • 1.4.1 Replicatによる実行
    • 1.4.1.1 Replicatの構成
    • 1.4.1.2 Replicatプロセスの追加
    • 1.4.1.3 Replicatのグループ化
    • 1.4.1.4 Replicatのチェックポイント化
    • 1.4.1.5 サポートされないReplicat機能
    • 1.4.1.6 マッピング機能
  • 1.4.2 ロギング
    • 1.4.2.1 Replicatプロセスのロギング
    • 1.4.2.2 Java層のロギング
  • 1.4.3 メタデータ変更イベント
  • 1.4.4 構成プロパティCDATA[]のラッピング
  • 1.4.5 正規表現を使用した検索と置換
    • 1.4.5.1 スキーマ・データの置換の使用
    • 1.4.5.2 コンテンツ・データの置換の使用
  • 1.4.6 Oracle GoldenGate for Big Data配信のスケーリング
  • 1.4.7 Oracle GoldenGate資格証明ストアでの識別子の使用
    • 1.4.7.1 資格証明ストアの作成
    • 1.4.7.2 資格証明ストアへのユーザーの追加
    • 1.4.7.3 資格証明ストアにアクセスするためのプロパティの構成

2 HDFSハンドラの使用

• 2.1 概要
• 2.2 SequenceFile形式でのHDFSへの書込み
  • 2.2.1 Hiveとの統合
  • 2.2.2 データ形式の理解
  • 2.2.3 HDFSハンドラの設定および実行
    • 2.2.3.1 クラスパス構成
    • 2.2.3.2 HDFSハンドラ構成
    • 2.2.3.3 サンプル構成
    • 2.2.3.4 パフォーマンスに関する考慮事項
    • 2.2.3.5 セキュリティ
• 2.3 Avroオブジェクト・コンテナ・ファイル形式でのHDFSへの書き込み
• 2.4 メタデータ変更イベント
• 2.5 パーティション化
• 2.6 その他の考慮事項
• 2.7 ベスト・プラクティス
• 2.8 HDFSハンドラのトラブルシューティング
  • 2.8.1 Javaクラスパス
  • 2.8.2 HDFS接続プロパティ
  • 2.8.3 ハンドラとフォーマッタ構成

3 HBaseハンドラの使用

• 3.1 概要
• 3.2 詳細な機能
• 3.3 HBaseハンドラの設定および実行
  • 3.3.1 クラスパス構成
  • 3.3.2 HBaseハンドラ構成
  • 3.3.3 サンプル構成
  • 3.3.4 パフォーマンスに関する考慮事項
  • 3.3.5 セキュリティ
• 3.4 メタデータ変更イベント
• 3.5 その他の考慮事項
• 3.6 HBaseハンドラのトラブルシューティング
  • 3.6.1 Javaクラスパス
  • 3.6.2 HBase接続プロパティ
  • 3.6.3 ハンドラ構成のロギング

4 Flumeハンドラの使用

• 4.1 概要
• 4.2 Flumeハンドラの設定および実行
  • 4.2.1 クラスパス構成
  • 4.2.2 Flumeハンドラ構成
  • 4.2.3 サンプル構成
• 4.3 操作からFlumeイベントへのデータ・マッピング
  • 4.3.1 操作モード
  • 4.3.2 トランザクション・モードとEventMapsTo操作
  • 4.3.3 トランザクション・モードとEventMapsToトランザクション
• 4.4 パフォーマンスに関する考慮事項
• 4.5 メタデータ変更イベント
• 4.6 Flumeソース構成の例
  • 4.6.1 Avro Flumeソース
  • 4.6.2 Thrift Flumeソース
• 4.7 高度な機能
  • 4.7.1 スキーマの伝播
  • 4.7.2 セキュリティ
  • 4.7.3 フェイルオーバー機能
  • 4.7.4 ロード・バランシング機能
• 4.8 Flumeハンドラのトラブルシューティング
  • 4.8.1 Javaクラスパス
  • 4.8.2 Flumeフロー制御の問題
  • 4.8.3 Flumeエージェント構成ファイルが見つからない
  • 4.8.4 Flume接続の例外
  • 4.8.5 その他のエラー

5 Kafkaハンドラの使用

• 5.1 概要
• 5.2 詳細な機能
• 5.3 Kafkaハンドラの設定および実行
  • 5.3.1 クラスパス構成
  • 5.3.2 Kafkaハンドラ構成
  • 5.3.3 Javaアダプタ・プロパティ・ファイル
  • 5.3.4 Kafkaプロデューサ構成ファイル
• 5.4 スキーマの伝播
• 5.5 パフォーマンスに関する考慮事項
• 5.6 セキュリティ
• 5.7 メタデータ変更イベント
• 5.8 Snappyに関する考慮事項
• 5.9 トラブルシューティング
  • 5.9.1 Kafka設定の検証
  • 5.9.2 クラスパスの問題
  • 5.9.3 Kafkaのバージョンが無効
  • 5.9.4 Kafkaプロデューサ・プロパティ・ファイルが見つからない
  • 5.9.5 Kafkaの接続の問題

6 Cassandraハンドラの使用

• 6.1 概要
• 6.2 詳細な機能
  • 6.2.1 Cassandraデータ型
  • 6.2.2 カタログ、スキーマ、表および列の名前マッピング
  • 6.2.3 DDL機能
    • 6.2.3.1 キースペース
    • 6.2.3.2 表
    • 6.2.3.3 列の追加機能
    • 6.2.3.4 列の削除機能
  • 6.2.4 操作処理
  • 6.2.5 圧縮更新と完全イメージ更新
  • 6.2.6 主キーの更新
• 6.3 Cassandraハンドラの設定および実行
  • 6.3.1 Cassandraハンドラ構成
  • 6.3.2 サンプル構成
  • 6.3.3 セキュリティ
• 6.4 自動DDL処理
  • 6.4.1 表チェックおよび調整プロセス
• 6.5 パフォーマンスに関する考慮事項
• 6.6 その他の考慮事項
• 6.7 トラブルシューティング
  • 6.7.1 Javaクラスパス
  • 6.7.2 ロギング
  • 6.7.3 書込みタイムアウトの例外

7 Java Database Connectivityハンドラの使用

• 7.1 概要
• 7.2 詳細な機能
  • 7.2.1 単一操作モード
  • 7.2.2 Oracle Databaseデータ型
  • 7.2.3 MySQL Databaseデータ型
  • 7.2.4 Netezzaデータベース・データ型
  • 7.2.5 Redshiftデータベース・データ型
• 7.3 JDBCハンドラの設定および実行
  • 7.3.1 Javaクラスパス
  • 7.3.2 ハンドラ構成
  • 7.3.3 文のキャッシュ
  • 7.3.4 エラー処理の設定
• 7.4 サンプル構成
  • 7.4.1 Oracle Databaseターゲットの例
  • 7.4.2 JDBCメタデータ・プロバイダを使用したOracle Databaseターゲットの例
  • 7.4.3 MySQL Databaseターゲットの例
  • 7.4.4 JDBCメタデータ・プロバイダを使用したMySQL Databaseターゲットの例

8 MongoDBハンドラの使用

• 8.1 概要
• 8.2 詳細な機能
  • 8.2.1 ドキュメント・キー列
  • 8.2.2 主キーの更新操作
  • 8.2.3 MongoDB証跡のデータ型
• 8.3 MongoDBハンドラの設定および実行
  • 8.3.1 クラスパス構成
  • 8.3.2 MongoDBハンドラ構成
  • 8.3.3 接続および認証
  • 8.3.4 一括書込みの使用
  • 8.3.5 書込み確認の使用
  • 8.3.6 3部構成の表名の使用
  • 8.3.7 Undo処理の使用
• 8.4 サンプル構成

9 プラガブル・フォーマッタの使用

• 9.1 操作ベースと行ベースのフォーマット
  • 9.1.1 操作フォーマッタ
  • 9.1.2 行フォーマッタ
  • 9.1.3 表の行または列の値の状態
• 9.2 区切りテキスト・フォーマッタ
  • 9.2.1 メッセージのフォーマットの詳細
  • 9.2.2 フォーマットしたメッセージの例
    • 9.2.2.1 挿入メッセージの例
    • 9.2.2.2 更新メッセージの例
    • 9.2.2.3 削除メッセージの例
    • 9.2.2.4 切捨てメッセージの例
  • 9.2.3 その他の考慮事項
    • 9.2.3.1 主キーの更新
    • 9.2.3.2 データの統合
  • 9.2.4 出力形式サマリーのログ
  • 9.2.5 区切りテキスト形式の構成
  • 9.2.6 サンプル構成
  • 9.2.7 メタデータ変更イベント
• 9.3 JSONフォーマッタ
  • 9.3.1 操作メタデータのフォーマットの詳細
  • 9.3.2 操作データのフォーマットの詳細
  • 9.3.3 行データのフォーマットの詳細
  • 9.3.4 JSONメッセージの例
    • 9.3.4.1 操作モデル化JSONメッセージの例
    • 9.3.4.2 フラット化操作モデル化JSONメッセージの例
    • 9.3.4.3 行モデル化JSONメッセージの例
    • 9.3.4.4 主キー出力JSONメッセージの例
  • 9.3.5 JSONスキーマ
  • 9.3.6 JSONフォーマッタの構成
  • 9.3.7 サンプル構成
  • 9.3.8 メタデータ変更イベント
  • 9.3.9 JSON主キーの更新
  • 9.3.10 Oracle Stream Analyticsの統合
• 9.4 Avroフォーマッタ
  • 9.4.1 Avro行フォーマッタ
    • 9.4.1.1 操作メタデータのフォーマットの詳細
    • 9.4.1.2 操作データのフォーマットの詳細
    • 9.4.1.3 Avro行メッセージの例
      • 9.4.1.3.1 挿入メッセージの例
      • 9.4.1.3.2 更新メッセージの例
      • 9.4.1.3.3 削除メッセージの例
      • 9.4.1.3.4 切捨てメッセージの例
    • 9.4.1.4 Avroスキーマ
    • 9.4.1.5 Avro行の構成
    • 9.4.1.6 サンプル構成
    • 9.4.1.7 メタデータ変更イベント
    • 9.4.1.8 特別な考慮事項
      • 9.4.1.8.1 トラブルシューティング
      • 9.4.1.8.2 主キーの更新
      • 9.4.1.8.3 汎用のラッパー機能
  • 9.4.2 Avro操作フォーマッタ
    • 9.4.2.1 操作メタデータのフォーマットの詳細
    • 9.4.2.2 操作データのフォーマットの詳細
    • 9.4.2.3 Avro操作メッセージの例
      • 9.4.2.3.1 挿入メッセージの例
      • 9.4.2.3.2 更新メッセージの例
      • 9.4.2.3.3 削除メッセージの例
      • 9.4.2.3.4 切捨てメッセージの例
    • 9.4.2.4 Avroスキーマ
    • 9.4.2.5 Avro操作フォーマッタの構成
    • 9.4.2.6 サンプル構成
    • 9.4.2.7 メタデータ変更イベント
    • 9.4.2.8 特別な考慮事項
      • 9.4.2.8.1 トラブルシューティング
      • 9.4.2.8.2 主キーの更新
      • 9.4.2.8.3 汎用のラッパー・メッセージ
  • 9.4.3 Avroオブジェクト・コンテナ・ファイル・フォーマッタ
    • 9.4.3.1 Avro OCFフォーマッタの構成
• 9.5 XMLフォーマッタ
  • 9.5.1 メッセージのフォーマットの詳細
  • 9.5.2 XMLメッセージの例
    • 9.5.2.1 挿入メッセージの例
    • 9.5.2.2 更新メッセージの例
    • 9.5.2.3 削除メッセージの例
    • 9.5.2.4 切捨てメッセージの例
  • 9.5.3 XMLスキーマ
  • 9.5.4 XML構成
  • 9.5.5 サンプル構成
  • 9.5.6 メタデータ変更イベント
  • 9.5.7 主キーの更新

10 メタデータ・プロバイダの使用

• 10.1 メタデータ・プロバイダについて
• 10.2 Avroメタデータ・プロバイダ
  • 10.2.1 詳細な機能
  • 10.2.2 実行時の前提条件
  • 10.2.3 クラスパス構成
  • 10.2.4 Avroメタデータ・プロバイダの構成
  • 10.2.5 サンプル構成
  • 10.2.6 メタデータ変更イベント
  • 10.2.7 制限事項
  • 10.2.8 トラブルシューティング
    • 10.2.8.1 無効なスキーマ・ファイルの場所
    • 10.2.8.2 無効なスキーマ・ファイル名
    • 10.2.8.3 スキーマ・ファイルでの無効なネームスペース
    • 10.2.8.4 スキーマ・ファイルでの無効な表名
• 10.3 Java Database Connectivityメタデータ・プロバイダ
  • 10.3.1 JDBCの詳細な機能
  • 10.3.2 Javaクラスパス
  • 10.3.3 JDBCメタデータ・プロバイダの構成
  • 10.3.4 サンプル構成
• 10.4 Hiveメタデータ・プロバイダ
  • 10.4.1 詳細な機能
  • 10.4.2 リモート・メタストア・データベースを使用するHiveの構成
  • 10.4.3 クラスパス構成
  • 10.4.4 Hiveメタデータ・プロバイダの構成
  • 10.4.5 サンプル構成
  • 10.4.6 セキュリティ
  • 10.4.7 メタデータ変更イベント
  • 10.4.8 制限事項
  • 10.4.9 その他の考慮事項
  • 10.4.10 トラブルシューティング

A HDFSハンドラ・クライアント依存性

• A.1 Hadoopクライアント依存性
  • A.1.1 HDFS 2.7.1
  • A.1.2 HDFS 2.6.0
  • A.1.3 HDFS 2.5.2
  • A.1.4 HDFS 2.4.1
  • A.1.5 HDFS 2.3.0
  • A.1.6 HDFS 2.2.0

B HBaseハンドラ・クライアント依存性

• B.1 HBaseクライアント依存性
  • B.1.1 HBase 1.1.1
  • B.1.2 HBase 1.0.1.1

C Flumeハンドラ・クライアント依存性

• C.1 Flumeクライアント依存性
  • C.1.1 Flume 1.6.0
  • C.1.2 Flume 1.5.2
  • C.1.3 Flume 1.4.0

D Kafkaハンドラ・クライアント依存性

• D.1 Kafkaクライアント依存性
  • D.1.1 Kafka 0.9.0.1
  • D.1.2 Kafka 0.10.0.1

E Cassandraハンドラ・クライアント依存性

• E.1 Cassandra Datastax Java Driver 3.1.0

F MongoDBハンドラ・クライアント依存性

• F.1 MongoDB Java Driver 3.2.2