目次

タイトルおよび著作権情報

はじめに

• 対象読者
• ドキュメントのアクセシビリティについて
• 関連ドキュメント
• 表記規則

1 概要

• 1.1 概要
• 1.2 Java環境設定
• 1.3 プロパティ・ファイル
• 1.4 トランザクションのグループ化
• 1.5 Replicatによる実行
  • 1.5.1 Replicat構成
  • 1.5.2 Replicatプロセスの追加
  • 1.5.3 Replicatのグループ化
  • 1.5.4 Replicatのチェックポイント化
  • 1.5.5 サポートされないReplicat機能
  • 1.5.6 マッピング機能
• 1.6 Extractによる実行
  • 1.6.1 Extract構成
  • 1.6.2 Extractプロセスの追加
  • 1.6.3 Extractのグループ化
• 1.7 ロギング
  • 1.7.1 ExtractまたはReplicatプロセスのロギング
  • 1.7.2 Java層のロギング
• 1.8 メタデータ変更イベント
• 1.9 構成プロパティCDATA[]のラッピング
• 1.10 正規表現を使用した検索と置換
  • 1.10.1 スキーマ・データの置換の使用
  • 1.10.2 コンテンツ・データの置換の使用
• 1.11 Oracle GoldenGate資格証明ストアでの識別子の使用
  • 1.11.1 資格証明ストアの作成
  • 1.11.2 資格証明ストアへのユーザーの追加
  • 1.11.3 資格証明ストアにアクセスするためのプロパティの構成

2 HDFSハンドラの使用

• 2.1 概要
• 2.2 Hiveハンドラのサポート
• 2.3 順序ファイル形式でのHDFSへの書き込み
  • 2.3.1 Hiveとの統合
  • 2.3.2 データ形式の理解
• 2.4 実行時の前提条件
  • 2.4.1 クラスパス構成
  • 2.4.2 プラガブル・フォーマッタ
  • 2.4.3 HDFSハンドラ構成
  • 2.4.4 サンプル構成
  • 2.4.5 HDFSハンドラのトラブルシューティング
    • 2.4.5.1 Javaクラスパス
    • 2.4.5.2 HDFS構成プロパティ
    • 2.4.5.3 ハンドラとフォーマッタ構成
  • 2.4.6 パフォーマンスに関する考慮事項
  • 2.4.7 セキュリティ
• 2.5 Avroオブジェクト・コンテナ・ファイル形式でのHDFSへの書き込み
• 2.6 HDFSハンドラの動作保証マトリクス
• 2.7 メタデータ変更イベント
• 2.8 パーティション化
• 2.9 注意点
• 2.10 ベスト・プラクティス

3 HBaseハンドラの使用

• 3.1 概要
• 3.2 HBaseハンドラの動作保証マトリクス
• 3.3 詳細な機能
• 3.4 実行時の前提条件
  • 3.4.1 クラスパス構成
  • 3.4.2 プラガブル・フォーマッタ
  • 3.4.3 HBaseハンドラ構成
  • 3.4.4 サンプル構成
  • 3.4.5 HBaseハンドラのトラブルシューティング
    • 3.4.5.1 Javaクラスパス
    • 3.4.5.2 HBase接続プロパティ
    • 3.4.5.3 ハンドラ構成のロギング
  • 3.4.6 パフォーマンスに関する考慮事項
  • 3.4.7 セキュリティ
• 3.5 メタデータ変更イベント
• 3.6 注意点

4 Flumeハンドラの使用

• 4.1 概要
• 4.2 実行時の前提条件
• 4.3 クラスパス構成
• 4.4 プラガブル・フォーマッタ
• 4.5 Flumeハンドラ構成
• 4.6 サンプル構成
• 4.7 トラブルシューティング
  • 4.7.1 Javaクラスパス
  • 4.7.2 Flumeフロー制御の問題
  • 4.7.3 Flumeエージェント構成ファイルが見つからない
  • 4.7.4 Flume接続の例外
  • 4.7.5 その他のエラー
• 4.8 操作からFlumeイベントへのデータ・マッピング
  • 4.8.1 操作モード
  • 4.8.2 トランザクション・モードとEventMapsTo操作
  • 4.8.3 トランザクション・モードとEventMapsToトランザクション
• 4.9 Flumeハンドラの動作保証マトリクス
• 4.10 パフォーマンスに関する考慮事項
• 4.11 メタデータ変更イベント
• 4.12 Flumeソース構成の例
  • 4.12.1 Avro Flumeソース
  • 4.12.2 Thrift Flumeソース
• 4.13 高度な機能
  • 4.13.1 スキーマの伝播
  • 4.13.2 セキュリティ
  • 4.13.3 フェイルオーバー機能
  • 4.13.4 ロード・バランシング機能

5 Kafkaハンドラの使用

• 5.1 設定と実行
  • 5.1.1 実行時の前提条件
  • 5.1.2 クラスパス構成
  • 5.1.3 プラガブル・フォーマッタ
  • 5.1.4 Kafkaハンドラ構成
  • 5.1.5 サンプル構成
    • 5.1.5.1 Javaアダプタ・プロパティ・ファイル
  • 5.1.6 Kafkaプロデューサ構成ファイル
• 5.2 詳細な機能
  • 5.2.1 トランザクション・モードと操作モード
  • 5.2.2 ブロックとブロック・モード
  • 5.2.3 複数トピックへの公開
• 5.3 スキーマの伝播
• 5.4 トラブルシューティング
  • 5.4.1 Kafka設定の検証
  • 5.4.2 クラスパスの問題
  • 5.4.3 Kafkaのバージョンが無効
  • 5.4.4 Kafkaプロデューサ・プロパティ・ファイルが見つからない
  • 5.4.5 Kafkaの接続の問題
• 5.5 パフォーマンスに関する考慮事項
• 5.6 セキュリティ
• 5.7 Kafkaハンドラの動作保証マトリクス
• 5.8 メタデータ変更イベント
• 5.9 Snappyに関する考慮事項

6 プラガブル・フォーマッタの使用

• 6.1 操作ベースと行ベースのフォーマット
  • 6.1.1 操作フォーマッタ
  • 6.1.2 行フォーマッタ
• 6.2 区切りテキスト・フォーマッタ
  • 6.2.1 メッセージのフォーマットの詳細
  • 6.2.2 フォーマットしたメッセージの例
    • 6.2.2.1 挿入メッセージの例
    • 6.2.2.2 更新メッセージの例
    • 6.2.2.3 削除メッセージの例
    • 6.2.2.4 切捨てメッセージの例
  • 6.2.3 注意点
  • 6.2.4 出力形式サマリーのロギング
  • 6.2.5 区切りテキスト形式の構成
  • 6.2.6 サンプル構成
  • 6.2.7 メタデータ変更イベント
  • 6.2.8 特別な考慮事項
    • 6.2.8.1 主キーの更新
    • 6.2.8.2 データの統合
• 6.3 JSONフォーマッタ
  • 6.3.1 メッセージのフォーマットの詳細
    • 6.3.1.1 操作メタデータ
    • 6.3.1.2 操作データ
  • 6.3.2 JSONメッセージの例
    • 6.3.2.1 挿入メッセージの例
    • 6.3.2.2 更新メッセージの例
    • 6.3.2.3 削除メッセージの例
    • 6.3.2.4 切捨てメッセージの例
  • 6.3.3 JSONスキーマ
  • 6.3.4 JSONスキーマ構成
  • 6.3.5 サンプル構成
  • 6.3.6 メタデータ変更イベント
  • 6.3.7 主キーの更新
• 6.4 Avro行フォーマッタ
  • 6.4.1 メッセージのフォーマットの詳細
    • 6.4.1.1 操作メタデータ
    • 6.4.1.2 操作データ
  • 6.4.2 Avro行メッセージの例
    • 6.4.2.1 挿入メッセージの例
    • 6.4.2.2 更新メッセージの例
    • 6.4.2.3 削除メッセージの例
    • 6.4.2.4 切捨てメッセージの例
  • 6.4.3 Avroスキーマ
  • 6.4.4 Avro行の構成
  • 6.4.5 サンプル構成
  • 6.4.6 メタデータ変更イベント
  • 6.4.7 特別な考慮事項
    • 6.4.7.1 トラブルシューティング
    • 6.4.7.2 主キーの更新
    • 6.4.7.3 汎用のラッパー機能
• 6.5 Avro操作フォーマッタ
  • 6.5.1 メッセージのフォーマットの詳細
    • 6.5.1.1 操作メタデータ
    • 6.5.1.2 操作データ
  • 6.5.2 Avro操作メッセージの例
    • 6.5.2.1 挿入メッセージの例
    • 6.5.2.2 更新メッセージの例
    • 6.5.2.3 削除メッセージの例
    • 6.5.2.4 切捨てメッセージの例
  • 6.5.3 Avroスキーマ
  • 6.5.4 Avro操作フォーマッタの構成
  • 6.5.5 サンプル構成
  • 6.5.6 メタデータ変更イベント
  • 6.5.7 特別な考慮事項
    • 6.5.7.1 トラブルシューティング
    • 6.5.7.2 主キーの更新
    • 6.5.7.3 汎用のラッパー・メッセージ
• 6.6 Avroオブジェクト・コンテナ・ファイル・フォーマッタ
  • 6.6.1 Avro OCFフォーマッタの構成
• 6.7 XMLフォーマッタ
  • 6.7.1 メッセージのフォーマットの詳細
  • 6.7.2 XMLメッセージの例
    • 6.7.2.1 挿入メッセージの例
    • 6.7.2.2 更新メッセージの例
    • 6.7.2.3 削除メッセージの例
    • 6.7.2.4 切捨てメッセージの例
  • 6.7.3 XMLスキーマ
  • 6.7.4 XML構成
  • 6.7.5 サンプル構成
  • 6.7.6 メタデータ変更イベント
  • 6.7.7 主キーの更新

7 メタデータ・プロバイダの使用

• 7.1 Avroメタデータ・プロバイダ
  • 7.1.1 詳細な機能
  • 7.1.2 実行時の前提条件
  • 7.1.3 クラスパス構成
  • 7.1.4 Avroメタデータ・プロバイダの構成
  • 7.1.5 サンプル構成
  • 7.1.6 メタデータ変更イベント
  • 7.1.7 制限事項
  • 7.1.8 トラブルシューティング
    • 7.1.8.1 無効なスキーマ・ファイルの場所
    • 7.1.8.2 無効なスキーマ・ファイル名
    • 7.1.8.3 スキーマ・ファイルでの無効なネームスペース
    • 7.1.8.4 スキーマ・ファイルでの無効な表名
• 7.2 Hiveメタデータ・プロバイダ
  • 7.2.1 詳細な機能
  • 7.2.2 実行時の前提条件
  • 7.2.3 クラスパス構成
  • 7.2.4 Hiveメタデータ・プロバイダの構成
  • 7.2.5 サンプル構成
  • 7.2.6 セキュリティ
  • 7.2.7 メタデータ変更イベント
  • 7.2.8 制限事項
  • 7.2.9 注意点
  • 7.2.10 トラブルシューティング

A HBaseハンドラ・クライアント依存性

• A.1 HBaseクライアント依存性
  • A.1.1 HBase 1.1.1
  • A.1.2 HBase 1.0.1.1

B HDFSハンドラ・クライアント依存性

• B.1 Hadoopクライアント依存性
  • B.1.1 HDFS 2.7.1
  • B.1.2 HDFS 2.6.0
  • B.1.3 HDFS 2.5.2
  • B.1.4 HDFS 2.4.1
  • B.1.5 HDFS 2.3.0
  • B.1.6 HDFS 2.2.0

C Flumeハンドラ・クライアント依存性

• C.1 Flumeクライアント依存性
  • C.1.1 Flume 1.6.0
  • C.1.2 Flume 1.5.2
  • C.1.3 Flume 1.4.0

D Kafkaハンドラ・クライアント依存性

• D.1 Kafkaクライアント依存性
  • D.1.1 Kafka 0.8.2.1