目次
- タイトルおよび著作権情報
- はじめに
-
1 概要
- 1.1 Oracle GoldenGate for Distributed Applications and Analyticsの理解
- 1.2 Oracle GoldenGate for Distributed Applications and Analyticsでのサポート内容
- 1.3 依存性ダウンローダ
- 2 スタート・ガイド
- 3 準備
- 4 インストール
- 5 アップグレード
-
6 構成
- 6.1 Oracle GoldenGate for Distributed Applications and Analyticsの構成
- 6.2 ロギング
- 6.3 ロギングの構成
-
7 クイックスタート
- 7.1 クイックスタート: 前提条件
- 7.2 Google Cloud PlatformのBig Queryにおけるステージングおよびマージによるレプリケーション
- 7.3 Google Cloud Storageレプリケーション
- 7.4 GG for DAAによるOracle Cloud Infrastructure (OCI)ストリーミングへのリアルタイム・レプリケーション
- 7.5 Oracle GoldenGate for Distributed Applications and AnalyticsによるAWS S3バケットへのリアルタイムParquet取込み
- 7.6 Oracle GoldenGate for Distributed Applications and AnalyticsによるKafkaへのリアルタイム・データ取込み
- 7.7 AWS Kinesisへのリアルタイム・メッセージ・ストリーミング
-
8 データの複製
-
8.1 ソース
- 8.1.1 Amazon MSK
-
8.1.2 Apache Cassandra
- 8.1.2.1 概要
- 8.1.2.2 Cassandra Extractチェンジ・データ・キャプチャの設定
- 8.1.2.3 重複排除
- 8.1.2.4 トポロジの変更
- 8.1.2.5 CDCログでのデータの可用性
- 8.1.2.6 初期ロードExtractの使用
- 8.1.2.7 チェンジ・データ・キャプチャのExtractの使用
- 8.1.2.8 RDBMSターゲットへの複製
- 8.1.2.9 静的な列のパーティション更新または挿入
- 8.1.2.10 パーティション削除
- 8.1.2.11 セキュリティと認証
- 8.1.2.12 CDCコミット・ログ・ファイルのクリーン・アップ
- 8.1.2.13 複数のExtractのサポート
- 8.1.2.14 CDC構成リファレンス
- 8.1.2.15 トラブルシューティング
- 8.1.2.16 Cassandraキャプチャ・クライアント依存性
-
8.1.3 Apache Kafka
- 8.1.3.1 概要
- 8.1.3.2 前提条件
- 8.1.3.3 Kafka Captureの一般的な用語および機能
- 8.1.3.4 汎用ミューテーション・ビルダー
- 8.1.3.5 Kafka Connectミューテーション・ビルダー
- 8.1.3.6 構成ファイルの例
- 8.1.4 Azure Event Hubs
- 8.1.5 Confluent Kafka
- 8.1.6 DataStax
- 8.1.7 Java Message Service
-
8.1.8 MongoDB
- 8.1.8.1 概要
- 8.1.8.2 MongoDBを設定するための前提条件
- 8.1.8.3 MongoDBデータベースの操作
- 8.1.8.4 Extract初期ロードの使用
- 8.1.8.5 チェンジ・データ・キャプチャのExtractの使用
- 8.1.8.6 Extractの配置
- 8.1.8.7 セキュリティと認証
- 8.1.8.8 MongoDB双方向レプリケーション
- 8.1.8.9 Mongo DB構成リファレンス
- 8.1.8.10 証跡ファイルの列
- 8.1.8.11 更新操作の動作
- 8.1.8.12 Oplogサイズの推奨事項
- 8.1.8.13 トラブルシューティング
- 8.1.8.14 MongoDB キャプチャ・クライアント依存性
- 8.1.9 OCIストリーミング
-
8.2 ターゲット
- 8.2.1 Amazon Kinesis
- 8.2.2 Amazon MSK
- 8.2.3 Amazon Redshift
- 8.2.4 Amazon S3
- 8.2.5 Apache Cassandra
- 8.2.6 Apache HBase
-
8.2.7 Apache HDFS
- 8.2.7.1 概要
- 8.2.7.2 SequenceFile形式でのHDFSへの書込み
- 8.2.7.3 HDFSハンドラの設定および実行
- 8.2.7.4 Avroオブジェクト・コンテナ・ファイル形式でのHDFSへの書込み
- 8.2.7.5 テンプレート文字列を使用したHDFSファイル名の生成
- 8.2.7.6 メタデータ変更イベント
- 8.2.7.7 パーティション化
- 8.2.7.8 HDFSのその他の考慮事項
- 8.2.7.9 ベスト・プラクティス
- 8.2.7.10 HDFSハンドラのトラブルシューティング
- 8.2.7.11 HDFSハンドラ・クライアント依存性
-
8.2.8 Apache Kafka
- 8.2.8.1 Apache Kafka
-
8.2.8.2 Apache Kafka Connectハンドラ
- 8.2.8.2.1 概要
- 8.2.8.2.2 詳細な機能
- 8.2.8.2.3 Kafka Connectハンドラの設定および実行
- 8.2.8.2.4 セキュア・スキーマ・レジストリへの接続
- 8.2.8.2.5 Kafka Connectハンドラのパフォーマンスに関する考慮事項
- 8.2.8.2.6 Kafkaインターセプタのサポート
- 8.2.8.2.7 Kafkaパーティションの選択
- 8.2.8.2.8 Kafka Connectハンドラのトラブルシューティング
-
8.2.8.2.9 Kafka Connectハンドラ・クライアント依存性
- 8.2.8.2.9.1 Kafka 2.8.0
- 8.2.8.2.9.2 Kafka 2.7.1
- 8.2.8.2.9.3 Kafka 2.6.0
- 8.2.8.2.9.4 Kafka 2.5.1
- 8.2.8.2.9.5 Kafka 2.4.1
- 8.2.8.2.9.6 Kafka 2.3.1
- 8.2.8.2.9.7 Kafka 2.2.1
- 8.2.8.2.9.8 Kafka 2.1.1
- 8.2.8.2.9.9 Kafka 2.0.1
- 8.2.8.2.9.10 Kafka 1.1.1
- 8.2.8.2.9.11 Kafka 1.0.2
- 8.2.8.2.9.12 Kafka 0.11.0.0
- 8.2.8.2.9.13 Kafka 0.10.2.0
- 8.2.8.2.9.14 Kafka 0.10.2.0
- 8.2.8.2.9.15 Kafka 0.10.0.0
- 8.2.8.2.9.16 Kafka 0.9.0.1
- 8.2.8.3 Apache Kafka RESTプロキシ
- 8.2.9 Apache Hive
- 8.2.10 Azure Blob Storage
- 8.2.11 Azure Data Lake Storage
- 8.2.12 Azure Event Hubs
- 8.2.13 Azure Synapse Analytics Data Warehouse
- 8.2.14 Confluent Kafka
- 8.2.15 DataStax
-
8.2.16 Elasticsearch
-
8.2.16.1 Elasticsearch 7xおよび6xを使用したElasticsearch
- 8.2.16.1.1 概要
- 8.2.16.1.2 機能の詳細
- 8.2.16.1.3 Elasticsearchハンドラの設定および実行
- 8.2.16.1.4 トラブルシューティング
- 8.2.16.1.5 パフォーマンスに関する考慮事項
- 8.2.16.1.6 Shieldプラグインのサポートについて
- 8.2.16.1.7 DDL処理について
- 8.2.16.1.8 Elasticsearchハンドラの既知の問題
- 8.2.16.1.9 Elasticsearchハンドラ・トランスポート・クライアント依存性
- 8.2.16.1.10 Elasticsearch High Level RESTクライアント依存性
-
8.2.16.2 Elasticsearch 8x
- 8.2.16.2.1 概要
- 8.2.16.2.2 機能の詳細
- 8.2.16.2.3 インデックスについて
- 8.2.16.2.4 ドキュメントについて
- 8.2.16.2.5 データ型について
- 8.2.16.2.6 接続について
- 8.2.16.2.7 サポートされている操作について
- 8.2.16.2.8 DDL処理について
- 8.2.16.2.9 主キーの更新について
- 8.2.16.2.10 UPSERTについて
- 8.2.16.2.11 一括書込みについて
- 8.2.16.2.12 ルーティングについて
- 8.2.16.2.13 リクエスト・ヘッダーについて
- 8.2.16.2.14 Java APIクライアントについて
- 8.2.16.2.15 Elasticsearchハンドラの設定
- 8.2.16.2.16 Elasticsearchハンドラ構成
- 8.2.16.2.17 Elasticsearchのセキュリティの有効化
- 8.2.16.2.18 Elasticsearchクラスタのセキュリティ構成
- 8.2.16.2.19 Elasticsearchハンドラのセキュリティ構成
- 8.2.16.2.20 トラブルシューティング
- 8.2.16.2.21 Elasticsearchハンドラ・クライアント依存性
-
8.2.16.1 Elasticsearch 7xおよび6xを使用したElasticsearch
-
8.2.17 フラット・ファイル
- 8.2.17.1 ファイル・ライター・ハンドラ
- 8.2.17.2 Optimized Row Columnar (ORC)
- 8.2.17.3 Parquet
-
8.2.18 Google BigQuery
- 8.2.18.1 ストリーミングAPIの使用
- 8.2.18.2 Google BigQueryにおけるステージングおよびマージ
- 8.2.19 Google Cloud Storage
- 8.2.20 Java Message Service
- 8.2.21 Java Database Connectivity
- 8.2.22 Map(R)
- 8.2.23 MongoDB
- 8.2.24 Netezza
- 8.2.25 OCIストリーミング
- 8.2.26 Oracle NoSQL
- 8.2.27 OCI Autonomous Data Warehouse
- 8.2.28 Oracle Cloud Infrastructureオブジェクト・ストレージ
- 8.2.29 Redis
-
8.2.30 スノーフレーク
- 8.2.30.1 概要
- 8.2.30.2 詳細な機能
- 8.2.30.3 構成
- 8.2.30.4 トラブルシューティングと診断
-
8.2.31 追加の詳細
- 8.2.31.1 コマンド・イベント・ハンドラ
- 8.2.31.2 HDFSイベント・ハンドラ
- 8.2.31.3 メタ列のキーワード
- 8.2.31.4 メタデータ・プロバイダ
-
8.2.31.5 プラガブル・フォーマッタ
- 8.2.31.5.1 操作ベースと行ベースのフォーマットの使用
- 8.2.31.5.2 Avroフォーマッタの使用
- 8.2.31.5.3 区切りテキスト・フォーマッタの使用
-
8.2.31.5.4 JSONフォーマッタの使用
- 8.2.31.5.4.1 操作メタデータのフォーマットの詳細
- 8.2.31.5.4.2 操作データのフォーマットの詳細
- 8.2.31.5.4.3 行データのフォーマットの詳細
- 8.2.31.5.4.4 JSONメッセージの例
- 8.2.31.5.4.5 JSONスキーマ
- 8.2.31.5.4.6 JSONフォーマッタの構成プロパティ
- 8.2.31.5.4.7 サンプル構成の確認
- 8.2.31.5.4.8 メタデータ変更イベント
- 8.2.31.5.4.9 JSON主キーの更新
- 8.2.31.5.4.10 Oracle Stream Analyticsの統合
- 8.2.31.5.4.11 Mongoドキュメントのフォーマットの詳細
- 8.2.31.5.5 長さ区切り値フォーマッタの使用
- 8.2.31.5.6 XMLフォーマッタの使用
-
8.2.31.6 ステージングおよびマージによるデータ・ウェアハウス・レプリケーション
-
8.2.31.6.1 ステージングおよびマージのステップ
- 8.2.31.6.1.1 ステージング
- 8.2.31.6.1.2 マージ
- 8.2.31.6.1.3 ハンドラの構成
- 8.2.31.6.1.4 ファイル・ライター・ハンドラ
- 8.2.31.6.1.5 操作集計
- 8.2.31.6.1.6 オブジェクト・ストア・イベント・ハンドラ
- 8.2.31.6.1.7 JDBCメタデータ・プロバイダ
- 8.2.31.6.1.8 コマンド・イベント・ハンドラのマージ・スクリプト
- 8.2.31.6.1.9 ステージングおよびマージのサンプル構成
- 8.2.31.6.1.10 マージ・スクリプト内の変数
- 8.2.31.6.1.11 マージ・スクリプト内のSQL文
- 8.2.31.6.1.12 マージ・スクリプトの関数
- 8.2.31.6.1.13 前提条件
- 8.2.31.6.1.14 制限事項
- 8.2.31.6.2 Hiveにおけるステージングおよびマージ
-
8.2.31.6.1 ステージングおよびマージのステップ
- 8.2.31.7 テンプレートのキーワード
- 8.2.31.8 Velocity依存性
-
8.1 ソース
-
9 管理
- 9.1 Oracle GoldenGate for Distributed Applications and Analyticsの自動ハートビート
- 9.2 メッセージの解析
-
9.3 メッセージ取得プロパティ
- 9.3.1 ロギングおよび接続のプロパティ
-
9.3.2 パーサー・プロパティ
- 9.3.2.1 パーサーのタイプの設定
-
9.3.2.2 固定パーサー・プロパティ
- 9.3.2.2.1 fixed.schematype
- 9.3.2.2.2 fixed.sourcedefs
- 9.3.2.2.3 fixed.copybook
- 9.3.2.2.4 fixed.header
- 9.3.2.2.5 fixed.seqid
- 9.3.2.2.6 fixed.timestamp
- 9.3.2.2.7 fixed.timestamp.format
- 9.3.2.2.8 fixed.txid
- 9.3.2.2.9 fixed.txowner
- 9.3.2.2.10 fixed.txname
- 9.3.2.2.11 fixed.optype
- 9.3.2.2.12 fixed.optype.insertval
- 9.3.2.2.13 fixed.optype.updateval
- 9.3.2.2.14 fixed.optype.deleteval
- 9.3.2.2.15 fixed.table
- 9.3.2.2.16 fixed.schema
- 9.3.2.2.17 fixed.txind
- 9.3.2.2.18 fixed.txind.beginval
- 9.3.2.2.19 fixed.txind.middleval
- 9.3.2.2.20 fixed.txind.endval
- 9.3.2.2.21 fixed.txind.wholeval
-
9.3.2.3 区切りパーサー・プロパティ
- 9.3.2.3.1 delim.sourcedefs
- 9.3.2.3.2 delim.header
- 9.3.2.3.3 delim.seqid
- 9.3.2.3.4 delim.timestamp
- 9.3.2.3.5 delim.timestamp.format
- 9.3.2.3.6 delim.txid
- 9.3.2.3.7 delim.txowner
- 9.3.2.3.8 delim.txname
- 9.3.2.3.9 delim.optype
- 9.3.2.3.10 delim.optype.insertval
- 9.3.2.3.11 delim.optype.updateval
- 9.3.2.3.12 delim.optype.deleteval
- 9.3.2.3.13 delim.schemaandtable
- 9.3.2.3.14 delim.schema
- 9.3.2.3.15 delim.table
- 9.3.2.3.16 delim.txind
- 9.3.2.3.17 delim.txind.beginval
- 9.3.2.3.18 delim.txind.middleval
- 9.3.2.3.19 delim.txind.endval
- 9.3.2.3.20 delim.txind.wholeval
- 9.3.2.3.21 delim.fielddelim
- 9.3.2.3.22 delim.linedelim
- 9.3.2.3.23 delim.quote
- 9.3.2.3.24 delim.nullindicator
- 9.3.2.3.25 delim.fielddelim.escaped
- 9.3.2.3.26 delim.linedelim.escaped
- 9.3.2.3.27 delim.quote.escaped
- 9.3.2.3.28 delim.nullindicator.escaped
- 9.3.2.3.29 delim.hasbefores
- 9.3.2.3.30 delim.hasnames
- 9.3.2.3.31 delim.afterfirst
- 9.3.2.3.32 delim.isgrouped
- 9.3.2.3.33 delim.dateformat | delim.dateformat.table | delim.dateform.table.column
-
9.3.2.4 XMLパーサー・プロパティ
- 9.3.2.4.1 xml.sourcedefs
- 9.3.2.4.2 xml.rules
- 9.3.2.4.3 rulename.type
- 9.3.2.4.4 rulename.match
- 9.3.2.4.5 rulename.subrules
- 9.3.2.4.6 txrule.timestamp
- 9.3.2.4.7 txrule.timestamp.format
- 9.3.2.4.8 txrule.seqid
- 9.3.2.4.9 txrule.txid
- 9.3.2.4.10 txrule.txowner
- 9.3.2.4.11 txrule.txname
- 9.3.2.4.12 oprule.timestamp
- 9.3.2.4.13 oprule.timestamp.format
- 9.3.2.4.14 oprule.seqid
- 9.3.2.4.15 oprule.txid
- 9.3.2.4.16 oprule.txowner
- 9.3.2.4.17 oprule.txname
- 9.3.2.4.18 oprule.schemandtable
- 9.3.2.4.19 oprule.schema
- 9.3.2.4.20 oprule.table
- 9.3.2.4.21 oprule.optype
- 9.3.2.4.22 oprule.optype.insertval
- 9.3.2.4.23 oprule.optype.updateval
- 9.3.2.4.24 oprule.optype.deleteval
- 9.3.2.4.25 oprule.txind
- 9.3.2.4.26 oprule.txind.beginval
- 9.3.2.4.27 oprule.txind.middleval
- 9.3.2.4.28 oprule.txind.endval
- 9.3.2.4.29 oprule.txind.wholeval
- 9.3.2.4.30 colrule.name
- 9.3.2.4.31 colrule.index
- 9.3.2.4.32 colrule.value
- 9.3.2.4.33 colrule.isnull
- 9.3.2.4.34 colrule.ismissing
- 9.3.2.4.35 colrule.before.value
- 9.3.2.4.36 colrule.before.isnull
- 9.3.2.4.37 colrule.before.ismissing
- 9.3.2.4.38 colrule.after.value
- 9.3.2.4.39 colrule.after.isnull
- 9.3.2.4.40 colrule.after.ismissing
-
9.4 Oracle GoldenGate Java配信
- 9.4.1 Java配信の構成
- 9.4.2 Java配信の実行
-
9.4.3 Java配信プロパティ
- 9.4.3.1 共通プロパティ
- 9.4.3.2 配信プロパティ
-
9.4.3.3 Javaアプリケーション・プロパティ
- 9.4.3.3.1 すべてのハンドラ用のプロパティ
- 9.4.3.3.2 フォーマットされた出力用のプロパティ
-
9.4.3.3.3 CSVおよび固定形式の出力用プロパティ
- 9.4.3.3.3.1 gg.handler.name.format.delim
- 9.4.3.3.3.2 gg.handler.name.format.quote
- 9.4.3.3.3.3 gg.handler.name.format.metacols
- 9.4.3.3.3.4 gg.handler.name.format.missingColumnChar
- 9.4.3.3.3.5 gg.handler.name.format.presentColumnChar
- 9.4.3.3.3.6 gg.handler.name.format.nullColumnChar
- 9.4.3.3.3.7 gg.handler.name.format.beginTxChar
- 9.4.3.3.3.8 gg.handler.name.format.middleTxChar
- 9.4.3.3.3.9 gg.handler.name.format.endTxChar
- 9.4.3.3.3.10 gg.handler.name.format.wholeTxChar
- 9.4.3.3.3.11 gg.handler.name.format.insertChar
- 9.4.3.3.3.12 gg.handler.name.format.updateChar
- 9.4.3.3.3.13 gg.handler.name.format.deleteChar
- 9.4.3.3.3.14 gg.handler.name.format.truncateChar
- 9.4.3.3.3.15 gg.handler.name.format.endOfLine
- 9.4.3.3.3.16 gg.handler.name.format.justify
- 9.4.3.3.3.17 gg.handler.name.format.includeBefores
- 9.4.3.3.4 ファイル・ライター・プロパティ
- 9.4.3.3.5 JMSハンドラ・プロパティ
- 9.4.3.3.6 JNDIプロパティ
- 9.4.3.3.7 一般プロパティ
- 9.4.3.3.8 Java配信のトランザクションのグループ化
- 9.4.4 イベント・ハンドラの構成
- 9.4.5 カスタム・フィルタ、フォーマッタおよびハンドラの開発
- 9.4.6 データ変換の構成
- 10 トラブルシューティング