1. Oracle GoldenGate for Distributed Applications and Analytics
  2. クイックスタート
  3. AWS Kinesisへのリアルタイム・メッセージ・ストリーミング

7.7 AWS Kinesisへのリアルタイム・メッセージ・ストリーミング

このトピックでは、Oracle GoldenGate for Big Dataを使用してParquetファイルをAWS Kinesisにリアルタイムで収集する方法を示すステップごとのプロセスについて説明します。

親トピック: クイックスタート

7.7.1 依存性ファイルのインストール

Oracle GoldenGate for Big Dataは、レプリケーション・プロセスでクライアント・ライブラリを使用します。レプリケーション・プロセスを設定する前に、Oracle GoldenGate for Big Dataで使用可能な依存性ダウンローダ・ユーティリティを使用してこれらのライブラリをダウンロードする必要があります。依存性ダウンローダは、Mavenおよび他のリポジトリから依存性jarファイルをダウンロードするシェル・スクリプトのセットです。

Oracle GoldenGate for Big Dataは、AWS Kinesis Java SDKを使用してAmazon Kinesisにデータをプッシュします。

ノート:

Oracle GoldenGate for Big Dataは、AWS Kinesis Java SDKに付属していません。

必要な依存性ファイルをインストールするには:

  1. 依存性ダウンローダのインストール場所に移動します: GG_HOME/opt/DependencyDownloader/。
  2. 必要なバージョンを指定してaws.shを実行します。

    図7-41 必要なバージョンを指定したaws.shの実行

    必要なバージョンを指定したaws.shの実行

    ディレクトリはGG_HOME/opt/DependencyDownloader/dependenciesに作成されます。たとえば、/u01/app/ogg/opt/DependencyDownloader/dependencies/aws_sdk_1.12.30です。

親トピック: AWS Kinesisへのリアルタイム・メッセージ・ストリーミング

7.7.2 Oracle GoldenGate for Distributed Applications and AnalyticsでのReplicatの作成

Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)でReplicatを作成するには:

  1. GG for DAA UIの「管理サービス」タブで、「+」記号をクリックしてReplicatを追加します。

    図7-42 「管理サービス」タブの「+」をクリックします。

    「管理サービス」タブの「+」をクリックします。
  2. 「クラシックReplicat」のReplicatのタイプを選択し、「次へ」をクリックします。

    図7-43 Replicatのタイプを選択して、「次へ」をクリックします。

    Replicatのタイプを選択して、「次へ」をクリックします。
  3. 基本情報を入力し、「次へ」をクリックします:
    1. プロセス名: Replicatの名前
    2. 証跡名: 必要な証跡ファイルの名前
    3. ターゲット: AWS Kinesis

      図7-44 基本情報を入力し、「次へ」をクリックします。

      情報を指定し、「次へ」をクリックします。
  4. 「パラメータ・ファイル」の詳細を入力し、「次へ」をクリックします。「パラメータ・ファイル」では、ソースからターゲットへのマッピングを指定するか、ワイルドカード選択でそのままにしておくことができます。

    図7-45 「パラメータ・ファイル」の詳細を指定し、「次へ」をクリックします。

    「パラメータ・ファイル」の詳細を指定し、「次へ」をクリックします。
  5. 必要なプロパティを入力します:
    # Properties file for Replicat Kinesis
#Kinesis Streams Handler Template
gg.handlerlist=kinesis
gg.handler.kinesis.type=kinesis_streams
gg.handler.kinesis.mode=op
gg.handler.kinesis.format=json
#TODO: Set the region name for the connection.
gg.handler.kinesis.region=<name_of_aws_region>
#TODO: Set the template to resolve the Kinesis stream name.
gg.handler.kinesis.streamMappingTemplate=<kinesis_stream_name>
#TODO: Set the template to resolve the message key
gg.handler.kinesis.partitionMappingTemplate=${primaryKeys}
#TODO: Set the access key and secret key credentials.  If unset it will fall back to the AWS default credentials provider chain.
gg.handler.kinesis.accessKeyId=<access_ley>
gg.handler.kinesis.secretKey=<secret>
#TODO: Set the path to the AWS SDK. (refer to step 1 of this document)
gg.classpath=/u01/app/ogg/opt/DependencyDownloader/dependencies/aws_sdk_1.12.30/*
jvm.bootoptions=-Xmx512m -Xms32m

    ノート:

    ターゲットのAWS Kinesisデータ・ストリームが存在しない場合は、GG for DAAによってそれが自動作成されます。テンプレート・キーワードを使用して、Kinesisデータ・ストリーム名を動的に割り当てることもできます。
  6. Replicatが正常に起動すると、実行状態になります。「アクション」/「詳細」/「統計」に移動して、レプリケーション統計を確認できます。

    図7-46 Replicatが正常に起動すると、実行状態になります。「アクション」/「詳細」/「統計」に移動して、レプリケーション統計を確認できます。

    Replicatが正常に起動すると、実行状態になります。「アクション」/「詳細」/「統計」に移動して、レプリケーション統計を確認できます。

    図7-47 レプリケーション統計

    レプリケーション統計
  7. AWS Kinesisコンソールに移動し、データ・ストリームを確認します:

    図7-48 AWS Kinesisコンソールでデータ・ストリームを確認します。

    AWS Kinesisコンソールでデータ・ストリームを確認します。

ノート:

親トピック: AWS Kinesisへのリアルタイム・メッセージ・ストリーミング