8.3 Oracle GoldenGate for Distributed Applications and AnalyticsによるGoogle Cloud StorageへのリアルタイムParquet取込み

概要

このクイックスタートでは、GoldenGate for Distributed Applications and Analytics (GG for DAA)を使用してリアルタイムでGoogle Cloud Storageバケットにparquetファイルを取り込む方法を手順を追って説明します。

Google Cloud Storage (GCS)は、Google Cloud Platformにオブジェクトを格納するためのサービスです。

GG for DAAのGCSハンドラは、ファイル・ライター・ハンドラおよびParquetハンドラ(parquetが必要な場合)と連携して機能します。ファイル・ライター・ハンドラによってファイルがローカルに生成され、オプションでParquetハンドラによりparquet形式に変換され、GCSハンドラによりGCSバケットにロードされます。

• 前提条件
  
• 依存性ファイルのインストール
  
• Oracle GoldenGate for Distributed Applications and AnalyticsでのReplicatの作成
  

8.3.1 前提条件

このクイックスタートを正常に完了するには、次のものが必要です:

• Google Cloud Storageバケット
• バケット権限とオブジェクト権限があるGoogleサービス・アカウント・キー
• バケットへのパブリック・アクセス(GG for DAAではプライベート・バケット・アクセスがサポートされています)。詳細は、「Google Cloud Storage」を参照してください。

このクイックスタートでは、GG for DAAに付属のサンプル証跡ファイル(trという名前)を使用しています。サンプル証跡ファイルは、GG for DAAインスタンスのGG_HOME/opt/AdapterExamples/trail/にあります。

8.3.2 依存性ファイルのインストール

Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)では、レプリケーション・プロセスでクライアント・ライブラリが使用されるため、これらのライブラリを、レプリケーション・プロセスを設定する前にダウンロードする必要があります。依存性ダウンローダを使用してこれらのクライアント・ライブラリをダウンロードできます。依存性ダウンローダは、Mavenやその他のリポジトリから依存性jarファイルをダウンロードするシェル・スクリプトのセットです。

GG for DAAでは、3ステップのプロセスを使用して、GCSバケットにparquetを取り込みます:

• 証跡ファイルからローカル・ファイルを生成します
• ローカル・ファイルをParquet形式に変換します
• GCSにファイルをロードします

GG for DAAを使用してローカルparquetファイルを生成する場合は、Replicatで、ファイル・ライター・ハンドラおよびParquetハンドラが使用されます。GG for DAAでは、GCSにparquetファイルをロードするために、Google Cloud Storageハンドラが、ファイル・ライターおよびParquetイベント・ハンドラとともに使用されます。

必要な依存性ファイルをインストールするには:

1. GG for DAA VMで、依存性ダウンローダ・ユーティリティに移動します。それはGG_HOME/opt/DependencyDownloader/にあります。
2. 必要なバージョンを指定してparquet.sh、hadoop.shおよびgcs.shを実行します。バージョンおよび報告されている脆弱性は、Maven Centralで確認できます。

   図8-11 GG_HOME/opt/DependencyDownloader/dependencies内に作成された3つのディレクトリ

   
3. 3つの新しいディレクトリが、GG_HOME/opt/DependencyDownloader/dependenciesに、<dependencyname_version>という名前で作成されます。Replicatのプロパティで使用するため、これらのディレクトリを書き留めます。例: /u01/app/ogg/opt/DependencyDownloader/dependencies/gcs_12.29.1および /u01/app/ogg/opt/DependencyDownloader/dependencies/hadoop_3.4.0

8.3.3 Oracle GoldenGate for Distributed Applications and AnalyticsでのReplicatの作成

Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)でReplicatを作成するには:

1. GG for DAA UIの「管理サービス」タブで、「+」記号をクリックしてReplicatを追加します。

   図8-12 「管理サービス」タブをクリック

   
2. 「クラシックReplicat」のReplicatのタイプを選択し、「次へ」をクリックします。クラシックと調整済という2つの異なるReplicatタイプがあります。クラシックReplicatは単一のスレッド・プロセスですが、調整済Replicatは、トランザクションをパラレルに適用するマルチスレッド・プロセスです。

   図8-13 Replicatの追加

   
3. Replicat情報を入力し、「次」をクリックします:
   1. Replicatトレイル: 必要な証跡ファイルの名前。サンプル証跡の場合は、trを指定します。
   2. サブディレクトリ: サンプル証跡を使用する場合は、GG_HOME/opt/AdapterExamples/trail/と指定します。
   3. ターゲット: Google Cloud Storage

   図8-14 Replicatの追加

   
4. 「管理対象オプション」はそのままにして、「次」をクリックします。

   図8-15 「Replicatの追加」 - 「管理対象オプション」

   
5. 「パラメータ・ファイル」の詳細を入力し、「次へ」をクリックします。「パラメータ・ファイル」では、ソースからターゲットへのマッピングを指定するか、ワイルドカード選択でそのままにしておくことができます。「Replicatタイプ」として「調整済Replicat」を選択した場合は、さらに次のパラメータを指定する必要があります: TARGETDB LIBFILE libggjava.so SET property=<ggbd-deployment_home>/etc/conf/ogg/your_replicat_name.properties

   図8-16 「Replicatの追加」 - パラメータの詳細の入力

   
6. 「プロパティ・ファイル」で、Replicat名でマークされている最初の行を除き(# Properties file for Replicat <replicat_name>)、事前構成済のすべてのプロパティを削除します。次のプロパティ・リストをプロパティ・ファイルにコピー・アンド・ペーストし、#TODOとマークされているプロパティを更新してから、「作成および実行」をクリックします。

   #The File Writer Handler – no need to change
   gg.handlerlist=filewriter
   gg.handler.filewriter.type=filewriter
   gg.handler.filewriter.mode=op
   gg.handler.filewriter.pathMappingTemplate=./dirout
   gg.handler.filewriter.stateFileDirectory=./dirsta
   gg.handler.filewriter.fileRollInterval=7m
   gg.handler.filewriter.inactivityRollInterval=5s
   gg.handler.filewriter.fileWriteActiveSuffix=.tmp
   gg.handler.filewriter.finalizeAction=delete
   
   ### Avro OCF – no need to change
   gg.handler.filewriter.format=avro_row_ocf
   gg.handler.filewriter.fileNameMappingTemplate=${groupName}_${fullyQualifiedTableName}_${currentTimestamp}.avro
   gg.handler.filewriter.format.pkUpdateHandling=delete-insert
   gg.handler.filewriter.format.metaColumnsTemplate=${optype},${position}
   gg.handler.filewriter.format.iso8601Format=false
   gg.handler.filewriter.partitionByTable=true
   gg.handler.filewriter.rollOnShutdown=true
   
   #The Parquet Event Handler – no need to change
   gg.handler.filewriter.eventHandler=parquet
   gg.eventhandler.parquet.type=parquet
   gg.eventhandler.parquet.pathMappingTemplate=./dirparquet
   gg.eventhandler.parquet.fileNameMappingTemplate=${groupName}_${fullyQualifiedTableName}_${currentTimestamp}.parquet
   gg.eventhandler.parquet.writeToHDFS=false
   gg.eventhandler.parquet.finalizeAction=delete
   
   #Select GCS Event Handler – no need to change
   gg.eventhandler.parquet.eventHandler=gcs
   
   #TODO Set GCS Event handler – please update as needed
   gg.eventhandler.gcs.type=gcs
   gg.eventhandler.gcs.pathMappingTemplate=${fullyQualifiedTableName}
   #TODO: Edit the GCS bucket name
   gg.eventhandler.gcs.bucketMappingTemplate=<bucket_name>
   #TODO: Edit the GCS credentialsFile
   gg.eventhandler.gcs.credentialsFile=path_to_GCP_Credential_File
   gg.eventhandler.gcs.finalizeAction=none
   
   #TODO Set the classpath with the paths you noted in step1
    gg.classpath=path_to/ gcs_12.29.1/: path_to /hadoop_3.4.0/: path_to/parquet_1.12.3/* jvm.bootoptions=-Xmx512m -Xms32m
   

7. Replicatが正常に起動されると、それが実行状態になります。「Replicat」/「統計」に移動してレプリケーション統計を確認できます。

   図8-17 Replicatの統計

   
8. GCP Cloud Storageバケットに移動してそれらのファイルを確認します。

   図8-18 GCP Cloud Storageバケット

   

ノート:

• ターゲットのGCSバケットが存在しない場合は、GG for DAAによってそれが自動作成されます。テンプレート・キーワードを使用してコンテナ名を動的に割り当てることができます。
• GCSイベント・ハンドラをプロキシ・サーバー用に構成できます。詳細は、「データの複製」を参照してください。
• 様々なプロパティを使用して、ファイル書込みの動作を制御できます。ファイル・サイズ、非アクティブ期間などを設定できます。詳細は、ファイル・ライターのブログ投稿を参照してください。