1.3 依存性ダウンローダ

サポートされている様々なOracle GoldenGate for Distributed Applications and Analytics (GG for DAA)統合用のクライアント依存性jarをダウンロードするために、{GGforDAA install}/DependencyDownloaderディレクトリに様々なユーティリティ・スクリプトがあります。

トピック:

1.3.1 依存性ダウンローダの設定

依存性ダウンローダを設定する手順は、次のとおりです。
  1. Javaがインストールされていることを確認するため、コマンド・ラインからjava -versionを実行します。

    ノート:

    依存性ダウンローダ・ユーティリティ・スクリプトを実行するにはJavaが必要です。Oracle Javaがダウンロード済であり、スクリプトがインストールされているマシンのPATH上にあることを確認してください。
  2. スクリプト{GGforDAA install}/DependencyDownloader/config_proxy.shでプロキシ設定を構成します。このファイルには次の2つのエントリがあります。
    • #export PROXY_SERVER_HOST=www-proxy-hqdc.us.oracle.com
    • #export PROXY_SERVER_PORT=80
    プロキシ設定を構成する手順は、次のとおりです。
    1. 構成設定を非コメント化します(行先頭の#を削除します)。
    2. ホスト名とポート番号を使用するプロキシ・サーバーの設定に変更します。

    ノート:

    ほとんどの企業はプライベート・ネットワークを配備し、これをパブリック・インターネットから保護するためにネットワーク・ファイアウォールを設置しています。また、ほとんどの企業は転送プロキシ・サーバーを設置して、顧客のプライベート・ネットワークとパブリック・インターネットの間のゲートウェイとして使用しています。依存性ダウンローダ・ユーティリティはインターネット上のMavenリポジトリにアクセスします。そのため、依存性ライブラリをダウンロードするには、HTTPプロキシ設定を構成する必要があります。プロキシ・サーバーは、ホスト名とポートで識別されます。企業でプロキシ・サーバーを使用しているかどうか、またその設定については、社内のIT管理者またはネットワーク管理者に確認してください。

依存性ダウンローダはBashスクリプトを使用して、Mavenを起動し依存性をダウンロードします。Windowsコマンド・プロンプトはネイティブでBashシェルをサポートしていません。依存性ダウンローダ・スクリプトはWindowsでも実行できますが、Unixエミュレータのインストールが必要です。UnixエミュレータはWindowsにUnix形式のコマンド行を提供するもので、BashといったUnixシェルのバリエーションをサポートします。Unixエミュレータのオプションとして、無料で利用できるCygwinがあります。Cygwinをインストールした後の設定プロセスは同じです。スクリプトの設定と実行はCygwin64ターミナルを使用して行う必要があります。https://www.cygwin.com/を参照してください。

1.3.2 依存性ダウンローダ・スクリプトの実行

依存性ダウンローダ・スクリプトを実行する手順は、次のとおりです。
  1. Unixターミナル・インタフェースを使用して、ディレクトリ{GGforDAA install}/DependencyDownloaderに移動します。
  2. 次を実行して、スクリプトを実行します: ./{the dependency script} {version of the dependencies to download}

    たとえば: ./aws.sh 1.11.893

    依存性ライブラリは次のディレクトリにダウンロードされます。

    {GGforDAA install}/DependencyDownloader/dependencies/{the dependency name}_{the_dependency_version}

    例: {GGforDAA install}/DependencyDownloader/dependencies/aws_sdk_1.11.893

バージョン文字列が、ダウンロードする依存性のバージョン文字列と完全に一致していることを確認してください。依存性バージョンがパブリックMavenリポジトリに存在しない場合、依存性はダウンロードできず、スクリプトを実行したときにエラーが発生します。ほとんどのパブリックMavenリポジトリではWebベースのGUIがサポートされており、各種の依存性のサポートされているバージョンを確認できます。ただし、Confluent MavenリポジトリではWebベースのGUIはサポートされていません。そのため依存性のダウンロードには困難が伴います。Webインタフェースを介して個別にバージョン文字列を確認できないためです。

依存性が正常にダウンロードされたら、Javaアダプタ・プロパティ・ファイル内でgg.classpath変数を構成して、対応するReplicatプロセスの依存性を含めます。

ノート:

ベスト・プラクティス
  1. 可能な場合は常に、接続するサーバー/アプリケーションの統合にクライアント・ライブラリの正確なバージョンを使用します。
  2. 依存性ダウンローダ・スクリプトを実行する前に、Web GUIを介してリポジトリ内にバージョン文字列が存在することを別途確認します。

1.3.3 依存性ダウンローダ・スクリプト

表1-1 関連ハンドラ/キャプチャ

クライアント スクリプト 説明 関連ハンドラ/キャプチャ サポートされるバージョン 依存性リンク

Amazon Web Services SDK

aws.sh このスクリプトでダウンロードされるAmazon Web Services (AWS) SDKは、AWSクラウドに接続するためのクライアント・ライブラリを提供します。 Kinesisハンドラ

S3イベント・ハンドラ

1.12.x https://search.maven.org/artifact/com.amazonaws/aws-java-sdk
Google BigQuery bigquery.sh このスクリプトはGoogle BigQueryに必要なクライアント・ライブラリをダウンロードします。 BigQueryハンドラ 2.x https://search.maven.org/artifact/com.google.cloud/google-cloud-bigquery
Cassandra DSE (Datastax Enterprise)クライアント cassandra_dse.sh このスクリプトはCassandra DSEクライアントをダウンロードします。Cassandra DSEはDatastaxから入手可能なCassandraの商用バージョンです。 Cassandraハンドラ 2.0.0以上 https://search.maven.org/artifact/com.datastax.dse/dse-java-driver-core
Apache Cassandraクライアント cassandra.sh このスクリプトはApache Cassandraクライアントをダウンロードします。 Cassandraハンドラ 4.0.0以上 https://search.maven.org/artifact/com.datastax.oss/java-driver-core
Cassandraキャプチャ3xクライアント cassandra_capture_3x.sh このスクリプトは、Cassandra 3.xバージョンからのキャプチャに必要なすべてのクライアント・ライブラリをダウンロードします。 Cassandraキャプチャ3x 3.3.1 (デフォルトで使用) https://mvnrepository.com/artifact/com.datastax.cassandra/cassandra-driver-core/3.3.1
Cassandraキャプチャ4xクライアント cassandra_capture_4x.sh このスクリプトは、Cassandra 4.xバージョンからのキャプチャに必要なすべてのクライアント・ライブラリをダウンロードします。 Cassandraキャプチャ4x 4.14.1 (デフォルトで使用) https://mvnrepository.com/artifact/com.datastax.oss/java-driver-core/4.14.1
CassandraキャプチャDSEクライアント cassandra_capture_dse.sh このスクリプトは、DSE Cassandra 6.xバージョンからのキャプチャに必要なすべてのクライアント・ライブラリをダウンロードします。 CassandraキャプチャDSE 4.14.1 (デフォルトで使用) https://mvnrepository.com/artifact/com.datastax.oss/java-driver-core/4.14.1
Elasticsearch Javaクライアント elasticsearch_java.sh このスクリプトは、Elasticsearch Javaクライアントをダウンロードします。 Elasticsearchハンドラ 7.xおよび8.x https://search.maven.org/artifact/co.elastic.clients/elasticsearch-java
Hadoop Azureクライアント(Cloudera提供) hadoop_azure_cloudera.sh このスクリプトはClouderaによって提供されるHadoop Azureクライアント・ライブラリをダウンロードします。Hadoop Azureクライアント・ライブラリはHadoopクライアントとともにロードできません。Clouderaでは2つのコンポーネント間のバージョン番号が完全に整合しないためです。
  • HDFSハンドラ
  • HDFSイベント・ハンドラ
  • ORCイベント・ハンドラ
  • Parquetイベント・ハンドラ
3.x https://repository.cloudera.com/service/rest/repository/browse/cloudera-repos/org/apache/hadoop/hadoop-azure/
Hadoopクライアント(Cloudera提供) hadoop_cloudera.sh このスクリプトはClouderaから提供されるHadoopクライアント・ライブラリをダウンロードします。
  • HDFSハンドラ
  • HDFSイベント・ハンドラ
  • ORCイベント・ハンドラ
  • Parquetイベント・ハンドラ
3.x https://repository.cloudera.com/service/rest/repository/browse/cloudera-repos/org/apache/hadoop/hadoop-client/
Hadoopクライアント(Hortonworks提供) hadoop_hortonworks.sh Hortonworksから提供されるHadoopクライアント。Azure Data Lakeに接続するためのライブラリが含まれています。
  • HDFSハンドラ
  • HDFSイベント・ハンドラ
  • ORCイベント・ハンドラ
  • Parquetイベント・ハンドラ
3.x https://repo.hortonworks.com/service/rest/repository/browse/public/org/apache/hadoop/hadoop-client/
Apache HadoopクライアントとAzure接続に必要なライブラリ hadoop.sh Hadoopクライアント。Azure Data Lakeに接続するためのライブラリが含まれています。
  • HDFSハンドラ
  • HDFSイベント・ハンドラ
  • ORCイベント・ハンドラ
  • Parquetイベント・ハンドラ
3.x https://search.maven.org/artifact/org.apache.hadoop/hadoop-azure
HBaseクライアント(Cloudera提供) hbase_cloudera.sh Clouderaから提供されるHBaseクライアント・ライブラリ。 HBaseハンドラ 2.x https://repository.cloudera.com/service/rest/repository/browse/cloudera-repos/org/apache/hbase/hbase-client/
HBaseクライアント(Hortonworks提供) hbase_hortonworks.sh Hortonworksから提供されるHBaseクライアント・ライブラリ。 HBaseハンドラ 2.x https://repo.hortonworks.com/service/rest/repository/browse/public/org/apache/hbase/hbase-client/
Apache HBaseクライアント hbase.sh

HBaseクライアント。

HBaseハンドラ 2.x https://search.maven.org/artifact/org.apache.hbase/hbase-client
Apache Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONコンバータ (Cloudera提供) kafka_cloudera.sh Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect JSONコンバータ(Cloudera提供)。
  • Kafkaハンドラ
  • Kafka Connectハンドラ
  • Kafkaキャプチャ
0.9.xから現行 https://repository.cloudera.com/service/rest/repository/browse/cloudera-repos/org/apache/kafka/kafka-clients/
Apache Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONコンバータ(Hortonworks提供) kafka_hortonworks.sh Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect JSONコンバータ(Hortonworks提供)。
  • Kafkaハンドラ
  • Kafka Connectハンドラ
  • Kafkaキャプチャ
0.9.xから現行 https://repo.hortonworks.com/service/rest/repository/browse/public/org/apache/kafka/kafka-clients/
Apache Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONコンバータ kafka.sh Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect JSONコンバータ。
  • Kafkaハンドラ
  • Kafka Connectハンドラ
  • Kafkaキャプチャ
0.9.xから現行 https://search.maven.org/artifact/org.apache.kafka/kafka-clients
Confluent Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONおよびAvroコンバータ kafka_confluent.sh Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリ、Kafka Connect JSONコンバータ、Kafka Connect Avroコンバータ(Confluent提供)。
  • Kafkaハンドラ
  • Kafka Connectハンドラ
  • Kafkaキャプチャ
Confluentプラットフォーム4.1.0以上。 https://packages.confluent.io/maven/io/confluent/kafka-connect-avro-converter/を参照してください
MapR Kafkaクライアント kafka_mapr.sh MapR Kafkaクライアント・ライブラリ。 Kafkaハンドラ 0.x、1.x,および2.x https://repository.mapr.com/nexus/content/groups/mapr-public/org/apache/kafka/kafka-clients/
Confluent Kafkaクライアントと、Kafka ConnectフレームワークおよびProtobuf Converter kafka_confluent_protobuf.sh Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect Protobuf Converter (Confluent提供)。
  • Kafkaハンドラ
  • Kafka Connectハンドラ
Confluent 5.x以降 https://packages.confluent.io/maven/io/confluent/kafka-connect-protobuf-converter/を参照してください
MongoDBクライアント mongodb.sh MongoDBクライアント・ライブラリ。 MongoDBハンドラ 5.x https://mvnrepository.com/artifact/org.mongodb/mongodb-driver-legacy
Oracle NoSQL SDKクライアント oracle_nosql_sdk.sh Oracle NoSQLクライアント・ライブラリ。 Oracle NoSQLハンドラ 5.x https://search.maven.org/artifact/com.oracle.nosql.sdk/nosqldriver
Oracle OCIクライアント oracle_oci.sh Oracle OCIクライアント・ライブラリ。 Oracle OCIイベント・ハンドラ 3.x https://search.maven.org/artifact/com.oracle.oci.sdk/oci-java-sdk-objectstorage
Apache ORC (Optimized Row Columnar)クライアント orc.sh Apache ORCクライアント・ライブラリ。ORCはHadoopクライアント上に構築されるため、ORCイベント・ハンドラを実行するにはHadoopクライアントが必要です。別途Hadoopクライアントをダウンロードする必要があります。 ORCイベント・ハンドラ 1.x https://search.maven.org/artifact/org.apache.orc/orc-core
Apache Parquetクライアント parquet.sh Apache Parquetクライアント・ライブラリ。ParquetはHadoopクライアント上に構築されるため、Parquetイベント・ハンドラを実行するにはHadoopクライアントが必要です。別途Hadoopクライアントをダウンロードする必要があります。 Parquetイベント・ハンドラ 1.x https://search.maven.org/artifact/org.apache.parquet/parquet-hadoop
Apache Velocity velocity.sh Velocityライブラリは、21.1リリース以降のOracle GoldenGate for Distributed Applications and Analytics (GG for DAA)インストールからは削除されました。このスクリプトは、Velocityを使用した書式設定に必要なライブラリをダウンロードします。 Velocityフォーマッタ 1.x https://search.maven.org/artifact/org.apache.velocity/velocity
Google Cloud Storage Java SDK gcs.sh このスクリプトはGoogle Cloud Storageに必要なクライアント・ライブラリをダウンロードします。 GCSイベント・ハンドラ 2.x https://search.maven.org/artifact/com.google.cloud/google-cloud-storage
MongoDBキャプチャ mongodb_capture.sh このスクリプトはMongoDBキャプチャに必要なクライアント・ライブラリをダウンロードします。 MongoDBキャプチャ 5.x https://search.maven.org/artifact/org.mongodb/mongodb-driver-reactivestreams
Synapse JDBCドライバ synapse.sh このスクリプトは、Synapse JDBCドライバをダウンロードします。さらに、Hadoopクライアントも、データをAzure Data Lakeにステージングするために必要です。 Synapseステージングおよびマージ 12.6.1jre8 https://mvnrepository.com/artifact/com.microsoft.sqlserver/mssql-jdbc/12.6.1.jre8
スノーフレークJDBCドライバ snowflake.sh このスクリプトは、スノーフレークJDBCドライバをダウンロードします。AWSまたはAzureクラウドにデータをステージングするには、他のクライアント・ライブラリが必要になる可能性があります。 スノーフレークにおけるステージングおよびマージ 3.15.1 https://search.maven.org/artifact/net.snowflake/snowflake-jdbc/3.15.1/jar
RedisのJedisクライアント redis.sh このスクリプトは、RedisクライアントであるJedisをダウンロードします。 Redisハンドラ 4.x https://search.maven.org/artifact/redis.clients/jedis
Google Pub/Subクライアント googlepubsub.sh このスクリプトは、Google Pub/Subメッセージング用のJavaクライアントをダウンロードします。 Google Pub/Subハンドラ 1.x https://search.maven.org/artifact/com.google.cloud/google-cloud-pubsub
Databricks JDBCドライバ databricks.sh このスクリプトは、Databricks JDBCドライバをダウンロードします。 Databricksステージングおよびマージ 2.6.36 https://mvnrepository.com/artifact/com.databricks/databricks-jdbc/2.6.36
Azure Blob Storageクライアント azure_blob_storage.sh このスクリプトは、Microsoft Azure Blob Storageクライアントをダウンロードします。 Azure Blob Storageイベント・ハンドラ

データ・ウェアハウスのステージングおよびマージの実装では、これを使用でき、Azure Data Lakeへのアップロードもできます。
12.25.3 https://search.maven.org/artifact/com.azure/azure-storage-blob
スノーフレーク・ストリーミング snowflakestreaming.sh このスクリプトは、依存性ダウンローダ・スクリプトを使用してダウンロードできます。 該当なし 該当なし このスクリプトは次の場所にあります: <OGGDIR>/DependencyDownloader/snowflakestreaming.sh