7 依存性ダウンローダ
{OGGBD install}/DependencyDownloaderディレクトリにあるユーティリティ・スクリプトを使用して、サポートされている各種のOracle GoldenGate for Big Data統合で使用するクライアント依存性jarをダウンロードできます。
これらのスクリプトはJavaおよびApache Mavenを使用して、Maven Central Repositoryおよびその他の公開リポジトリ(Hortonworks、Cloudera、Confluent)から依存性jarをダウンロードします。
トピック:
7.1 依存性ダウンローダの設定
依存性ダウンローダを設定する手順は、次のとおりです。
依存性ダウンローダはBashスクリプトを使用して、Mavenを起動し依存性をダウンロードします。Windowsコマンド・プロンプトはネイティブでBashシェルをサポートしていません。依存性ダウンローダ・スクリプトはWindowsでも実行できますが、Unixエミュレータのインストールが必要です。UnixエミュレータはWindowsにUnix形式のコマンド行を提供するもので、BashといったUnixシェルのバリエーションをサポートします。Unixエミュレータのオプションとして、無料で利用できるCygwinがあります。Cygwinをインストールした後の設定プロセスは同じです。スクリプトの設定と実行はCygwin64ターミナルを使用して行う必要があります。https://www.cygwin.com/を参照してください。
親トピック: 依存性ダウンローダ
7.2 依存性ダウンローダ・スクリプトの実行
依存性ダウンローダ・スクリプトを実行する手順は、次のとおりです。
バージョン文字列が、ダウンロードする依存性のバージョン文字列と完全に一致していることを確認してください。依存性バージョンがパブリックMavenリポジトリに存在しない場合、依存性はダウンロードできず、スクリプトを実行したときにエラーが発生します。ほとんどのパブリックMavenリポジトリではWebベースのGUIがサポートされており、各種の依存性のサポートされているバージョンを確認できます。ただし、Confluent MavenリポジトリではWebベースのGUIはサポートされていません。そのため依存性のダウンロードには困難が伴います。Webインタフェースを介して個別にバージョン文字列を確認できないためです。
依存性が正常にダウンロードされたら、Javaアダプタ・プロパティ・ファイルでgg.classpath変数を構成し、対応するReplicatプロセスの依存性をパスに含めます。
注意:
ベスト・プラクティス- 可能な場合は常に、接続するサーバー/アプリケーションの統合にクライアント・ライブラリの正確なバージョンを使用します。
- 依存性ダウンローダ・スクリプトを実行する前に、Web GUIを介してリポジトリ内にバージョン文字列が存在することを別途確認します。
親トピック: 依存性ダウンローダ
7.3 依存性ダウンローダ・スクリプト
表7-1 依存性ダウンローダ・スクリプト
| クライアント | スクリプト | 説明 | 関連ハンドラ | サポートされるバージョン | 依存性リンク |
|---|---|---|---|---|---|
|
Amazon Web Services SDK |
aws.sh |
このスクリプトでダウンロードされるAmazon Web Services (AWS) SDKは、AWSクラウドに接続するためのクライアント・ライブラリを提供します。 | Kinesisハンドラ
S3イベント・ハンドラ |
1.11.x | https://search.maven.org/artifact/com.amazonaws/aws-java-sdk |
| Google BigQuery | bigquery.sh |
このスクリプトはGoogle BigQueryに必要なクライアント・ライブラリをダウンロードします。 | BigQueryハンドラ | 1.x | https://search.maven.org/artifact/com.google.cloud/google-cloud-bigquery |
| Cassandra DSE (Datastax Enterprise)クライアント | cassandra_dse.sh |
このスクリプトはCassandra DSEクライアントをダウンロードします。Cassandra DSEはDatastaxから入手可能なCassandraの商用バージョンです。 | Cassandraハンドラ | 2.0.0以上 | https://search.maven.org/artifact/com.datastax.dse/dse-java-driver-core |
| Apache Cassandraクライアント | cassandra.sh |
このスクリプトはApache Cassandraクライアントをダウンロードします。 | Cassandraハンドラ | 4.0.0以上 | https://search.maven.org/artifact/com.datastax.oss/java-driver-core |
| Elasticsearch RESTクライアント | elasticsearch_rest.sh |
このスクリプトはElasticsearch High Level Rest Clientをダウンロードします。 | Elasticsearchハンドラ | 現在は7.xバージョンがサポートされています | https://search.maven.org/artifact/org.elasticsearch.client/elasticsearch-rest-high-level-client |
| Elasticsearch Transport Client | elasticsearch_transport.sh |
このスクリプトはElasticsearch Transport Clientをダウンロードします。 | Elasticsearchハンドラ | 5.x、6.x,および7.x | https://search.maven.org/artifact/org.elasticsearch.client/transport |
| Hadoop Azureクライアント(Cloudera提供) | hadoop_azure_cloudera.sh |
このスクリプトはClouderaによって提供されるHadoop Azureクライアント・ライブラリをダウンロードします。Hadoop Azureクライアント・ライブラリはHadoopクライアントとともにロードできません。Clouderaでは2つのコンポーネント間のバージョン番号が完全に整合しないためです。 |
|
2.xおよび3.x | https://repository.cloudera.com/artifactory/cloudera-repos/org/apache/hadoop/hadoop-azure/ |
| Hadoopクライアント(Cloudera提供) | hadoop_cloudera.sh |
このスクリプトはClouderaから提供されるHadoopクライアント・ライブラリをダウンロードします。 |
|
2.xおよび3.x | https://repository.cloudera.com/artifactory/cloudera-repos/org/apache/hadoop/hadoop-client/ |
| Hadoopクライアント(Hortonworks提供) | hadoop_hortonworks.sh |
Hortonworksから提供されるHadoopクライアント。Azure Data Lakeに接続するためのライブラリが含まれています。 |
|
2.xおよび3.x | https://repo.hortonworks.com/content/groups/public/org/apache/hadoop/hadoop-azure/ |
| Apache HadoopクライアントとAzure接続に必要なライブラリ | hadoop.sh |
Hadoopクライアント。Azure Data Lakeに接続するためのライブラリが含まれています。 |
|
2.7.x以上、3.x | https://search.maven.org/artifact/org.apache.hadoop/hadoop-azure |
| HBaseクライアント(Cloudera提供) | hbase_cloudera.sh |
Clouderaから提供されるHBaseクライアント・ライブラリ。 | HBaseハンドラ | 1.xおよび2.x | https://repository.cloudera.com/artifactory/cloudera-repos/org/apache/hbase/hbase-client/ |
| HBaseクライアント(Hortonworks提供) | hbase_hortonworks.sh |
Hortonworksから提供されるHBaseクライアント・ライブラリ。 | HBaseハンドラ | 1.xおよび2.x | https://repo.hortonworks.com/content/groups/public/org/apache/hbase/hbase-client/ |
| Apache HBaseクライアント | hbase.sh |
HBaseクライアント。 |
HBaseハンドラ | 1.xおよび2.x | https://search.maven.org/artifact/org.apache.hbase/hbase-client |
| Apache Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONコンバータ (Cloudera提供) | kafka_cloudera.sh |
Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect JSONコンバータ(Cloudera提供)。 |
|
0.9.xから現行 | https://repository.cloudera.com/artifactory/cloudera-repos/org/apache/kafka/kafka-clients/ |
| Apache Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONコンバータ(Hortonworks提供) | kafka_hortonworks.sh |
Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect JSONコンバータ(Hortonworks提供)。 |
|
0.9.xから現行 | https://repo.hortonworks.com/content/groups/public/org/apache/kafka/kafka-clients/ |
| Apache Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONコンバータ | kafka.sh |
Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect JSONコンバータ。 |
|
0.9.xから現行 | https://search.maven.org/artifact/org.apache.kafka/kafka-clients |
| Confluent Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONおよびAvroコンバータ | kafka_confluent.sh |
Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリ、Kafka Connect JSONコンバータ、Kafka Connect Avroコンバータ(Confluent提供)。 |
|
Confluentプラットフォーム4.1.0以上。 | Confluent MavenリポジトリではWeb GUIインタフェースはサポートされません。 |
| MongoDBクライアント | mongodb.sh |
MongoDBクライアント・ライブラリ。 | MongoDBハンドラ | 3.x | https://search.maven.org/artifact/org.mongodb/mongo-java-driver |
| Oracle NoSQLクライアント | oracle_nosql.sh |
Oracle NoSQLクライアント・ライブラリ。 | Oracle NoSQLハンドラ | 3.x、4.x,および18.x | https://search.maven.org/artifact/com.oracle.kv/oracle-nosql-client |
| Oracle OCIクライアント | oracle_oci.sh |
Oracle OCIクライアント・ライブラリ。 | Oracle OCIイベント・ハンドラ | 1.x | https://search.maven.org/artifact/com.oracle.oci.sdk/oci-java-sdk-full |
| Apache ORC (Optimized Row Columnar)クライアント | orc.sh |
Apache ORCクライアント・ライブラリ。ORCはHadoopクライアント上に構築されるため、ORCイベント・ハンドラを実行するにはHadoopクライアントが必要です。別途Hadoopクライアントをダウンロードする必要があります。 | ORCイベント・ハンドラ | 1.x | https://search.maven.org/artifact/org.apache.orc/orc-core |
| Apache Parquetクライアント | parquet.sh |
Apache Parquetクライアント・ライブラリ。ParquetはHadoopクライアント上に構築されるため、Parquetイベント・ハンドラを実行するにはHadoopクライアントが必要です。別途Hadoopクライアントをダウンロードする必要があります。 | Parquetイベント・ハンドラ | 1.x | https://search.maven.org/artifact/org.apache.parquet/parquet-hadoop |
親トピック: 依存性ダウンローダ