1 概要
- Oracle GoldenGate for Distributed Applications and Analyticsの理解
- Oracle GoldenGate for Distributed Applications and Analyticsでのサポート内容
- 依存性ダウンローダ
サポートされている様々なOracle GoldenGate for Distributed Applications and Analytics (GG for DAA)統合用のクライアント依存性jarをダウンロードするために、{GGforDAA install}/DependencyDownloader
ディレクトリに様々なユーティリティ・スクリプトがあります。
1.1 Oracle GoldenGate for Distributed Applications and Analyticsの理解
この項では、Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)の概念と基本構造について説明します。
Oracle GoldenGate Microservicesの概要についてのこのビデオ(GoldenGate Microservicesの概要)を視聴してください
1.1.1 Oracle GoldenGate for Distributed Applications and Analyticsの理解
Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)は、Oracle GoldenGateインスタンスと統合されます。
Oracle GoldenGate製品を使用すると、次のことが行えます。
- トランザクション変更をソース・データベースから取得します。
- Oracle GoldenGate証跡と呼ばれる、データベースに依存しないファイルのセットとしてこれらの変更を送信およびキューイングします
- オプションで、マッピング・パラメータおよび関数を使用してソース・データを変更します
- 証跡内のトランザクションをターゲット・システム・データベースに適用します
Oracle GoldenGateでは、この取得と適用が異種データベース、プラットフォームおよびオペレーティング・システム間でほぼリアルタイムで行われます。
1.1.1.1 配信構成オプション
Java配信モジュールは、GoldenGate Replicatプロセスによってロードされ、これはReplicatパラメータ・ファイルを使用して構成できます。ロード時に、Java配信モジュールはアダプタ・プロパティ・ファイルに存在する構成に基づいて引き続き構成されます。アプリケーションの動作は、次のようにしてカスタマイズできます。
-
プロパティ・ファイルの編集。たとえば、次のような編集があります。
-
ターゲット・タイプ、ホスト名、ポート番号、出力ファイル名、JMS接続設定の設定
-
debugレベルのロギングなどの有効化/無効化。
-
使用されるメッセージ形式の識別。
-
-
レコードは、次の方法でカスタム・フォーマットにできます。
-
既存のフォーマット・プロセス(固定長またはフィールド区切りのメッセージ形式、XML、JSONまたはAvro用)のプロパティの設定
-
Velocityテンプレート・マクロ言語を使用したメッセージ・テンプレートのカスタマイズ;
-
(オプション)カスタムJavaコードの記述。
-
-
(オプション)トランザクションおよび操作のカスタム処理、フィルタリング、またはカスタム・メッセージ形式の実装を行うカスタムJavaコードの記述。
JMSを使用したメッセージの送信およびディスクへのファイルの書込み用に既存の実装(ハンドラ)があります。Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)のターゲット用に、サポートされているデータベースに書き込むための組込みの統合ハンドラがあります。
メッセージの送信用にあらかじめ定義されたメッセージ形式がいくつかあります(XML、フィールド区切りなど)。あるいは、テンプレートを使用してカスタム形式を実装できます。各ハンドラには、その構成プロパティを表すドキュメンテーションがあります。たとえば、ファイル名をファイル・ライターに対して指定したり、JMSキュー名をJMSハンドラに対して指定できます。一部のプロパティは複数のハンドラに適用されます。たとえば、同一のメッセージ形式をJMSとファイルに使用できます。
1.1.1.2 アダプタ統合オプション
Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)アーキテクチャに基づく主要製品は2つあります。
-
Oracle GoldenGate Javaアダプタは全体的なフレームワークです。この製品では、カスタム・コードを実装し、特定の要件に従ってOracle GoldenGateの証跡レコードを処理できます。Oracle GoldenGate File Writerモジュールが組み込まれており、フラット・ファイルを統合する目的で使用できます。
-
GG for DAA。GG for DAA製品には、操作データをOracle GoldenGate証跡レコードから様々なGG for DAAターゲット(HDFS、HBase、Kafka、Flume、JDBC、CassandraおよびMongoDBなど)に書き込むための、組込みのサポートが含まれています。GG for DAAアプリケーションとの統合には、カスタム・コードを記述する必要はありません。この機能は、サードパーティ・アプリケーションおよびフォーマッタと統合される複数のハンドラに分けられます。これらのハンドラは、データを様々な形式(Avro、JSON、区切りテキスト、XMLなど)に変換します。HBase APIの場合など、サードパーティ・ツールとの統合に所有権が設定されていることがあります。このような場合、フォーマッタには、関連付けられたハンドラはありません。
Oracle GoldenGate JavaアダプタとGG for DAA製品には機能に重複する部分があるため、ハンドラは関連付けられたフォーマッタなしで存在します。次のリストでは、主な機能と、どの製品にその機能が含まれているかを示します。
-
JMSメッセージを読み取り、Oracle GoldenGate証跡として配信します。この機能はGG for DAAに含まれています。
-
Oracle GoldenGate証跡を読み取り、トランザクションをJMSプロバイダ、他のメッセージング・システムまたはカスタム・アプリケーションに配信します。この機能はGG for DAA製品に含まれています。
-
Oracle GoldenGate証跡を読み取り、他のアプリケーションによって使用可能なファイルにトランザクションを書き込みます。この機能はGG for DAAにのみ含まれています。
-
Oracle GoldenGate証跡を読み取り、トランザクションをGG for DAAターゲットに書き込みます。GG for DAA統合機能は、GG for DAA製品にのみ含まれています。
1.1.1.2.1 トランザクションの証跡への取得
Oracle GoldenGateのメッセージ取得を使用して、キューからメッセージを読み取り、Oracle GoldenGate Extractプロセスと通信して、処理したデータを含む証跡を生成します。
メッセージ取得処理は、通常のExtractプロセスのベンダー・アクセス・モジュール(VAM)プラグインとして実装されます。プロパティ、ルールおよび外部ファイルのセットによってメッセージ接続情報が指定され、メッセージの解析方法とターゲットOracle GoldenGate証跡のレコードへのマップ方法が定義されます。
現在このアダプタでは、JMSテキスト・メッセージの取得がサポートされています。
親トピック: アダプタ統合オプション
1.1.1.2.2 トランザクションの証跡からの適用
Oracle GoldenGate Javaアダプタの配信を使用すると、トランザクションの変更点をリレーショナル・データベース以外のターゲット(DataStage、Ab Initio、InformaticaなどのETLツール、JMSメッセージング、Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)アプリケーション、カスタムAPIなど)に適用できます。Oracle GoldenGateとの統合には、様々なオプションがあります。
-
フラット・ファイル統合: 主にETL(プロプライエタリまたはレガシー・アプリケーション)用で、Oracle GoldenGate File Writerは、バッチ・ファイルを入力とするツールによって消費されるマイクロ・バッチをディスクに書き込むことができます。データは、デリミタ区切り、長さ区切り、バイナリなどターゲット・アプリケーションの仕様に合せてフォーマットされます。バッチ・ファイル・ロールオーバーの時間ウィンドウを分または秒に短縮することで、これらのシステムへのほぼリアルタイムでのフィードが実現されます。
-
メッセージング: トランザクションまたは操作はメッセージ(XML形式など)としてJMSにパブリッシュされます。JMSプロバイダは、ActiveMQ、JBoss Messaging、TIBCO、Oracle WebLogic JMS、WebSphere MQなど複数のJMS実装と連携するように構成されます。
-
Java API: カスタム・ハンドラをJavaで記述し、Oracle GoldenGateによってソース・システムで取得されたトランザクション、操作およびメタデータの変更を処理できます。これらのカスタムJavaハンドラで、ターゲット・システムで公開されているサードパーティJava APIにこれらの変更を適用します。
-
GG for DAA統合: ソース証跡ファイルから様々なGG for DAAターゲットにトランザクション・データを書き込むには、構成プロパティを設定します。GG for DAA製品には、HDFS、HBase、KafkaおよびFlumeターゲットに書き込むための、組込みのGG for DAAハンドラが含まれています。
4つのオプションはすべて、コアOracle GoldenGate製品の拡張として実装されています。
-
JMSまたはJava APIを使用したJava統合の場合、Java用Oracle GoldenGateを使用します。
-
GG for DAA統合の場合は、GG for DAAモジュールと統合するようにOracle GoldenGate Replicatを構成できます。各種の形式でGG for DAAターゲットに書き込む操作は、一連のプロパティを使用して構成でき、プログラミングの必要はありません。
親トピック: アダプタ統合オプション
1.1.1.3 パフォーマンスの監視
パフォーマンスの監視の詳細は、『Oracle GoldenGate Microservices Architectureの使用』のパフォーマンス・メトリック・サービスでのパフォーマンスの監視を参照してください。
1.2 Oracle GoldenGate for Distributed Applications and Analyticsでのサポート内容
- 動作保証およびシステム要件の確認
ご使用の環境がインストールの要件を満たしていることを確認するには、動作保証マトリックスおよびシステム要件のドキュメントをあわせて使用することをお薦めします。 - ハンドラの互換性の理解
- その他のサポートに関する考慮事項
親トピック: 概要
1.2.1 動作保証要件とシステム要件の確認
動作保証マトリックスとシステム要件のドキュメントを相互に確認して、現在の環境が必要なインストール要件を満たしていることを確認することをお薦めします。
- 現在の環境が動作保証要件を満たしていることを確認します。
サポートされているハードウェアおよびソフトウェア構成で製品をインストールすることを確認します。詳細は、動作保証マトリックス(GoldenGateの動作保証情報)を参照してください。
オラクル社では、動作保証されたシステムおよび環境すべてで製品のパフォーマンスをテストおよび検証しています。新しい動作保証情報がリリースされるたびに、動作保証に関するドキュメントにすぐに追加されます。新しい動作保証情報は随時リリースされる可能性があります。そのため、動作保証ドキュメントはドキュメント・ライブラリの外部に保持され、Oracle Technology Networkで利用できます。
- システム要件ドキュメントを使用して動作保証を確認します。
「Oracle Fusion Middleware Supported System Configurations」のドキュメントを使用して、動作保証要件が満たされていることを確認することをお薦めします。たとえば、この動作保証に関するドキュメントに、ご使用の製品が64ビットOracle Linux 6.5上にインストールすることが動作保証されていることが記載されている場合、このドキュメントを使用して、ご使用のシステムが必要な最小仕様を満たしていることを確認します。これには、ディスク容量、使用可能なメモリー、特定のプラットフォームのパッケージおよびパッチ、その他のオペレーティング・システム固有の要件などが含まれます。システム要件は、将来変更される可能性があります。そのため、システム要件ドキュメントはドキュメント・ライブラリの外部に保持され、Oracle Technology Networkで利用できます。
- 複数の製品間の相互運用性を確認します。
同一リリースまたは混合リリースから相互に複数のFusion Middleware製品をインストールおよび実行する方法について学習するには、Oracle Fusion Middleware相互運用および互換性の理解の「Oracle Fusion Middleware Supported System Configurations」を参照してください。
GG for DAAハンドラと、ディストリビューション、データベース・リリース、ドライバなどの様々なデータ・コレクションとの互換性は、動作保証に関するドキュメントに含まれています。
1.2.3 その他のサポートに関する考慮事項。
この項では、Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)のサポートに関するその他の考慮事項について説明します。
- プラガブル・フォーマッタ - サポート
-
ハンドラは、プラガブル・フォーマッタを次のようにサポートします。
- ファイル・ライター・ハンドラは、すべてのプラガブル・フォーマッタをサポートしています。
- HDFSハンドラは、すべてのプラガブル・フォーマッタをサポートします。
-
プラガブル・フォーマッタは、HBaseハンドラには適用されません。データは、プロプライエタリなHBaseクライアント・インタフェースを使用してHBaseにストリーミングされます。
-
Kafkaハンドラは、すべてのプラガブル・フォーマッタをサポートします。
-
Kafka Connectハンドラは、プラガブル・フォーマッタをサポートしていません。Kafka Connectのデータ・コンバータを使用してデータをJSONまたはAvroに変換できます。
-
Kinesis Streamsハンドラは、プラガブル・フォーマッタの使用で説明されているすべてのプラガブル・フォーマッタをサポートしています。
-
Cassandra、MongoDBおよびJDBCハンドラは、プラガブル・フォーマッタを使用しません。
- Extractを使用するJava配信
-
Extractを使用したJava配信はサポートされていません。Java配信のサポートは、Replicatプロセスの使用でのみサポートされています。Replicatにより、パフォーマンスが向上し、チェックポイントのサポートが改善され、トランザクションのグループ化の制御が改善されます。
- MongoDBハンドラ - サポート
-
-
このハンドラのみが、ソース表から一意の行を複製できます。ソース表に定義済の主キーがなく、重複行がある場合、MongoDBターゲットに重複行を複製すると、重複キー・エラーが発生し、Replicatプロセスが異常終了します。
-
欠落した更新および削除は検出されないため、無視されます。
-
シャード・コレクションでテストされていません。
-
ミリ秒の精度の日時データ型のみをサポートします。証跡からの値でマイクロ秒またはナノ秒の精度のものは、ミリ秒の精度に切り捨てられます。
-
証跡で
timezone
を含むdatetime
データ型は、サポートされていません。 -
BSONドキュメントの最大サイズは16MBです。証跡レコード・サイズがこの制限を超えると、ハンドラはレコードを複製できません。
-
DDL伝播はありません。
-
切捨て操作はありません。
-
- JDBCハンドラ - サポート
-
-
JDBCハンドラは汎用JDBC APIを使用します。つまりJDBCドライバが実装されたターゲット・データベースは、このハンドラを使用できる必要があります。JDBC APIをサポートする様々なデータベースが無数にあるため、OracleではすべてのターゲットのJDBCを動作保証できるわけではありません。
-
このハンドラは、
REPERROR
およびHANDLECOLLISIONS
パラメータを使用してReplicatをサポートします。Oracle GoldenGateパラメータおよび機能リファレンスを参照してください。 -
DDL操作はデフォルトで無視され、
WARN
レベルで記録されます。 -
調整Replicatは、シリアルではなくパラレルでトランザクションを適用するマルチスレッド・プロセスです。個々のスレッドは割り当てられたワークロードに対するフィルタリング、マッピング、変換、SQL構築およびエラー処理をすべて扱います。コーディネータ・スレッドは依存関係を示すようにスレッド間のトランザクションを調整します。これにより、データベース固有のルールに基づいた行ロック、ブロック・ロックまたは表ロックの問題が原因で同時に同じオブジェクトで特定のDMLが発生することを回避する同期的な方法で、DMLが適用されます。データベース・ロックの問題がある場合は、調整Replicatのパフォーマンスが非常に遅いか、一時停止している可能性があります。
-
- DDLイベント処理
-
TRUNCATE TABLE
DDL文のみがサポートされています。他のすべてのDDL文(CREATE TABLE
、CREATE INDEX
、DROP TABLE
など)は無視されます。TRUNCATE
文は、次のいずれかの方法で使用できます。-
DDL文では、
TRUNCATE TABLE
、ALTER TABLE TRUNCATE PARTITION
およびその他のDDLTRUNCATE
文。これは、DDL
パラメータを使用します。 -
スタンドアロン
TRUNCATE
サポート。TRUNCATE TABLE
のみが含まれます。これは、GETTRUNCATES
パラメータを使用します。
-
1.3 依存性ダウンローダ
サポートされている様々なOracle GoldenGate for Distributed Applications and Analytics (GG for DAA)統合用のクライアント依存性jarをダウンロードするために、{GGforDAA install}/DependencyDownloader
ディレクトリに様々なユーティリティ・スクリプトがあります。
トピック:
1.3.1 依存性ダウンローダの設定
依存性ダウンローダはBashスクリプトを使用して、Mavenを起動し依存性をダウンロードします。Windowsコマンド・プロンプトはネイティブでBashシェルをサポートしていません。依存性ダウンローダ・スクリプトはWindowsでも実行できますが、Unixエミュレータのインストールが必要です。UnixエミュレータはWindowsにUnix形式のコマンド行を提供するもので、BashといったUnixシェルのバリエーションをサポートします。Unixエミュレータのオプションとして、無料で利用できるCygwinがあります。Cygwinをインストールした後の設定プロセスは同じです。スクリプトの設定と実行はCygwin64ターミナルを使用して行う必要があります。https://www.cygwin.com/を参照してください。
親トピック: 依存性ダウンローダ
1.3.2 依存性ダウンローダ・スクリプトの実行
バージョン文字列が、ダウンロードする依存性のバージョン文字列と完全に一致していることを確認してください。依存性バージョンがパブリックMavenリポジトリに存在しない場合、依存性はダウンロードできず、スクリプトを実行したときにエラーが発生します。ほとんどのパブリックMavenリポジトリではWebベースのGUIがサポートされており、各種の依存性のサポートされているバージョンを確認できます。ただし、Confluent MavenリポジトリではWebベースのGUIはサポートされていません。そのため依存性のダウンロードには困難が伴います。Webインタフェースを介して個別にバージョン文字列を確認できないためです。
依存性が正常にダウンロードされたら、Javaアダプタ・プロパティ・ファイル内でgg.classpath
変数を構成して、対応するReplicatプロセスの依存性を含めます。
ノート:
ベスト・プラクティス- 可能な場合は常に、接続するサーバー/アプリケーションの統合にクライアント・ライブラリの正確なバージョンを使用します。
- 依存性ダウンローダ・スクリプトを実行する前に、Web GUIを介してリポジトリ内にバージョン文字列が存在することを別途確認します。
親トピック: 依存性ダウンローダ
1.3.3 依存性ダウンローダ・スクリプト
表1-1 関連ハンドラ/キャプチャ
クライアント | スクリプト | 説明 | 関連ハンドラ/キャプチャ | サポートされているバージョン | 依存性リンク |
---|---|---|---|---|---|
Amazon Web Services SDK |
aws.sh |
このスクリプトでダウンロードされるAmazon Web Services (AWS) SDKは、AWSクラウドに接続するためのクライアント・ライブラリを提供します。 | Kinesisハンドラ
S3イベント・ハンドラ |
1.12.x | https://search.maven.org/artifact/com.amazonaws/aws-java-sdk |
Google BigQuery | bigquery.sh |
このスクリプトはGoogle BigQueryに必要なクライアント・ライブラリをダウンロードします。 | BigQueryハンドラ | 2.x | https://search.maven.org/artifact/com.google.cloud/google-cloud-bigquery |
Cassandra DSE (Datastax Enterprise)クライアント | cassandra_dse.sh |
このスクリプトはCassandra DSEクライアントをダウンロードします。Cassandra DSEはDatastaxから入手可能なCassandraの商用バージョンです。 | Cassandraハンドラ | 2.0.0以上 | https://search.maven.org/artifact/com.datastax.dse/dse-java-driver-core |
Apache Cassandraクライアント | cassandra.sh |
このスクリプトはApache Cassandraクライアントをダウンロードします。 | Cassandraハンドラ | 4.0.0以上 | https://search.maven.org/artifact/com.datastax.oss/java-driver-core |
Cassandraキャプチャ3xクライアント | cassandra_capture_3x.sh |
このスクリプトは、Cassandra 3.xバージョンからのキャプチャに必要なすべてのクライアント・ライブラリをダウンロードします。 | Cassandraキャプチャ3x | 3.3.1 (デフォルトで使用) | https://mvnrepository.com/artifact/com.datastax.cassandra/cassandra-driver-core/3.3.1 |
Cassandraキャプチャ4xクライアント |
cassandra_capture_4x.sh |
このスクリプトは、Cassandra 4.xバージョンからのキャプチャに必要なすべてのクライアント・ライブラリをダウンロードします。 | Cassandraキャプチャ4x | 4.14.1 (デフォルトで使用) | https://mvnrepository.com/artifact/com.datastax.oss/java-driver-core/4.14.1 |
CassandraキャプチャDSEクライアント | cassandra_capture_dse.sh
|
このスクリプトは、DSE Cassandra 6.xバージョンからのキャプチャに必要なすべてのクライアント・ライブラリをダウンロードします。 | CassandraキャプチャDSE | 4.14.1 (デフォルトで使用) | https://mvnrepository.com/artifact/com.datastax.oss/java-driver-core/4.14.1 |
Elasticsearch Javaクライアント | elasticsearch_java.sh |
このスクリプトは、Elasticsearch Javaクライアントをダウンロードします。 | Elasticsearchハンドラ | 7.xおよび8.x | https://search.maven.org/artifact/co.elastic.clients/elasticsearch-java |
Hadoop Azureクライアント(Cloudera提供) | hadoop_azure_cloudera.sh |
このスクリプトはClouderaによって提供されるHadoop Azureクライアント・ライブラリをダウンロードします。Hadoop Azureクライアント・ライブラリはHadoopクライアントとともにロードできません。Clouderaでは2つのコンポーネント間のバージョン番号が完全に整合しないためです。 |
|
3.x | https://repository.cloudera.com/service/rest/repository/browse/cloudera-repos/org/apache/hadoop/hadoop-azure/ |
Hadoopクライアント(Cloudera提供) | hadoop_cloudera.sh |
このスクリプトはClouderaから提供されるHadoopクライアント・ライブラリをダウンロードします。 |
|
3.x | https://repository.cloudera.com/service/rest/repository/browse/cloudera-repos/org/apache/hadoop/hadoop-client/ |
Hadoopクライアント(Hortonworks提供) | hadoop_hortonworks.sh |
Hortonworksから提供されるHadoopクライアント。Azure Data Lakeに接続するためのライブラリが含まれています。 |
|
3.x | https://repo.hortonworks.com/service/rest/repository/browse/public/org/apache/hadoop/hadoop-client/ |
Apache HadoopクライアントとAzure接続に必要なライブラリ | hadoop.sh |
Hadoopクライアント。Azure Data Lakeに接続するためのライブラリが含まれています。 |
|
3.x | https://search.maven.org/artifact/org.apache.hadoop/hadoop-azure |
HBaseクライアント(Cloudera提供) | hbase_cloudera.sh |
Clouderaから提供されるHBaseクライアント・ライブラリ。 | HBaseハンドラ | 2.x | https://repository.cloudera.com/service/rest/repository/browse/cloudera-repos/org/apache/hbase/hbase-client/ |
HBaseクライアント(Hortonworks提供) | hbase_hortonworks.sh |
Hortonworksから提供されるHBaseクライアント・ライブラリ。 | HBaseハンドラ | 2.x | https://repo.hortonworks.com/service/rest/repository/browse/public/org/apache/hbase/hbase-client/ |
Apache HBaseクライアント | hbase.sh |
HBaseクライアント。 |
HBaseハンドラ | 2.x | https://search.maven.org/artifact/org.apache.hbase/hbase-client |
Apache Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONコンバータ (Cloudera提供) | kafka_cloudera.sh |
Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect JSONコンバータ(Cloudera提供)。 |
|
0.9.xから現行 | https://repository.cloudera.com/service/rest/repository/browse/cloudera-repos/org/apache/kafka/kafka-clients/ |
Apache Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONコンバータ(Hortonworks提供) | kafka_hortonworks.sh |
Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect JSONコンバータ(Hortonworks提供)。 |
|
0.9.xから現行 | https://repo.hortonworks.com/service/rest/repository/browse/public/org/apache/kafka/kafka-clients/ |
Apache Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONコンバータ | kafka.sh |
Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect JSONコンバータ。 |
|
0.9.xから現行 | https://search.maven.org/artifact/org.apache.kafka/kafka-clients |
Confluent Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONおよびAvroコンバータ | kafka_confluent.sh |
Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリ、Kafka Connect JSONコンバータ、Kafka Connect Avroコンバータ(Confluent提供)。 |
|
Confluentプラットフォーム4.1.0以上。 | https://packages.confluent.io/maven/io/confluent/kafka-connect-avro-converter/を参照してください |
MapR Kafkaクライアント | kafka_mapr.sh |
MapR Kafkaクライアント・ライブラリ。 | Kafkaハンドラ | 0.x、1.x,および2.x | https://repository.mapr.com/nexus/content/groups/mapr-public/org/apache/kafka/kafka-clients/ |
Confluent Kafkaクライアントと、Kafka ConnectフレームワークおよびProtobuf Converter | kafka_confluent_protobuf.sh |
Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect Protobuf Converter (Confluent提供)。 |
|
Confluent 5.x以降 | https://packages.confluent.io/maven/io/confluent/kafka-connect-protobuf-converter/を参照してください |
MongoDBクライアント | mongodb.sh |
MongoDBクライアント・ライブラリ。 | MongoDBハンドラ | 5.x | https://mvnrepository.com/artifact/org.mongodb/mongodb-driver-legacy |
Oracle NoSQL SDKクライアント | oracle_nosql_sdk.sh |
Oracle NoSQLクライアント・ライブラリ。 | Oracle NoSQLハンドラ | 5.x | https://search.maven.org/artifact/com.oracle.nosql.sdk/nosqldriver |
Oracle OCIクライアント | oracle_oci.sh |
Oracle OCIクライアント・ライブラリ。 | Oracle OCIイベント・ハンドラ | 3.x | https://search.maven.org/artifact/com.oracle.oci.sdk/oci-java-sdk-objectstorage |
Apache ORC (Optimized Row Columnar)クライアント | orc.sh |
Apache ORCクライアント・ライブラリ。ORCはHadoopクライアント上に構築されるため、ORCイベント・ハンドラを実行するにはHadoopクライアントが必要です。別途Hadoopクライアントをダウンロードする必要があります。 | ORCイベント・ハンドラ | 1.x | https://search.maven.org/artifact/org.apache.orc/orc-core |
Apache Parquetクライアント | parquet.sh |
Apache Parquetクライアント・ライブラリ。ParquetはHadoopクライアント上に構築されるため、Parquetイベント・ハンドラを実行するにはHadoopクライアントが必要です。別途Hadoopクライアントをダウンロードする必要があります。 | Parquetイベント・ハンドラ | 1.x | https://search.maven.org/artifact/org.apache.parquet/parquet-hadoop |
Apache Velocity | velocity.sh |
Velocityライブラリは、21.1リリース以降のOracle GoldenGate for Distributed Applications and Analytics (GG for DAA)インストールからは削除されました。このスクリプトは、Velocityを使用した書式設定に必要なライブラリをダウンロードします。 | Velocityフォーマッタ | 1.x | https://search.maven.org/artifact/org.apache.velocity/velocity |
Google Cloud Storage Java SDK | gcs.sh |
このスクリプトはGoogle Cloud Storageに必要なクライアント・ライブラリをダウンロードします。 | GCSイベント・ハンドラ | 2.x | https://search.maven.org/artifact/com.google.cloud/google-cloud-storage |
MongoDBキャプチャ | mongodb_capture.sh |
このスクリプトはMongoDBキャプチャに必要なクライアント・ライブラリをダウンロードします。 | MongoDBキャプチャ | 5.x | https://search.maven.org/artifact/org.mongodb/mongodb-driver-reactivestreams |
Synapse JDBCドライバ | synapse.sh |
このスクリプトは、Synapse JDBCドライバをダウンロードします。さらに、Hadoopクライアントも、データをAzure Data Lakeにステージングするために必要です。 | Synapseステージングおよびマージ | 12.6.1jre8 | https://mvnrepository.com/artifact/com.microsoft.sqlserver/mssql-jdbc/12.6.1.jre8 |
スノーフレークJDBCドライバ | snowflake.sh |
このスクリプトは、スノーフレークJDBCドライバをダウンロードします。AWSまたはAzureクラウドにデータをステージングするには、他のクライアント・ライブラリが必要になる可能性があります。 | スノーフレークにおけるステージングおよびマージ | 3.15.1 | https://search.maven.org/artifact/net.snowflake/snowflake-jdbc/3.15.1/jar |
RedisのJedisクライアント | redis.sh |
このスクリプトは、RedisクライアントであるJedisをダウンロードします。 | Redisハンドラ | 4.x | https://search.maven.org/artifact/redis.clients/jedis |
Google Pub/Subクライアント | googlepubsub.sh |
このスクリプトは、Google Pub/Subメッセージング用のJavaクライアントをダウンロードします。 | Google Pub/Subハンドラ | 1.x | https://search.maven.org/artifact/com.google.cloud/google-cloud-pubsub |
Databricks JDBCドライバ | databricks.sh |
このスクリプトは、Databricks JDBCドライバをダウンロードします。 | Databricksステージングおよびマージ | 2.6.36 | https://mvnrepository.com/artifact/com.databricks/databricks-jdbc/2.6.36 |
Azure Blob Storageクライアント | azure_blob_storage.sh |
このスクリプトは、Microsoft Azure Blob Storageクライアントをダウンロードします。 | Azure Blob Storageイベント・ハンドラ データ・ウェアハウスのステージングおよびマージの実装では、これを使用でき、Azure Data Lakeへのアップロードもできます。 | 12.25.3 | https://search.maven.org/artifact/com.azure/azure-storage-blob |
スノーフレーク・ストリーミング | snowflakestreaming.sh |
このスクリプトは、依存性ダウンローダ・スクリプトを使用してダウンロードできます。 | 該当なし | 該当なし | このスクリプトは次の場所にあります: <OGGDIR>/DependencyDownloader/snowflakestreaming.sh |
親トピック: 依存性ダウンローダ