1. Oracle GoldenGate for Distributed Applications and Analytics
  2. 概要

1 概要

1.1 Oracle GoldenGate for Distributed Applications and Analyticsの理解

この項では、Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)の概念と基本構造について説明します。

Oracle GoldenGate Microservicesの概要についてのこのビデオ(GoldenGate Microservicesの概要)を視聴してください

親トピック: 概要

1.1.1 Oracle GoldenGate for Distributed Applications and Analyticsの理解

Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)は、Oracle GoldenGateインスタンスと統合されます。

Oracle GoldenGate製品を使用すると、次のことが行えます。

  • トランザクション変更をソース・データベースから取得します。
  • Oracle GoldenGate証跡と呼ばれる、データベースに依存しないファイルのセットとしてこれらの変更を送信およびキューイングします
  • オプションで、マッピング・パラメータおよび関数を使用してソース・データを変更します
  • 証跡内のトランザクションをターゲット・システム・データベースに適用します

Oracle GoldenGateでは、この取得と適用が異種データベース、プラットフォームおよびオペレーティング・システム間でほぼリアルタイムで行われます。

親トピック: Oracle GoldenGate for Distributed Applications and Analyticsの理解

1.1.1.1 配信構成オプション

Java配信モジュールは、GoldenGate Replicatプロセスによってロードされ、これはReplicatパラメータ・ファイルを使用して構成できます。ロード時に、Java配信モジュールはアダプタ・プロパティ・ファイルに存在する構成に基づいて引き続き構成されます。アプリケーションの動作は、次のようにしてカスタマイズできます。

  • プロパティ・ファイルの編集。たとえば、次のような編集があります。

    • ターゲット・タイプ、ホスト名、ポート番号、出力ファイル名、JMS接続設定の設定

    • debugレベルのロギングなどの有効化/無効化。

    • 使用されるメッセージ形式の識別。

  • レコードは、次の方法でカスタム・フォーマットにできます。

    • 既存のフォーマット・プロセス(固定長またはフィールド区切りのメッセージ形式、XML、JSONまたはAvro用)のプロパティの設定

    • Velocityテンプレート・マクロ言語を使用したメッセージ・テンプレートのカスタマイズ;

    • (オプション)カスタムJavaコードの記述。

  • (オプション)トランザクションおよび操作のカスタム処理、フィルタリング、またはカスタム・メッセージ形式の実装を行うカスタムJavaコードの記述。

JMSを使用したメッセージの送信およびディスクへのファイルの書込み用に既存の実装(ハンドラ)があります。Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)のターゲット用に、サポートされているデータベースに書き込むための組込みの統合ハンドラがあります。

メッセージの送信用にあらかじめ定義されたメッセージ形式がいくつかあります(XML、フィールド区切りなど)。あるいは、テンプレートを使用してカスタム形式を実装できます。各ハンドラには、その構成プロパティを表すドキュメンテーションがあります。たとえば、ファイル名をファイル・ライターに対して指定したり、JMSキュー名をJMSハンドラに対して指定できます。一部のプロパティは複数のハンドラに適用されます。たとえば、同一のメッセージ形式をJMSとファイルに使用できます。

1.1.1.2 アダプタ統合オプション

Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)アーキテクチャに基づく主要製品は2つあります。

  • Oracle GoldenGate Javaアダプタは全体的なフレームワークです。この製品では、カスタム・コードを実装し、特定の要件に従ってOracle GoldenGateの証跡レコードを処理できます。Oracle GoldenGate File Writerモジュールが組み込まれており、フラット・ファイルを統合する目的で使用できます。

  • GG for DAA。GG for DAA製品には、操作データをOracle GoldenGate証跡レコードから様々なGG for DAAターゲット(HDFS、HBase、Kafka、Flume、JDBC、CassandraおよびMongoDBなど)に書き込むための、組込みのサポートが含まれています。GG for DAAアプリケーションとの統合には、カスタム・コードを記述する必要はありません。この機能は、サードパーティ・アプリケーションおよびフォーマッタと統合される複数のハンドラに分けられます。これらのハンドラは、データを様々な形式(Avro、JSON、区切りテキスト、XMLなど)に変換します。HBase APIの場合など、サードパーティ・ツールとの統合に所有権が設定されていることがあります。このような場合、フォーマッタには、関連付けられたハンドラはありません。

Oracle GoldenGate JavaアダプタとGG for DAA製品には機能に重複する部分があるため、ハンドラは関連付けられたフォーマッタなしで存在します。次のリストでは、主な機能と、どの製品にその機能が含まれているかを示します。

  • JMSメッセージを読み取り、Oracle GoldenGate証跡として配信します。この機能はGG for DAAに含まれています。

  • Oracle GoldenGate証跡を読み取り、トランザクションをJMSプロバイダ、他のメッセージング・システムまたはカスタム・アプリケーションに配信します。この機能はGG for DAA製品に含まれています。

  • Oracle GoldenGate証跡を読み取り、他のアプリケーションによって使用可能なファイルにトランザクションを書き込みます。この機能はGG for DAAにのみ含まれています。

  • Oracle GoldenGate証跡を読み取り、トランザクションをGG for DAAターゲットに書き込みます。GG for DAA統合機能は、GG for DAA製品にのみ含まれています。

1.1.1.2.1 トランザクションの証跡への取得

Oracle GoldenGateのメッセージ取得を使用して、キューからメッセージを読み取り、Oracle GoldenGate Extractプロセスと通信して、処理したデータを含む証跡を生成します。

メッセージ取得処理は、通常のExtractプロセスのベンダー・アクセス・モジュール(VAM)プラグインとして実装されます。プロパティ、ルールおよび外部ファイルのセットによってメッセージ接続情報が指定され、メッセージの解析方法とターゲットOracle GoldenGate証跡のレコードへのマップ方法が定義されます。

現在このアダプタでは、JMSテキスト・メッセージの取得がサポートされています。

1.1.1.2.2 トランザクションの証跡からの適用

Oracle GoldenGate Javaアダプタの配信を使用すると、トランザクションの変更点をリレーショナル・データベース以外のターゲット(DataStage、Ab Initio、InformaticaなどのETLツール、JMSメッセージング、Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)アプリケーション、カスタムAPIなど)に適用できます。Oracle GoldenGateとの統合には、様々なオプションがあります。

  • フラット・ファイル統合: 主にETL(プロプライエタリまたはレガシー・アプリケーション)用で、Oracle GoldenGate File Writerは、バッチ・ファイルを入力とするツールによって消費されるマイクロ・バッチをディスクに書き込むことができます。データは、デリミタ区切り、長さ区切り、バイナリなどターゲット・アプリケーションの仕様に合せてフォーマットされます。バッチ・ファイル・ロールオーバーの時間ウィンドウを分または秒に短縮することで、これらのシステムへのほぼリアルタイムでのフィードが実現されます。

  • メッセージング: トランザクションまたは操作はメッセージ(XML形式など)としてJMSにパブリッシュされます。JMSプロバイダは、ActiveMQ、JBoss Messaging、TIBCO、Oracle WebLogic JMS、WebSphere MQなど複数のJMS実装と連携するように構成されます。

  • Java API: カスタム・ハンドラをJavaで記述し、Oracle GoldenGateによってソース・システムで取得されたトランザクション、操作およびメタデータの変更を処理できます。これらのカスタムJavaハンドラで、ターゲット・システムで公開されているサードパーティJava APIにこれらの変更を適用します。

  • GG for DAA統合: ソース証跡ファイルから様々なGG for DAAターゲットにトランザクション・データを書き込むには、構成プロパティを設定します。GG for DAA製品には、HDFS、HBase、KafkaおよびFlumeターゲットに書き込むための、組込みのGG for DAAハンドラが含まれています。

4つのオプションはすべて、コアOracle GoldenGate製品の拡張として実装されています。

  • JMSまたはJava APIを使用したJava統合の場合、Java用Oracle GoldenGateを使用します。

  • GG for DAA統合の場合は、GG for DAAモジュールと統合するようにOracle GoldenGate Replicatを構成できます。各種の形式でGG for DAAターゲットに書き込む操作は、一連のプロパティを使用して構成でき、プログラミングの必要はありません。

1.1.1.3 パフォーマンスの監視

パフォーマンスの監視の詳細は、『Oracle GoldenGate Microservices Architectureの使用』のパフォーマンス・メトリック・サービスでのパフォーマンスの監視を参照してください。

1.2 Oracle GoldenGate for Distributed Applications and Analyticsでのサポート内容

親トピック: 概要

1.2.1 動作保証要件とシステム要件の確認

動作保証マトリックスとシステム要件のドキュメントを相互に確認して、現在の環境が必要なインストール要件を満たしていることを確認することをお薦めします。

  1. 現在の環境が動作保証要件を満たしていることを確認します。

    サポートされているハードウェアおよびソフトウェア構成で製品をインストールすることを確認します。詳細は、動作保証マトリックス(GoldenGateの動作保証情報)を参照してください。

    オラクル社では、動作保証されたシステムおよび環境すべてで製品のパフォーマンスをテストおよび検証しています。新しい動作保証情報がリリースされるたびに、動作保証に関するドキュメントにすぐに追加されます。新しい動作保証情報は随時リリースされる可能性があります。そのため、動作保証ドキュメントはドキュメント・ライブラリの外部に保持され、Oracle Technology Networkで利用できます。

  2. システム要件ドキュメントを使用して動作保証を確認します。

    「Oracle Fusion Middleware Supported System Configurations」のドキュメントを使用して、動作保証要件が満たされていることを確認することをお薦めします。たとえば、この動作保証に関するドキュメントに、ご使用の製品が64ビットOracle Linux 6.5上にインストールすることが動作保証されていることが記載されている場合、このドキュメントを使用して、ご使用のシステムが必要な最小仕様を満たしていることを確認します。これには、ディスク容量、使用可能なメモリー、特定のプラットフォームのパッケージおよびパッチ、その他のオペレーティング・システム固有の要件などが含まれます。システム要件は、将来変更される可能性があります。そのため、システム要件ドキュメントはドキュメント・ライブラリの外部に保持され、Oracle Technology Networkで利用できます。

  3. 複数の製品間の相互運用性を確認します。

    同一リリースまたは混合リリースから相互に複数のFusion Middleware製品をインストールおよび実行する方法について学習するには、Oracle Fusion Middleware相互運用および互換性の理解の「Oracle Fusion Middleware Supported System Configurations」を参照してください。

GG for DAAハンドラと、ディストリビューション、データベース・リリース、ドライバなどの様々なデータ・コレクションとの互換性は、動作保証に関するドキュメントに含まれています。

親トピック: Oracle GoldenGate for Distributed Applications and Analyticsでのサポート内容

1.2.2 ハンドラの互換性の理解

詳細は、「動作保証マトリクス」を参照してください。

親トピック: Oracle GoldenGate for Distributed Applications and Analyticsでのサポート内容

1.2.3 その他のサポートに関する考慮事項。

この項では、Oracle GoldenGate for Distributed Applications and Analytics (GG for DAA)のサポートに関するその他の考慮事項について説明します。

プラガブル・フォーマッタ - サポート

ハンドラは、プラガブル・フォーマッタを次のようにサポートします。

  • ファイル・ライター・ハンドラは、すべてのプラガブル・フォーマッタをサポートしています。
  • HDFSハンドラは、すべてのプラガブル・フォーマッタをサポートします。

  • プラガブル・フォーマッタは、HBaseハンドラには適用されません。データは、プロプライエタリなHBaseクライアント・インタフェースを使用してHBaseにストリーミングされます。

  • Kafkaハンドラは、すべてのプラガブル・フォーマッタをサポートします。

  • Kafka Connectハンドラは、プラガブル・フォーマッタをサポートしていません。Kafka Connectのデータ・コンバータを使用してデータをJSONまたはAvroに変換できます。

  • Kinesis Streamsハンドラは、プラガブル・フォーマッタの使用で説明されているすべてのプラガブル・フォーマッタをサポートしています。

  • Cassandra、MongoDBおよびJDBCハンドラは、プラガブル・フォーマッタを使用しません。

Extractを使用するJava配信

Extractを使用したJava配信はサポートされていません。Java配信のサポートは、Replicatプロセスの使用でのみサポートされています。Replicatにより、パフォーマンスが向上し、チェックポイントのサポートが改善され、トランザクションのグループ化の制御が改善されます。

MongoDBハンドラ - サポート

  • このハンドラのみが、ソース表から一意の行を複製できます。ソース表に定義済の主キーがなく、重複行がある場合、MongoDBターゲットに重複行を複製すると、重複キー・エラーが発生し、Replicatプロセスが異常終了します。

  • 欠落した更新および削除は検出されないため、無視されます。

  • シャード・コレクションでテストされていません。

  • ミリ秒の精度の日時データ型のみをサポートします。証跡からの値でマイクロ秒またはナノ秒の精度のものは、ミリ秒の精度に切り捨てられます。

  • 証跡でtimezoneを含むdatetimeデータ型は、サポートされていません。

  • BSONドキュメントの最大サイズは16MBです。証跡レコード・サイズがこの制限を超えると、ハンドラはレコードを複製できません。

  • DDL伝播はありません。

  • 切捨て操作はありません。

JDBCハンドラ - サポート

  • JDBCハンドラは汎用JDBC APIを使用します。つまりJDBCドライバが実装されたターゲット・データベースは、このハンドラを使用できる必要があります。JDBC APIをサポートする様々なデータベースが無数にあるため、OracleではすべてのターゲットのJDBCを動作保証できるわけではありません。

  • このハンドラは、REPERRORおよびHANDLECOLLISIONSパラメータを使用してReplicatをサポートします。Oracle GoldenGateパラメータおよび機能リファレンスを参照してください。

  • DDL操作はデフォルトで無視され、WARNレベルで記録されます。

  • 調整Replicatは、シリアルではなくパラレルでトランザクションを適用するマルチスレッド・プロセスです。個々のスレッドは割り当てられたワークロードに対するフィルタリング、マッピング、変換、SQL構築およびエラー処理をすべて扱います。コーディネータ・スレッドは依存関係を示すようにスレッド間のトランザクションを調整します。これにより、データベース固有のルールに基づいた行ロック、ブロック・ロックまたは表ロックの問題が原因で同時に同じオブジェクトで特定のDMLが発生することを回避する同期的な方法で、DMLが適用されます。データベース・ロックの問題がある場合は、調整Replicatのパフォーマンスが非常に遅いか、一時停止している可能性があります。

DDLイベント処理

TRUNCATE TABLE DDL文のみがサポートされています。他のすべてのDDL文(CREATE TABLE、CREATE INDEX、DROP TABLEなど)は無視されます。

TRUNCATE文は、次のいずれかの方法で使用できます。

  • DDL文では、TRUNCATE TABLE、ALTER TABLE TRUNCATE PARTITIONおよびその他のDDL TRUNCATE文。これは、DDLパラメータを使用します。

  • スタンドアロンTRUNCATEサポート。TRUNCATE TABLEのみが含まれます。これは、GETTRUNCATESパラメータを使用します。

親トピック: Oracle GoldenGate for Distributed Applications and Analyticsでのサポート内容

1.3 依存性ダウンローダ

サポートされている様々なOracle GoldenGate for Distributed Applications and Analytics (GG for DAA)統合用のクライアント依存性jarをダウンロードするために、{GGforDAA install}/DependencyDownloaderディレクトリに様々なユーティリティ・スクリプトがあります。

トピック:

親トピック: 概要

1.3.1 依存性ダウンローダの設定

依存性ダウンローダを設定する手順は、次のとおりです。
  1. Javaがインストールされていることを確認するため、コマンド・ラインからjava -versionを実行します。

    ノート:

    依存性ダウンローダ・ユーティリティ・スクリプトを実行するにはJavaが必要です。Oracle Javaがダウンロード済であり、スクリプトがインストールされているマシンのPATH上にあることを確認してください。
  2. スクリプト{GGforDAA install}/DependencyDownloader/config_proxy.shでプロキシ設定を構成します。このファイルには次の2つのエントリがあります。
    • #export PROXY_SERVER_HOST=www-proxy-hqdc.us.oracle.com
    • #export PROXY_SERVER_PORT=80
    プロキシ設定を構成する手順は、次のとおりです。
    1. 構成設定を非コメント化します(行先頭の#を削除します)。
    2. ホスト名とポート番号を使用するプロキシ・サーバーの設定に変更します。

    ノート:

    ほとんどの企業はプライベート・ネットワークを配備し、これをパブリック・インターネットから保護するためにネットワーク・ファイアウォールを設置しています。また、ほとんどの企業は転送プロキシ・サーバーを設置して、顧客のプライベート・ネットワークとパブリック・インターネットの間のゲートウェイとして使用しています。依存性ダウンローダ・ユーティリティはインターネット上のMavenリポジトリにアクセスします。そのため、依存性ライブラリをダウンロードするには、HTTPプロキシ設定を構成する必要があります。プロキシ・サーバーは、ホスト名とポートで識別されます。企業でプロキシ・サーバーを使用しているかどうか、またその設定については、社内のIT管理者またはネットワーク管理者に確認してください。

依存性ダウンローダはBashスクリプトを使用して、Mavenを起動し依存性をダウンロードします。Windowsコマンド・プロンプトはネイティブでBashシェルをサポートしていません。依存性ダウンローダ・スクリプトはWindowsでも実行できますが、Unixエミュレータのインストールが必要です。UnixエミュレータはWindowsにUnix形式のコマンド行を提供するもので、BashといったUnixシェルのバリエーションをサポートします。Unixエミュレータのオプションとして、無料で利用できるCygwinがあります。Cygwinをインストールした後の設定プロセスは同じです。スクリプトの設定と実行はCygwin64ターミナルを使用して行う必要があります。https://www.cygwin.com/を参照してください。

親トピック: 依存性ダウンローダ

1.3.2 依存性ダウンローダ・スクリプトの実行

依存性ダウンローダ・スクリプトを実行する手順は、次のとおりです。
  1. Unixターミナル・インタフェースを使用して、ディレクトリ{GGforDAA install}/DependencyDownloaderに移動します。
  2. 次を実行して、スクリプトを実行します: ./{the dependency script} {version of the dependencies to download}

    例: ./aws.sh 1.11.893

    依存性ライブラリは次のディレクトリにダウンロードされます。

    {GGforDAA install}/DependencyDownloader/dependencies/{the dependency name}_{the_dependency_version}。

    例: {GGforDAA install}/DependencyDownloader/dependencies/aws_sdk_1.11.893。

バージョン文字列が、ダウンロードする依存性のバージョン文字列と完全に一致していることを確認してください。依存性バージョンがパブリックMavenリポジトリに存在しない場合、依存性はダウンロードできず、スクリプトを実行したときにエラーが発生します。ほとんどのパブリックMavenリポジトリではWebベースのGUIがサポートされており、各種の依存性のサポートされているバージョンを確認できます。ただし、Confluent MavenリポジトリではWebベースのGUIはサポートされていません。そのため依存性のダウンロードには困難が伴います。Webインタフェースを介して個別にバージョン文字列を確認できないためです。

依存性が正常にダウンロードされたら、Javaアダプタ・プロパティ・ファイル内でgg.classpath変数を構成して、対応するReplicatプロセスの依存性を含めます。

ノート:

ベスト・プラクティス
  1. 可能な場合は常に、接続するサーバー/アプリケーションの統合にクライアント・ライブラリの正確なバージョンを使用します。
  2. 依存性ダウンローダ・スクリプトを実行する前に、Web GUIを介してリポジトリ内にバージョン文字列が存在することを別途確認します。

親トピック: 依存性ダウンローダ

1.3.3 依存性ダウンローダ・スクリプト

表1-1 関連ハンドラ/キャプチャ

クライアント スクリプト 説明 関連ハンドラ/キャプチャ サポートされているバージョン 依存性リンク

Amazon Web Services SDK

 aws.sh このスクリプトでダウンロードされるAmazon Web Services (AWS) SDKは、AWSクラウドに接続するためのクライアント・ライブラリを提供します。 Kinesisハンドラ

S3イベント・ハンドラ

1.12.x https://search.maven.org/artifact/com.amazonaws/aws-java-sdk
Google BigQuery bigquery.sh このスクリプトはGoogle BigQueryに必要なクライアント・ライブラリをダウンロードします。 BigQueryハンドラ 2.x https://search.maven.org/artifact/com.google.cloud/google-cloud-bigquery
Cassandra DSE (Datastax Enterprise)クライアント cassandra_dse.sh このスクリプトはCassandra DSEクライアントをダウンロードします。Cassandra DSEはDatastaxから入手可能なCassandraの商用バージョンです。 Cassandraハンドラ 2.0.0以上 https://search.maven.org/artifact/com.datastax.dse/dse-java-driver-core
Apache Cassandraクライアント cassandra.sh このスクリプトはApache Cassandraクライアントをダウンロードします。 Cassandraハンドラ 4.0.0以上 https://search.maven.org/artifact/com.datastax.oss/java-driver-core
Cassandraキャプチャ3xクライアント cassandra_capture_3x.sh このスクリプトは、Cassandra 3.xバージョンからのキャプチャに必要なすべてのクライアント・ライブラリをダウンロードします。 Cassandraキャプチャ3x 3.3.1 (デフォルトで使用) https://mvnrepository.com/artifact/com.datastax.cassandra/cassandra-driver-core/3.3.1
Cassandraキャプチャ4xクライアント cassandra_capture_4x.sh このスクリプトは、Cassandra 4.xバージョンからのキャプチャに必要なすべてのクライアント・ライブラリをダウンロードします。 Cassandraキャプチャ4x 4.14.1 (デフォルトで使用) https://mvnrepository.com/artifact/com.datastax.oss/java-driver-core/4.14.1
CassandraキャプチャDSEクライアント cassandra_capture_dse.sh このスクリプトは、DSE Cassandra 6.xバージョンからのキャプチャに必要なすべてのクライアント・ライブラリをダウンロードします。 CassandraキャプチャDSE 4.14.1 (デフォルトで使用) https://mvnrepository.com/artifact/com.datastax.oss/java-driver-core/4.14.1
Elasticsearch Javaクライアント elasticsearch_java.sh このスクリプトは、Elasticsearch Javaクライアントをダウンロードします。 Elasticsearchハンドラ 7.xおよび8.x https://search.maven.org/artifact/co.elastic.clients/elasticsearch-java
Hadoop Azureクライアント(Cloudera提供) hadoop_azure_cloudera.sh このスクリプトはClouderaによって提供されるHadoop Azureクライアント・ライブラリをダウンロードします。Hadoop Azureクライアント・ライブラリはHadoopクライアントとともにロードできません。Clouderaでは2つのコンポーネント間のバージョン番号が完全に整合しないためです。
  • HDFSハンドラ
  • HDFSイベント・ハンドラ
  • ORCイベント・ハンドラ
  • Parquetイベント・ハンドラ
 3.x https://repository.cloudera.com/service/rest/repository/browse/cloudera-repos/org/apache/hadoop/hadoop-azure/
Hadoopクライアント(Cloudera提供) hadoop_cloudera.sh このスクリプトはClouderaから提供されるHadoopクライアント・ライブラリをダウンロードします。
  • HDFSハンドラ
  • HDFSイベント・ハンドラ
  • ORCイベント・ハンドラ
  • Parquetイベント・ハンドラ
 3.x https://repository.cloudera.com/service/rest/repository/browse/cloudera-repos/org/apache/hadoop/hadoop-client/
Hadoopクライアント(Hortonworks提供) hadoop_hortonworks.sh Hortonworksから提供されるHadoopクライアント。Azure Data Lakeに接続するためのライブラリが含まれています。
  • HDFSハンドラ
  • HDFSイベント・ハンドラ
  • ORCイベント・ハンドラ
  • Parquetイベント・ハンドラ
 3.x https://repo.hortonworks.com/service/rest/repository/browse/public/org/apache/hadoop/hadoop-client/
Apache HadoopクライアントとAzure接続に必要なライブラリ hadoop.sh Hadoopクライアント。Azure Data Lakeに接続するためのライブラリが含まれています。
  • HDFSハンドラ
  • HDFSイベント・ハンドラ
  • ORCイベント・ハンドラ
  • Parquetイベント・ハンドラ
 3.x https://search.maven.org/artifact/org.apache.hadoop/hadoop-azure
HBaseクライアント(Cloudera提供) hbase_cloudera.sh Clouderaから提供されるHBaseクライアント・ライブラリ。 HBaseハンドラ 2.x https://repository.cloudera.com/service/rest/repository/browse/cloudera-repos/org/apache/hbase/hbase-client/
HBaseクライアント(Hortonworks提供) hbase_hortonworks.sh Hortonworksから提供されるHBaseクライアント・ライブラリ。 HBaseハンドラ 2.x https://repo.hortonworks.com/service/rest/repository/browse/public/org/apache/hbase/hbase-client/
Apache HBaseクライアント hbase.sh

HBaseクライアント。

 HBaseハンドラ 2.x https://search.maven.org/artifact/org.apache.hbase/hbase-client
Apache Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONコンバータ (Cloudera提供) kafka_cloudera.sh Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect JSONコンバータ(Cloudera提供)。
  • Kafkaハンドラ
  • Kafka Connectハンドラ
  • Kafkaキャプチャ
0.9.xから現行 https://repository.cloudera.com/service/rest/repository/browse/cloudera-repos/org/apache/kafka/kafka-clients/
Apache Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONコンバータ(Hortonworks提供) kafka_hortonworks.sh Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect JSONコンバータ(Hortonworks提供)。
  • Kafkaハンドラ
  • Kafka Connectハンドラ
  • Kafkaキャプチャ
0.9.xから現行 https://repo.hortonworks.com/service/rest/repository/browse/public/org/apache/kafka/kafka-clients/
Apache Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONコンバータ kafka.sh Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect JSONコンバータ。
  • Kafkaハンドラ
  • Kafka Connectハンドラ
  • Kafkaキャプチャ
0.9.xから現行 https://search.maven.org/artifact/org.apache.kafka/kafka-clients
Confluent Kafkaクライアントと、Kafka ConnectフレームワークおよびJSONおよびAvroコンバータ kafka_confluent.sh Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリ、Kafka Connect JSONコンバータ、Kafka Connect Avroコンバータ(Confluent提供)。
  • Kafkaハンドラ
  • Kafka Connectハンドラ
  • Kafkaキャプチャ
Confluentプラットフォーム4.1.0以上。 https://packages.confluent.io/maven/io/confluent/kafka-connect-avro-converter/を参照してください
MapR Kafkaクライアント kafka_mapr.sh MapR Kafkaクライアント・ライブラリ。 Kafkaハンドラ 0.x、1.x,および2.x https://repository.mapr.com/nexus/content/groups/mapr-public/org/apache/kafka/kafka-clients/
Confluent Kafkaクライアントと、Kafka ConnectフレームワークおよびProtobuf Converter kafka_confluent_protobuf.sh Kafkaクライアントと、Kafka Connectフレームワーク用ライブラリおよびKafka Connect Protobuf Converter (Confluent提供)。
  • Kafkaハンドラ
  • Kafka Connectハンドラ
 Confluent 5.x以降 https://packages.confluent.io/maven/io/confluent/kafka-connect-protobuf-converter/を参照してください
MongoDBクライアント mongodb.sh MongoDBクライアント・ライブラリ。 MongoDBハンドラ 5.x https://mvnrepository.com/artifact/org.mongodb/mongodb-driver-legacy
Oracle NoSQL SDKクライアント oracle_nosql_sdk.sh Oracle NoSQLクライアント・ライブラリ。 Oracle NoSQLハンドラ 5.x https://search.maven.org/artifact/com.oracle.nosql.sdk/nosqldriver
Oracle OCIクライアント oracle_oci.sh Oracle OCIクライアント・ライブラリ。 Oracle OCIイベント・ハンドラ 3.x https://search.maven.org/artifact/com.oracle.oci.sdk/oci-java-sdk-objectstorage
Apache ORC (Optimized Row Columnar)クライアント orc.sh Apache ORCクライアント・ライブラリ。ORCはHadoopクライアント上に構築されるため、ORCイベント・ハンドラを実行するにはHadoopクライアントが必要です。別途Hadoopクライアントをダウンロードする必要があります。 ORCイベント・ハンドラ 1.x https://search.maven.org/artifact/org.apache.orc/orc-core
Apache Parquetクライアント parquet.sh Apache Parquetクライアント・ライブラリ。ParquetはHadoopクライアント上に構築されるため、Parquetイベント・ハンドラを実行するにはHadoopクライアントが必要です。別途Hadoopクライアントをダウンロードする必要があります。 Parquetイベント・ハンドラ 1.x https://search.maven.org/artifact/org.apache.parquet/parquet-hadoop
Apache Velocity velocity.sh Velocityライブラリは、21.1リリース以降のOracle GoldenGate for Distributed Applications and Analytics (GG for DAA)インストールからは削除されました。このスクリプトは、Velocityを使用した書式設定に必要なライブラリをダウンロードします。 Velocityフォーマッタ 1.x https://search.maven.org/artifact/org.apache.velocity/velocity
Google Cloud Storage Java SDK gcs.sh このスクリプトはGoogle Cloud Storageに必要なクライアント・ライブラリをダウンロードします。 GCSイベント・ハンドラ 2.x https://search.maven.org/artifact/com.google.cloud/google-cloud-storage
MongoDBキャプチャ mongodb_capture.sh このスクリプトはMongoDBキャプチャに必要なクライアント・ライブラリをダウンロードします。 MongoDBキャプチャ 5.x https://search.maven.org/artifact/org.mongodb/mongodb-driver-reactivestreams
Synapse JDBCドライバ synapse.sh このスクリプトは、Synapse JDBCドライバをダウンロードします。さらに、Hadoopクライアントも、データをAzure Data Lakeにステージングするために必要です。 Synapseステージングおよびマージ 12.6.1jre8 https://mvnrepository.com/artifact/com.microsoft.sqlserver/mssql-jdbc/12.6.1.jre8
スノーフレークJDBCドライバ snowflake.sh このスクリプトは、スノーフレークJDBCドライバをダウンロードします。AWSまたはAzureクラウドにデータをステージングするには、他のクライアント・ライブラリが必要になる可能性があります。 スノーフレークにおけるステージングおよびマージ 3.15.1 https://search.maven.org/artifact/net.snowflake/snowflake-jdbc/3.15.1/jar
RedisのJedisクライアント redis.sh このスクリプトは、RedisクライアントであるJedisをダウンロードします。 Redisハンドラ 4.x https://search.maven.org/artifact/redis.clients/jedis
Google Pub/Subクライアント googlepubsub.sh このスクリプトは、Google Pub/Subメッセージング用のJavaクライアントをダウンロードします。 Google Pub/Subハンドラ 1.x https://search.maven.org/artifact/com.google.cloud/google-cloud-pubsub
Databricks JDBCドライバ databricks.sh このスクリプトは、Databricks JDBCドライバをダウンロードします。 Databricksステージングおよびマージ 2.6.36 https://mvnrepository.com/artifact/com.databricks/databricks-jdbc/2.6.36
Azure Blob Storageクライアント azure_blob_storage.sh このスクリプトは、Microsoft Azure Blob Storageクライアントをダウンロードします。 Azure Blob Storageイベント・ハンドラ

データ・ウェアハウスのステージングおよびマージの実装では、これを使用でき、Azure Data Lakeへのアップロードもできます。 		12.25.3 https://search.maven.org/artifact/com.azure/azure-storage-blob
スノーフレーク・ストリーミング snowflakestreaming.sh このスクリプトは、依存性ダウンローダ・スクリプトを使用してダウンロードできます。 該当なし 該当なし このスクリプトは次の場所にあります: <OGGDIR>/DependencyDownloader/snowflakestreaming.sh

親トピック: 依存性ダウンローダ