1. Kafkaストリーム・データをAutonomous Databaseに接続します
  2. Oracle Autonomous Databaseへのリアルタイム・データ・ストリームの接続について学習

Oracle Autonomous Databaseへのリアルタイム・データ・ストリームの接続について学習

インサイトに富んだレポートを処理および生成するために、リアルタイム・データをデータ・ウェアハウス・プラットフォームにストリーミングすることは困難な作業です。

データ形式のストリーミングにJSONを使用する場合、データ変換が課題となる可能性があります。このソリューションでは、Oracle GoldenGate Stream AnalyticsなどのOracle Cloud Infrastructureリソースを使用して、KafkaデータをOracle Autonomous Databaseにストリーミングする方法について学習します。

開始する前に

開始する前に、Oracle Live Labsから次のインストールを完了してください。

アーキテクチャ

このアーキテクチャは、OCIリージョンのオンプレミスKafkaストリーム、Oracle Stream AnalyticsおよびOracle Autonomous Databaseを示しています。

このアーキテクチャを使用して、オンプレミスKafkaストリームからOracle GoldenGate Stream Analytics (GGSA)にデータを取り込みます。

kafka- stream- adb- goldengate- arch.pngの説明が続きます
図kafka- stream- adb- goldengate- arch.pngの説明

kafka- stream- adb- goldengate- arch.zip

  1. GGSAを含むOCIリージョンは、オンプレミスのKafkaストリームからデータを取り込みます。
  2. GGSAは、JSONデータをリレーショナル・データにストリーミングおよび変換します。
  3. GGSAは、Autonomous Databaseのリレーショナル表にデータを格納します。

このアーキテクチャでは、次のコンポーネントがサポートされています。

  • Kafkaストリーム

    Kafka Streamsは、入力および出力データがKafkaクラスタに格納される、アプリケーションおよびマイクロサービスを構築するためのクライアント・ライブラリです。クライアント側で標準のJavaおよびScalaアプリケーションを記述してデプロイする簡素性と、Kafkaのサーバー側クラスタ・テクノロジの利点を組み合せます。

    Kafka Streamsは、トピックからのストリーム処理を大幅に簡素化します。Kafkaクライアント・ライブラリ上に構築されており、データの並列性、分散調整、耐障害性、スケーラビリティを提供します。Kafka Streamsは、パーティションおよびタスクの概念を、トピック・パーティションに強くリンクされた論理ユニットとして使用します。また、アプリケーション・インスタンス内でスレッドを使用してプロセスをパラレル化します。サポートされているもう1つの重要な機能は、ステート・ストアです。Kafkaストリームは、トピックから取得されるデータを格納および問合せするために使用されます。

    Oracle GoldenGate for Kafka Handlerは、Oracle GoldenGate証跡からKafkaトピックに変更キャプチャ・データをストリーミングします。

  • Oracle GoldenGate

    Oracle Cloud Infrastructure GoldenGateは、完全管理型のサービスであり、オンプレミスまたは任意のクラウドに存在するソースからのデータ取込みを可能にし、GoldenGate CDCテクノロジを活用して、非侵入的で効率的なデータの取得と、Oracle Autonomous Data Warehouseへのリアルタイムおよび大規模配信を実現し、関連する情報をできるだけ早く利用できるようにします。

  • Autonomous Database

    Oracle Cloud Infrastructure Autonomous Databaseは、トランザクション処理およびデータ・ウェアハウス・ワークロードに使用できる、完全に管理された事前構成済のデータベース環境です。ハードウェアの構成や管理、ソフトウェアのインストールを行う必要はありません。Oracle Cloud Infrastructureは、データベースの作成、データベースのバックアップ、パッチ適用、アップグレードおよびチューニングを処理します。

必須サービスおよびロールについて

このソリューションには、次のサービスとロールが必要です。

  • Oracle Autonomous Data Warehouse

  • Oracle GoldenGateストリーム分析(GGSA)

  • Oracle Cloud Infrastructure

各サービスに必要なロールは次のとおりです。

サービス名: ロール 次が必要です...
Oracle Autonomous Data Warehouse: admin 資格証明を作成します。
Oracle GoldenGate Stream Analytics: admin GGSAコンソールにアクセスします。
Oracle Cloud Infrastructure: admin
  1. MarketplaceからGGSAをインストールします。
  2. データを取り込むようにKafkaプロデューサを構成します。
  3. KafkaのGGSAをAutonomous Databaseに接続します。

必要なクラウド・サービスを取得するには、Oracleソリューション用のOracle Cloudサービスを取得する方法の学習を参照してください。