このアーキテクチャは、データ・レイクハウスOracle Cloud Infrastructure (OCI)を使用して、構造化ソースおよび非構造化ソースのデータの取込み、処理、格納、提供および可視化を行う最新のデータ・プラットフォームを作成する方法を示します。

アーキテクチャ・コンポーネントは4つのステージに分かれており、機能データ・フローとして表されます。

• データ・プロデューサ: ストリーミング・データ・プロデューサには、価格および為替レート・データ用のKafkaプロデューサと取引データ用のイベント・プロデューサが含まれます。非構造化データは、オブジェクト・ストレージ(ブロンズ・データ・レイク)に直接プッシュされます。スケジュールまたはイベントによってトリガーされるデータ・プロデューサには、ファイル・ストレージからのバッチ・データおよびデータベース・システムからの参照データが含まれます。
• 取込み/ロード: 永続的なストリーミング・データがブロンズ・オブジェクト・ストレージに渡されます。ストリーミング・データは、異常な取引データとリアルタイムの資金インサイトとしても処理されます。スケジュール済またはイベント・トリガー・データはデータ統合によって処理され、オブジェクト・ストレージを「ブロンズ」に渡されます。
• 永続/変換/計算:
  • ストリーミング・データはKafka Connectで処理され、リアルタイムの資金インサイトとストリーミング分析が生成されます。サービス・コネクタ・ハブは、異常な取引データを調整し、ユーザー・インサイトをOracle Cloud Infrastructure Notificationsで調整します。
  • Oracle Cloud Infrastructure Events、Oracle FunctionsおよびOCI Visionは、銅色のオブジェクト・ストレージからFaxイメージのOCRおよびテキスト抽出を提供し、結果のデータをsilverオブジェクト・ストレージに渡します。
  • データ・レイクハウス内で、Oracle Cloud Infrastructure Data Flowは青銅色のオブジェクト・ストレージからデータをクリーン・アップし、シルバー・オブジェクト・ストレージに渡します。データ・フローは、シルバー・オブジェクト・ストレージからのデータを処理し、それをゴールド・オブジェクト・ストレージに渡します。Oracle Autonomous Data Warehouse (ADW)およびOracle Cloud Infrastructureデータ・カタログは、エンド・ユーザーおよびアナリティクスのゴールド・データを提供します。
• サービス/ビジュアル化: エンド・ユーザーは、異常なストリーミング・データにアクセスするか、OpenSearchを使用してリアルタイム分析とインサイトを提供します。ユーザーは、Oracle Analytics Cloudまたはサードパーティの分析を使用して、データ・レイクハウスからのデータを活用できます。データ・サイエンティストは、Oracle Cloud Infrastructure Data Scienceを使用して、データ・レイクハウスのデータを活用することもできます。