データ・レイクハウスの計画
データ・レイクハウスを計画する際には、何十億ものデータ・レコードを持つ銀行、ブローカおよび金融サービスに対して次の関連するユース・ケースを考慮してください。
- 構造化データ用のデータ・ウェアハウスと半構造化データおよび非構造化データ用のデータ・レイクで構成される、企業全体のデータ・ハブを確立します。このデータ・レイクハウスはあなたのデータの唯一の正しい情報源になります。
- ビッグ・データ処理テクノロジを使用して、リレーショナル・データ・ソースを他の非構造化データ・セットと統合します。
- セマンティック・モデリングおよび強力なビジュアライゼーション・ツールを使用して、データ分析を簡略化します。
ビジネス・ユースケースの理解
次に、レガシー会計システムを使用して評価データをデータ・マートに提供する資金評価システムの概要を示します。
データ・マートは、他の参照データ・ソースからバッチ参照データも取得します。データ・マートは、資金評価データをバッチでワークフロー内のダウンストリーム・システムにプッシュします。
価格設定は静的な方法であるため、通常、1日の終わりにレガシー・システムは、すべてのシステムが正常に機能している場合でも、ユーザーが必要としているほど応答しません。
たとえば、2022年第2四半期では、市場に非常に変動が激しいとき、すべてのユーザー・グループは高アラートで、すべてのユーザーが最新の価格と市場価値を把握して、1日を通して保有ポジションを識別できるようにしたいと考えていました。最新の価格を把握し、市場価値をリアルタイムに把握することは、従来の資金評価システムに対する大きな質問でした。
最新の価格を取得し、市場価値をリアルタイムで取得するには、レガシー会計システムで最新の価格を取得し、データをデータ・マートにプッシュして、バッチ・ワークフローを1日に複数回繰り返す必要があります。これは、十分な応答性も持続性もありません。
ソリューションの理解
このソリューションでは、常にバッチ評価データの公開を続行するレガシー・システムを変更する必要はありません。
リアルタイム価格設定および換算レートは、それぞれのストリームから取得され、価格設定に適用されて、様々な通貨で市場価値を検出します。
サーバーレスのOracle Cloud Infrastructureアーキテクチャは、バッチ・データとリアルタイム・データの両方をサポートします。バッチ・データには、ポートフォリオ参照データのスナップショット・フロー、増分デルタおよび評価データの変更データ取得(CDC)フローが含まれます。リアルタイム・データには、価格および為替レート・ストリームが含まれます。このアーキテクチャには、バッチ・データとリアルタイム・データを照合して、リアルタイムの価格、基準通貨での市場価格、外貨での市場価格を取得するプロセスが含まれています。
アーキテクチャの例
次の図は、Oracle Cloud Infrastructure (OCI)上の顧客が使用している最新のデータ・プラットフォーム・アーキテクチャを示しています。
このアーキテクチャは、リアルタイムの資金インサイトの取得、異常取引の検出、一般的な財務データ・クレンジング、集計および視覚化のためのような財務ユース・ケースに使用できます。
oci- fund- lakehouse- arch- oracle.zip
このアーキテクチャの主な特徴の1つは、多層データ・レイクハウスです。データ・レイクにおける3つの異なるレベルのデータ処理、構造化ウェアハウスのOracle Autonomous Data Warehouse (ADW)、メタデータおよびガバナンスのOracle Cloud Infrastructure Data Catalog、Sparkジョブを使用したビッグ・データ処理および変換用のデータ・フローで構成されます。
bronzeデータ・レイクは、多くの場合、またはそれに近い形式でデータの最初の宛先です。これには、OCIに存在するデータ、およびサード・パーティ・プラットフォームからのデータが含まれます。Oracle Data Integration (ODI)は、この統合に使用されるツールの1つです。
データ・フロー・アプリケーションは、ブロンズからシルバへのほとんどのデータ変換およびクレンジングを処理します。Oracle Cloud Infrastructure Visionは、光学文字認識(OCR)テクノロジを使用してFAXイメージからテキストを抽出します。Vision出力データ(テキスト)は、Oracle Functionsを使用して、ブロンズ・レイクからシルバー・レイクに送信されます。
データ・フローは、シルバー・レイク層からゴールド・データ・レイクへの追加データ変換を実行します。この場合、データはADWにロードされ、Oracle Analytics Cloudおよびサード・パーティの分析および視覚化ツールが提供されます。
アーキテクチャには、次の追加機能が含まれています。
- OCIストリーミングおよびOCI通知を使用して、OCI Service Connector Hubを使用して統合することにより、異常な取引通知が提供されます。
- Streaming Analyticsは、Kafka Connectを使用して、OpenSearchを使用してOCI StreamingデータをOCI Search Serviceに送信することで、リアルタイムの資金インサイトを提供します。OpenSearchダッシュボードは、OCI検索サービスの統合コンポーネントであり、OpenSearchデータを直接可視化できます。
- データ・サイエンティストは、ADW、Object Storage、サード・パーティ・クラウドへのクエリー、およびオンプレミス・システムの適切に接続された、完全に管理されたサーバーレスのプラットフォームであるOCI Data Scienceを使用して、データ・レイクハウスを探索できます。