OCIデータ統合とOracle Integration Cloudサービスを使用したバルク・データの処理
外部ソースからターゲット・システムまたはアプリケーションに一括データを処理または統合します。
このシナリオの検討: 外部ソース(顧客、サプライヤ、従業員、製品など)からデータを一括で受信します。エンド・システムまたはアプリケーションに到達する前に、データを編成、エンリッチ、結合または編成する必要があります。これを実現するフローの一部として、2つ以上の中間アプリケーションまたはサービスと統合するか、データに複雑な変換を適用する必要があります。このプロセスでは、(REST、SOAPなどに基づく)コールの作成後または様々なサードパーティ・アプリケーションとのオーケストレーション後に、データに属性を追加できます。このトランザクション・データには、複雑な変換(JSONまたはXML)、参照または相互参照が必要になる場合もあります。
このシナリオは、OCI Data Integration (OCI DI)とOracle Integration Cloud (OIC)の2つのクラウド・サービスで簡単に実装できます。OCI DIは、接続しているアプリケーションやその場所に関係なく、すべてのデータ統合または「抽出、変換、ロード」(ETL)のニーズに対応し、OICはすべてのアプリケーション統合またはエンタープライズグレードの接続に対応します。
アーキテクチャ
このリファレンス・アーキテクチャは、OCI DIおよびOICサービスを使用してバルク・データを処理するためのユースケースを表します。
このリファレンス・アーキテクチャは、OCI DIを介してOICでApache Parquet、Apache AvroおよびMicrosoft Excelファイルを処理する課題にも対応しています。たとえば、財務レポート・データ(買掛金、売掛金、GL、キャッシュ・フロー、資産と負債、収益など)を処理する場合、OCI DIはこれらのファイル形式をカンマ区切り値(CSV)ファイルに変換し、その後OICで処理します。
次の図は、このリファレンス・アーキテクチャを示しています。
oci-bulk-data-integration-architecture-diagram-oracle.zip
前述のリファレンス・アーキテクチャに示されているステップの説明を次に示します。
- 外部ソース(カスタム・アプリケーション、Oracle applications以外、サードパーティ・クラウド上で実行されているOracleデータベース、サードパーティ・クラウド・サービス、オンプレミス・データベース、アプリケーションなど)は、バルク・データ・ロード・ファイルをOCI Object Storageバケットにアップロードまたは削除します。
- OCI Observability & Managementサービス- OCI Eventsサービスは、OCI Object Storageバケットにアップロードされたオブジェクトまたはファイルを検索します。
- OCIイベント・サービスは、バケットとファイル名を使用してOCIファンクションを呼び出すアクションをトリガーします。
- OCIファンクションはイベントを受信し、入力パラメータ(バケット名およびファイル名)を使用してOCI DIパイプラインを起動します。
- OCI DIパイプラインは、OCIオブジェクト・ストレージ・バケットからバルク・データ・ロード・ファイルを読み取り、単一の大きなデータファイルを多数の小さなファイルに分割します。次に、分割されたファイルをOCI Object Storageバケットにアップロードします。
- OCIイベント・サービスの別のインスタンスでは、OCIオブジェクト・ストレージ・バケットにアップロードされた分割ファイルが検索されます。
- OCIイベント・サービスは、バケット名およびファイル名ごとにOCIファンクションを呼び出すアクションをトリガーします。
- OCIファンクションはイベントを受信し、バケット名および各ファイル名の入力パラメータを使用してOIC統合フローを起動します。
- OIC統合は、OCI Object Storageバケットから各ファイルを読み取ります。
- OIC統合は、要件に基づいて、1つ以上の中間アプリケーションまたはシステムに起動することにより、データを編成およびエンリッチします。次に、複雑な変換、参照、相互参照などを実行し、最終的にダウンストリーム・システムまたはアプリケーションにデータを処理します。
アーキテクチャには次のコンポーネントがあります。
- リージョン
Oracle Cloud Infrastructureリージョンは、可用性ドメインと呼ばれる1つ以上のデータ・センターを含むローカライズされた地理的領域です。リージョンは他のリージョンから独立しており、広大な距離で(国間や大陸間でも)リージョンを分離できます。
- データ統合
OCIデータ統合は、データ・エンジニアおよびETL(抽出、変換、ロード)開発者向けのフルマネージド・マルチテナント・サービスであり、様々なデータ・アセットからのデータの取込み、そのデータのクレンジング、変換、再形成、ターゲット・データ・アセットへの効率的なロードなどの一般的なETLタスクを提供します。
- Oracle Integration Cloud
Oracle Integration Cloudにより、クラウドとオンプレミスのアプリケーションの統合、ビジネス・プロセスの自動化、ビジネス・プロセスへのインサイトの獲得、ビジュアル・アプリケーションの開発、SFTP準拠のファイル・サーバーを使用したファイルの格納と取得、およびB2B取引パートナとのビジネス・ドキュメントの交換が可能になります。
- イベント
OCI Events Serviceは、Cloud Native Computing Foundation (CNCF) CloudEvents標準に準拠するイベントを使用して、リソースの変更を追跡します。開発者は、Functionsによるコードのトリガー、Streamingへの書込み、Notificationsを使用したアラートの送信を行うことで、リアルタイムに変更に対応できます。
- 関数
OCI Functionsは、開発者がインフラストラクチャを管理することなく、アプリケーションを作成、実行、スケーリングできるようにするサーバーレス・プラットフォームです。Functionsは、OCI、プラットフォーム・サービスおよびSaaSアプリケーションと統合されます。Functionsはオープン・ソースのFn Projectに基づいているため、開発者は、他のクラウド環境やオンプレミス環境に簡単に移植できるアプリケーションを作成できます。Functionsに基づくコードは通常、短い期間実行され、顧客は使用したリソースに対してのみ支払います。
- 仮想クラウド・ネットワーク(VCN)およびサブネット
VCNは、Oracle Cloud Infrastructureリージョンで設定するカスタマイズ可能なソフトウェア定義ネットワークです。従来のデータ・センター・ネットワークと同様に、VCNによってネットワーク環境を完全に制御できます。VCNには、VCNの作成後に変更できる、重複しない複数のCIDRブロックを含めることができます。VCNをサブネットに分割できます。サブネットは、リージョンまたは可用性ドメインにスコープ指定できます。各サブネットは、VCN内の他のサブネットと重複しない連続した範囲のアドレスで構成されます。サブネットのサイズは、作成後に変更できます。サブネットはパブリックまたはプライベートにできます。
- セキュリティ・リスト
サブネットごとに、サブネットの内外で許可する必要があるトラフィックのソース、宛先およびタイプを指定するセキュリティ・ルールを作成できます。
- ルート表
仮想ルート表には、サブネットからVCN外部の宛先(通常はゲートウェイ経由)へのトラフィックをルーティングするルールが含まれます。