OCIとMicrosoft Azure間のマルチクラウド・データ・ソリューションの確立
組織は、ライブ・データとアーカイブ・データを1つの集中管理された場所に格納するためのエンタープライズ・データレイク・ハウスまたはデータ・ウェアハウスを確立できます。
このアプローチにより、すべてのデータ分析ニーズに対する包括的なソリューションとして機能する一元化されたデータ・ストアを作成するプロセスが簡素化されます。
マルチクラウド・データ分析ソリューションを活用することで、組織は、Fusion SaaS、フラット・ファイル、オンプレミス・データベースとクラウド・データベース、Salesforce、EコマースWebサイトなど、さまざまなデータ・ソースと統合された中央データレイク・ハウスまたはデータウェアハウスを使用して、分析を効率的に実施できます。
究極の目的は、ビジネス・ユニットによって抽出および分析されたデータの集中リポジトリを作成して、エンドツーエンドのビジネス可視性を高め、データ主導型のインサイトを提供することです。次の利点があります。
- 統合されたデータ分析パイプライン
データベースやオブジェクト・ストアなど、さまざまなクラウドおよびオンプレミスのソースからデータへのアクセスを合理化します。
- 統合の容易さ
多様なシステム、フォーマット、API、アプリケーションおよびデバイスにわたるデータをシームレスに統合し、手動コーディングを必要とせずにセキュリティ・プロトコルとの安全なコラボレーションとコンプライアンスを確保します。
- 高パフォーマンス分析
効率的なデータ・クエリにより、意思決定を迅速化し、カスタマー・サービスを向上させます。
- コスト、セキュリティ、可用性
最適なコスト効率、パフォーマンス、セキュリティおよび可用性を実現しながら、CapExおよびOpExを最小化します。
アーキテクチャ
このリファレンス・アーキテクチャは、さまざまなソースからデータを収集してフォーマットし、エンタープライズ・データレイクまたはデータウェアハウスに転送するエンタープライズ・マルチクラウド・データ・パイプラインを示しています。これには、バッチ統合、データ統合およびリアルタイム統合シナリオが含まれます。
Oracle Interconnect for Microsoft Azureは、Azure ExpressRouteとOracle Cloud Infrastructure FastConnectをリンクして、2つの個別のクラウド・ネットワークを効率的に接続します。
Azureの仮想ネットワーク(VNet)トラフィックは、OCIの仮想クラウド・ネットワーク(VCN)へのプライベート相互接続を介してルーティングされます。
次の図は、このリファレンス・アーキテクチャを示しています。
oci-azure-multicloud-data-solution-diagram-oracle.zip
OCI Data Integrationは、ネイティブ・アダプタを使用してオンプレミス・ソースとクラウド・ソースからデータを接続および抽出し、BICCコネクタを使用してOracle SaaSアプリケーションにアクセスし、データの変換を実行し、アダプタ(Oracle Autonomous DatabaseまたはOCI Object Storage)を介してOCIデータレイクにロードします。
Oracleアプリケーション統合サービスは、Oracle SaaSアプリケーション、モノのインターネット(IoT)、ストリーミング・サービス、ソーシャル・メディア、オンプレミス・システム、その他のクラウド・プロバイダなどの多様なソース・システムから、ネイティブ・アダプタを介してリアルタイム・データを収集します。その後、アダプタ(Oracle Autonomous DatabaseまたはOCI Object Storage)を使用してデータをOCIデータレイクにロードする前に、変換およびオーケストレーション・プロセスを実行します。
OCI GoldenGateは、Oracle Autonomous Databaseからデータを取得し、OCI FastConnectを介してほぼリアルタイムでAzureデータレイクGen2およびAzure Synapse Analyticsにレプリケートします。Synapseへのレプリケーションでは、変更データをSynapseターゲット表にマージする前に、Azureデータ・レイク・ストレージGen2のマイクロバッチでステージングおよびマージします。
イベントのフロー
- データの抽出と転送
- 顧客データは、直接またはデフォルトのソース固有のドライバを介して、データ・ソースからOCI Object Storageに転送されます。
- オンプレミスのフラット・ファイルは、顧客のPythonスクリプトを使用するか、Oracle Integration Cloud Serviceにシームレスに接続するためのOCI Object StorageとのFTP接続を確立することによって、OCI Object Storageに移動されます。
- データは、暗号化によってRAW形式でOCI Object Storageバケットに安全にアップロードされます。
- データ収集と変換
- OCI Data Integrationは、OCI Object Storageやその他のソースからデータを取得し、Apache Sparkと提案されたアーキテクチャ・フローを使用してビジネス・ニーズに応じて変換し、変換されたデータを自律型データベースとともにOCI Object Storageに格納します。
- このプロセスは、アクティブなACIDプロパティおよび圧縮のデルタ・レイク・アーキテクチャに従います。これで、データが構造化され、問合せが可能となり、さらに分析できるようになります。
- OCIロギングは、すべての処理ログを管理します。
- オーケストレーションとスケジューリング
- OCI Data Integrationは、データ・フロー・プロセスを管理し、必要に応じてデータ・フロー・アプリケーションおよびデータ・サイエンス・ノートブックの実行をスケジュールします。
- 開発者は、柔軟性を確保するために、UIまたはデータ・サイエンス・サービス・ノートブックからデータ・フロー・アプリケーションを実行できます。
- データ・アーカイブ
- OCI Object Storageのライフサイクル・ポリシーは、お客様によって定義および実装され、データ・アーカイブのプロセスを自動化する上で重要な役割を果たします。これらのポリシーにより、よりコスト効率の高いストレージ層へのデータのシームレスなシフト、または古い情報の体系的な削除が、事前定義されたルールおよびガイドラインに従って容易になります。この自動化は、効率的なデータ管理だけでなく、組織が遵守する必要があるさまざまな保存ポリシーへのコンプライアンスを確保するためにも不可欠です。
- これらのライフサイクル・ポリシーを利用することで、お客様はデータ保持慣行の管理を維持し、法的要件や規制要件と整合性を確保しながら、ストレージ・コストを最適化できます。
- Azureへのデータ・レプリケーション
- OCI GoldenGateは、Oracle Interconnect for Microsoft Azureで確立された専用ネットワークを介してAzureへのデータ・レプリケーションに使用されます。
- OCI GoldenGateは、Azure Data LakeおよびAzure Synapse Analyticsと緊密に統合され、シームレスなデータ・ロードを実現します。
- データ分析とレポート
- Oracle Analytics CloudおよびPower BIは、OCI Object StorageまたはOracle Autonomous Databaseとの接続を確立できるビジネス・インテリジェンス・ツールの例です。
- これらのツールは、変換されたデータを収集し、主要なビジネス・キー・パフォーマンス・インジケータ(KPI)を示す使いやすいダッシュボードを生成します。
- これらのダッシュボードを通じて、データから貴重なインサイトを得て、十分な情報に基づいた意思決定を促進できます。
このアーキテクチャには、次のコンポーネントがあります。
- Tenancy
テナンシは、Oracle Cloud Infrastructureのサインアップ時にOracle Cloud内でOracleによって設定される、セキュアで分離されたパーティションです。テナンシ内のOracle Cloudでリソースを作成、編成および管理できます。テナンシは、会社または組織と同義です。通常、会社は1つのテナンシを持ち、そのテナンシ内の組織構造を反映します。通常、1つのテナンシは1つのサブスクリプションに関連付けられ、1つのサブスクリプションには通常、1つのテナンシのみが含まれます。
- リージョン
Oracle Cloud Infrastructureリージョンとは、可用性ドメインと呼ばれる1つ以上のデータ・センターを含む、ローカライズされた地理的領域です。リージョンは他のリージョンから独立し、長距離の場合は(複数の国または大陸にまたがって)分離できます。
- コンパートメント
コンパートメントは、Oracle Cloud Infrastructureテナンシ内のクロスリージョン論理パーティションです。Oracle Cloudでのリソースの編成、リソースへのアクセスの制御、および使用割当ての設定には、コンパートメントを使用します。特定のコンパートメント内のリソースへのアクセスを制御するには、誰がリソースにアクセスできるか、どのアクションを実行できるかを指定するポリシーを定義します。
- 可用性ドメイン
可用性ドメインは、リージョン内の独立したスタンドアロン・データ・センターです。各可用性ドメイン内の物理リソースは、他の可用性ドメイン内のリソースから分離されているため、フォルト・トレランスが提供されます。可用性ドメインどうしは、電力や冷却、内部可用性ドメイン・ネットワークなどのインフラを共有しません。そのため、ある可用性ドメインでの障害は、リージョン内の他の可用性ドメインには影響しません。
- 仮想クラウド・ネットワーク(VCN)およびサブネット
VCNは、Oracle Cloud Infrastructureリージョンで設定する、カスタマイズ可能なソフトウェア定義のネットワークです。従来のデータ・センター・ネットワークと同様に、VCNを使用するとネットワーク環境を制御できます。VCNには重複しない複数のCIDRブロックを含めることができ、VCNの作成後にそれらを変更できます。VCNをサブネットにセグメント化して、そのスコープをリージョンまたは可用性ドメインに設定できます。各サブネットは、VCN内の他のサブネットと重複しない連続した範囲のアドレスで構成されます。サブネットのサイズは、作成後に変更できます。サブネットはパブリックにもプライベートにもできます。
- ExpressRoute
Azure ExpressRouteでは、VNetと別のネットワーク(オンプレミス・ネットワークや別のクラウド・プロバイダ内のネットワークなど)間のプライベート接続を設定できます。
Azure ExpressRouteを介したトラフィックはパブリック・インターネットを横断しないため、Azure ExpressRouteは一般的なインターネット接続よりも信頼性が高く高速な代替手段です。
- Autonomous Database
Oracle Autonomous Databaseは、トランザクション処理およびデータ・ウェアハウス・ワークロードに使用できる、完全管理型の事前構成済データベース環境です。ハードウェアの構成や管理、ソフトウェアのインストールを行う必要はありません。Oracle Cloud Infrastructureは、データベースの作成に加え、データベースのバックアップ、パッチ適用、アップグレードおよびチューニングも処理します。
- オブジェクト・ストレージ
オブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージやビデオなどのリッチ・コンテンツなど、任意のコンテンツ・タイプの構造化データおよび非構造化データにすばやくアクセスできます。インターネットから直接またはクラウド・プラットフォーム内から、安全かつセキュアにデータを格納し、取得できます。パフォーマンスやサービスの信頼性を低下させることなく、ストレージを拡張できます。迅速、即時、頻繁にアクセスする必要があるホット・ストレージには、標準ストレージを使用します。長期間保持し、ほとんどまたはほとんどアクセスしないコールド・ストレージには、アーカイブ・ストレージを使用します。
- データ統合
Oracle Cloud Infrastructure Data Integrationは、様々なデータ・ソースからAutonomous Data WarehouseやOracle Cloud Infrastructure Object Storageなどのターゲット・Oracle Cloud Infrastructureサービスにデータを抽出、ロード、変換、クレンジングおよび再シェイプする、フルマネージドのサーバーレスなクラウドネイティブ・サービスです。ETL (変換ロードの抽出)はSparkで完全管理型のスケールアウト処理を利用し、ELT (ロード変換の抽出)はAutonomous Data Warehouseの完全なSQLプッシュダウン機能を利用して、データの移動を最小限に抑え、新しく取り込まれたデータの価値実現までの時間を短縮します。ユーザーは、直感的でコードレスなユーザー・インタフェースを使用してデータ統合プロセスを設計し、統合フローを最適化して最も効率的なエンジンとオーケストレーションを生成し、実行環境を自動的に割り当て、スケーリングします。Oracle Cloud Infrastructure Data Integrationは、対話型の探索およびデータ準備を提供し、データ・エンジニアがスキーマの変更を処理するルールを定義することでスキーマ・ドリフトから保護するのに役立ちます。
- Oracle GoldenGate Cloud Service
Oracle GoldenGate Cloud Serviceは完全なマネージド・サービスであり、オンプレミスまたは任意のクラウドに存在するソースからのデータ取込みを可能にし、GoldenGate CDCテクノロジを活用して、データを非侵入型で効率的に取得し、Oracle Autonomous Data Warehouseにリアルタイムかつ大規模に配信することで、関連情報を消費者ができるだけ早く利用できるようにします。
- Oracle Integration
Oracle Integrationは、SaaSおよびオンプレミス・アプリケーションへの事前構築済の接続、すぐに実行できるプロセス自動化テンプレートおよびWebおよびモバイル・アプリケーション開発用のローコード・ビジュアル・ビルダーを提供します。Oracle Cloud ERP、HCM、CXのイベントにネイティブにアクセスできます。アプリケーション固有の分析サイロを結び付けて、購買依頼から受領まで、採用から支払いまで、リードから請求書まで、その他の重要なプロセスを簡素化し、ITおよびビジネス・リーダーにエンドツーエンドの可視性を提供します。
- Azure Synapse Analytics
Azure Synapse Analyticsは、データ統合、エンタープライズ・データ・ウェアハウスおよびビッグ・データ分析を組み合せる分析サービスです。サーバーレス・オプションまたは専用オプションを使用して、条件に応じてデータを大規模に問い合せることができます。Azure Synapse Analyticsは、これらの概念を統合エクスペリエンスとともに提供し、BIおよび機械学習のニーズを即時に取り込み、探索、準備、変換、管理、提供します。
- Azureデータ・レイク・ストレージ Gen2
Azure Data Lake Storage Gen2は、ビッグ・データ分析専用の機能のセットで、Azure Blob Storage上に構築されています。データ・レイク・ストレージGen2は、Azureデータ・レイク・ストレージGen1の機能とAzure Blob Storageを統合します。
たとえば、Azure Data Lake Storage Gen2では、ファイル・システムのセマンティクス、ファイル・レベルのセキュリティおよびスケールが提供されます。これらの機能はBlobストレージ上に構築されているため、高可用性とディザスタ・リカバリ機能を備えた低コストの階層型ストレージも利用できます。
- Azureアプリケーション・ゲートウェイ
Azure Application Gatewayは、Webアプリケーションへのトラフィックを管理できるWebトラフィック(OSIレイヤー7)ロード・バランサです。従来のロード・バランサはトランスポート層(OSIレイヤー4 - TCPおよびUDP)で動作し、発信元IPアドレスおよびポートに基づいてトラフィックを宛先IPアドレスおよびポートにルーティングします。Azureアプリケーション・ゲートウェイは、HTTPリクエストの追加属性(URIパスやホスト・ヘッダーなど)に基づいてルーティングを決定できます。
たとえば、受信URLに基づいてトラフィックをルーティングできます。そのため、
/imagesが受信URLにある場合は、イメージ用に構成された特定のサーバー・セット(プールと呼ばれる)にトラフィックをルーティングできます。/videoがURLにある場合、そのトラフィックはビデオ用に最適化された別のプールにルーティングされます。
レコメンデーション
- プロビジョニング
- ワークロードの帯域幅要件を満たすために、OCI FastConnectおよびAzure ExpressRoute仮想回線の適切なサイズを選択します。
- OCI Dynamic Routing Gateway (DRG)およびOCI FastConnectにリンクされているOCI VCNおよびサブネット内にOracle Databaseをデプロイします。
- Azure Synapse Analyticsのネットワーク・トラフィックがOracle Databaseに到達できるように、OCIでルーティングおよびセキュリティ対策またはネットワーク・セキュリティ・グループ(NSG)を設定します。
- プライベート・エンドポイントを使用してOracle Databaseを構成する場合は、指定されたVCNからのトラフィックを排他的に許可するようにVCN設定を定義し、パブリックIPまたはVCNからのアクセスを制限します。
考慮事項
このリファレンス・アーキテクチャをデプロイする場合は、次の点を考慮してください。
- コスト
OCI FastConnect: OCI FastConnectの価格は、すべてのOCIリージョンで一貫性があり、データ・イングレスまたはエグレスに追加料金はかかりません。
Azure ExpressRoute: Azure ExpressRouteの価格は、リージョンによって異なります。
- パフォーマンス
このリファレンス・アーキテクチャでは、お客様は、OCI上のプライマリ・データベースからAzureエンドポイントへのほぼリアルタイムのデータ・レプリケーションをユースケースに必要としていました。OCI GoldenGateを利用することで、お客様は、運用および分析の両方の本番システムからのリアルタイム・データで異機種間およびマルチクラウドのビッグ・データ貯水池を一貫して更新し、リアルタイム分析を促進しました。
- ネットワーキング
Oracle Interconnect for Microsoft Azureは、代替ネットワーク・ソリューションとして機能し、特定のAzureとOCIのペア・リージョンと互換性があります。Oracle Database Service for Microsoft AzureがサポートされているAzureおよびOCIリージョンを確認するには、Oracle Database Service for Azureのリージョン可用性の詳細を参照してください。
OCIおよびAzureリージョンでOracle Interconnect for Microsoft Azureがサポートされていない場合、各クラウド・プロバイダのバックボーンを使用してトラフィックを処理できます。OCIバックボーンを選択する場合は、OCI内のOracle Interconnect for Microsoft Azureリージョンと、Oracle Interconnect for Microsoft Azureのサポートがないリージョンへのリモート・ピアリング接続(RPC)を含む中間リージョンを確立する必要があります。