負荷

Oracle Cloud ERPデータをSnowflakeにロードするための3つのアーキテクチャおよび中間ストレージ・オプションについて学習します。

ローコードを使用したスノーフレークへのデータのロード

このアーキテクチャでは、OCI GoldenGateおよびOracle Data Transformsをメイン・データ統合ツールとして使用します。これらのツールをすでに使用していて、Snowflakeのステージングとして使用できるOCI上で少なくとも1つのOracleデータベースが実行されている場合は、このオプションを使用します。


migrate-fa-snowflake-goldengate-data-int.pngの説明が続きます
図migrate-fa-snowflake-goldengate-data-int.pngの説明

migrate-fa-snowflake-goldengate-data-int-oracle.zip

このオプションでは、Oracle Data TransformsおよびOCI GoldenGateがメインの抽出およびレプリケーション・ツールとして使用されます。データは、最初にOracleデータベースのステージング領域にロードされ、次にスノーフレークにロードされます。GoldenGate-Snowflakeコネクタには、異なる構成オプションがあります。このアーキテクチャでは、デフォルトの構成が使用されます。データは、ターゲットで30秒ごとにリフレッシュされます。ソースではリアルタイムですが、ターゲットではほぼリアルタイムです。

OCI GoldenGate Data TransformsによるOracle Fusion ERPからのデータの抽出ブログに従って、Oracle Cloud ERPからデータを抽出するようにOracle Data Transformsを構成します。OCI GoldenGateでは、2つのデプロイメントを作成する必要があります。Oracle Data Transformsによって作成された表のリストに抽出が構成されているOracleテクノロジの最初のテクノロジ。2つ目のデプロイメントは、Snowflakeが含まれるビッグ・データ・テクノロジ用です。

このブログを参照して、Snowflake初期ロードおよびリアルタイム・データ同期にOCI GoldenGateを使用し、デプロイメントとSnowflakeへの抽出およびレプリケーション・プロセスの両方を構成します。

このアーキテクチャでは、次のコンポーネントがサポートされています。

  • Oracle Autonomous Data Warehouse

    Oracle Autonomous Data Warehouseは、データ・ウェアハウス・ワークロード向けに最適化された、自動運転、自己保護、自己修復が可能なデータベース・サービスです。ハードウエアの構成や管理、ソフトウェアのインストールを行う必要はありません。OCIは、データベースの作成、バックアップ、パッチ適用、アップグレードおよびチューニングを処理します。

  • OCIオブジェクト・ストレージ

    OCIオブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージおよびビデオなどのリッチ・コンテンツなど、あらゆるコンテンツ・タイプの構造化データおよび非構造化データの大量へのアクセスを提供します。アプリケーションから直接、またはクラウド・プラットフォーム内から、安全かつ安全にデータを格納できます。パフォーマンスやサービスの信頼性を低下させることなく、ストレージを拡張することができます。

    迅速、即時、頻繁にアクセスする必要があるホット・ストレージには、標準ストレージを使用します。長期間保持し、ほとんどまたはほとんどアクセスしないコールド・ストレージには、アーカイブ・ストレージを使用します。

  • Oracle Data Transforms

    Oracle Data Transformsでは、コードを記述することなく、データ・ロード、データ・フローおよびワークフローの形式でグラフィカル・データ変換を設計できます。データ・ロードは、Oracle Autonomous Databaseにデータをロードする便利な方法を提供します。データ・フローは異なるシステム間でデータを移動および変換する方法を定義し、ワークフローはデータ・フローを実行する順序を定義します。

  • OCI GoldenGate

    Oracle Cloud Infrastructure GoldenGateは、リアルタイムのデータ・メッシュ・プラットフォーム、データの可用性を高めるためのレプリケーション、およびリアルタイム分析を提供するマネージド・サービスです。コンピュート環境を割り当てたり管理したりすることなく、データ・レプリケーションおよびデータ・ストリーミング・ソリューションを設計、実行、監視できます。

Sparkを使用したスノーフレークへのデータのロード

このアーキテクチャでは、Spark (データ・フロー)を使用してOCI Object Storageからデータを読み取り、その後にSnowflake Python APIを使用してデータをSnowflakeにロードします。

BICCジョブを構成すると、ZIPファイルはOCIオブジェクト・ストレージに配置されます。このリファレンス・アーキテクチャでは、2つの異なるツールを使用します。開発およびテスト用のデータ・サイエンス。データ・フローは、コードを実行し、OCI Object StorageからSnowflakeにデータをロードするためのSparkツールです。スパークは、SnowflakeのドキュメントからダウンロードできるJDBCドライバを使用します。


migrate-fa-snowflake-spark-object-storage.pngの説明が続きます
図migrate-fa-snowflake-spark-object-storage.pngの説明

migrate-fa-snowflake-spark-object-storage-oracle.zip

このアーキテクチャでは、次のコンポーネントがサポートされています。

  • データ・サイエンス

    Oracle Cloud Infrastructure Data Scienceはフルマネージドのサーバーレス・プラットフォームで、データ・サイエンス・チームはOCIで機械学習(ML)モデルを構築、トレーニングおよび管理するために使用できます。Oracle Autonomous Data Warehouse、Oracle Cloud Infrastructure Object Storageなどの他のOCIサービスと簡単に統合できます。企業が信頼するデータを迅速に機能させることで、ビジネスの柔軟性を高める高品質の機械学習モデルを構築および評価できます。また、MLモデルの導入が容易なデータ主導型のビジネス目標をサポートできます。データ・サイエンスにより、データ・サイエンティストと機械学習エンジニアはAnacondaリポジトリのパッケージを無料で利用できます。

  • OCIオブジェクト・ストレージ

    OCIオブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージおよびビデオなどのリッチ・コンテンツなど、あらゆるコンテンツ・タイプの構造化データおよび非構造化データの大量へのアクセスを提供します。アプリケーションから直接、またはクラウド・プラットフォーム内から、安全かつ安全にデータを格納できます。パフォーマンスやサービスの信頼性を低下させることなく、ストレージを拡張することができます。

    迅速、即時、頻繁にアクセスする必要があるホット・ストレージには、標準ストレージを使用します。長期間保持し、ほとんどまたはほとんどアクセスしないコールド・ストレージには、アーカイブ・ストレージを使用します。

  • OCIデータ・フロー

    Oracle Cloud Infrastructure Data Flowはフル・マネージド型のApache Sparkサービスで、インフラストラクチャのデプロイや管理を必要とせず、非常に大規模なデータセットに対して処理タスクを実行します。データ・フローは、データベース、フラット・ファイルなどのソース・データ・アセットから、データ・レイク、データ・ウェアハウスなどのターゲット・データ・アセットへのデータの流れを表すビジュアル・プログラムです。OCIデータ統合の直感的なUIデザイナは、データ・フローを作成、表示または編集すると開きます。

クラウド・ストレージへのデータのロードおよびスノーフレークへのコピー

このアーキテクチャでは、Pythonで様々なクラウド・ストレージAPIを使用して、OCI Object StorageからAWS S3、Google Cloud Storage、Azure Blob Storageなどの他のクラウド・プロバイダにデータをコピーします。

まず、組織に適したクラウド・ストレージをインストールして構成する必要があります。

  1. データをAmazon S3にロードし、Snowflakeにコピーします。
    1. Boto3をインストールします
    2. スノーフレーク・ストレージ統合のためのS3構成
    プロセスは、OCI Object StorageからZIPファイルを読み取り、ターゲットAmazon S3内のコンテンツを抽出します。ファイルがコピーされたら、COPY INTO Snowflakeコマンドを使用してデータを表にロードできます。
  2. データをGoogle Cloud Storageにロードし、Snowflakeにコピーします。
    1. Google Cloud SDKのインストール
    2. Snowflakeストレージ統合のためのGoogle Cloud Storage構成
    このプロセスは、OCI Object StorageからZIPファイルを読み取り、ターゲットGoogle Cloud内のコンテンツを抽出します。ファイルがコピーされたら、COPY INTO Snowflakeコマンドを使用してデータを表にロードできます。
  3. データをAzure Blob Storageにロードし、Snowflakeにコピー: Snowflakeストレージ統合のためのAzureコンテナ構成。このプロセスでは、OCI Object StorageからZIPファイルを読み取り、ターゲットのAzure Blob Storage内のコンテンツを抽出します。ファイルがコピーされたら、COPY INTO Snowflakeコマンドを使用してデータを表にロードできます。

migrate-fa-snowflake-third-party-storage.pngの説明が続きます
図migrate-fa-snowflake-third-party-storage.pngの説明

migrate-fa-snowflake-third-party-storage-oracle.zip

このアーキテクチャでは、次のコンポーネントがサポートされています。

  • データ・サイエンス

    Oracle Cloud Infrastructure Data Scienceは、データ・サイエンス・チームがOCIで機械学習(ML)モデルを作成、トレーニングおよび管理するために使用できる、フルマネージドのサーバーレス・プラットフォームです。Oracle Autonomous Data Warehouse、Oracle Cloud Infrastructure Object Storageなどの他のOCIサービスと簡単に統合できます。企業が信頼するデータを迅速に機能させることで、ビジネスの柔軟性を高める高品質の機械学習モデルを構築および評価できます。また、MLモデルの導入が容易なデータ主導型のビジネス目標をサポートできます。データ・サイエンスにより、データ・サイエンティストと機械学習エンジニアはAnacondaリポジトリのパッケージを無料で利用できます。

  • OCIオブジェクト・ストレージ

    OCIオブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージおよびビデオなどのリッチ・コンテンツなど、あらゆるコンテンツ・タイプの構造化データおよび非構造化データの大量へのアクセスを提供します。アプリケーションから直接、またはクラウド・プラットフォーム内から、安全かつ安全にデータを格納できます。パフォーマンスやサービスの信頼性を低下させることなく、ストレージを拡張することができます。

    迅速、即時、頻繁にアクセスする必要があるホット・ストレージには、標準ストレージを使用します。長期間保持し、ほとんどまたはほとんどアクセスしないコールド・ストレージには、アーカイブ・ストレージを使用します。