負荷
Oracle Cloud ERPデータをSnowflakeにロードするための3つのアーキテクチャおよび中間ストレージ・オプションについて学習します。
ローコードを使用したスノーフレークへのデータのロード
このアーキテクチャでは、OCI GoldenGateおよびOracle Data Transformsを主なデータ統合ツールとして使用します。これらのツールをすでに使用していて、Snowflakeのステージングとして使用できるOracle AI DatabaseがOCI上で少なくとも1つ実行されている場合は、このオプションを使用します。
migrate-fa-snowflake-goldengate-data-int-oracle.zip
このオプションは、Oracle Data TransformsおよびOCI GoldenGateを主要な抽出およびレプリケーション・ツールとして使用します。データは、最初にOracle AI Databaseステージング領域にロードされ、次にスノーフレークにロードされます。GoldenGate-Snowflakeコネクタには、異なる構成オプションがあります。このアーキテクチャでは、デフォルト構成が使用されます。データは30秒ごとにターゲットでリフレッシュされます。ソースではリアルタイムですが、ターゲットではほぼリアルタイムです。
OCI GoldenGate Data TransformsによるOracle Fusion ERPからのデータの抽出ブログに従って、Oracle Cloud ERPからデータを抽出するようにOracle Data Transformsを構成します。OCI GoldenGateでは、2つのデプロイメントを作成する必要があります。Oracle Data Transformsによって作成された表のリストに抽出が構成されているOracleテクノロジの最初のテクノロジ。2つ目のデプロイメントは、Snowflakeが含まれるビッグ・データ・テクノロジ用です。
このブログを参照して、Snowflake初期ロードおよびリアルタイム・データ同期にOCI GoldenGateを使用し、デプロイメントとSnowflakeへの抽出およびレプリケーション・プロセスの両方を構成します。
このアーキテクチャでは、次のコンポーネントがサポートされています。
- Oracle Autonomous AI Lakehouse
Oracle Autonomous AI Lakehouseは、データ・ウェアハウスのワークロード向けに最適化された、自動運転、自己保護、自己修復が可能なデータベース・サービスです。ハードウェアを構成または管理したり、ソフトウェアをインストールする必要はありません。OCIは、データベースの作成、バックアップ、パッチ適用、アップグレードおよびチューニングを処理します。
- OCIオブジェクト・ストレージ
OCIオブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージおよびビデオなどのリッチ・コンテンツなど、あらゆるコンテンツ・タイプの構造化データおよび非構造化データの大量へのアクセスを提供します。アプリケーションから直接、またはクラウド・プラットフォーム内から、安全かつ安全にデータを格納できます。パフォーマンスやサービスの信頼性を低下させることなく、ストレージを拡張することができます。
迅速、即時、頻繁にアクセスする必要があるホット・ストレージには、標準ストレージを使用します。長期間保持し、ほとんどまたはほとんどアクセスしないコールド・ストレージには、アーカイブ・ストレージを使用します。
- Oracle Data Transforms
Oracle Data Transformsでは、コードを記述しなくても、データ・ロード、データ・フローおよびワークフローの形式でグラフィカルなデータ変換を設計することができます。データ・ロードは、データをOracle Autonomous AI Databaseにロードする便利な方法を提供します。データ・フローでは異なるシステム間でデータがどのように移動および変換されるかを定義すると同時に、ワークフローではデータ・フローが実行される順序が定義されます。
- OCI GoldenGate
Oracle Cloud Infrastructure GoldenGateは、リアルタイムのデータ・メッシュ・プラットフォーム、データの可用性を高めるためのレプリケーション、およびリアルタイム分析を提供するマネージド・サービスです。コンピュート環境を割り当てたり管理したりすることなく、データ・レプリケーションおよびデータ・ストリーミング・ソリューションを設計、実行、監視できます。
Sparkを使用したスノーフレークへのデータのロード
このアーキテクチャでは、Spark (データ・フロー)を使用してOCI Object Storageからデータを読み取り、その後にSnowflake Python APIを使用してデータをSnowflakeにロードします。
BICCジョブを構成すると、ZIPファイルはOCIオブジェクト・ストレージに配置されます。このリファレンス・アーキテクチャでは、2つの異なるツールを使用します。開発およびテスト用のデータ・サイエンス。データ・フローは、コードを実行し、OCI Object StorageからSnowflakeにデータをロードするためのSparkツールです。スパークは、SnowflakeのドキュメントからダウンロードできるJDBCドライバを使用します。
migrate-fa-snowflake-spark-object-storage-oracle.zip
このアーキテクチャでは、次のコンポーネントがサポートされています。
- データ・サイエンス
Oracle Cloud Infrastructure Data Scienceは、完全に管理されたサーバーレス・プラットフォームであり、データ・サイエンス・チームはOCIで機械学習(ML)モデルを構築、トレーニングおよび管理するために使用できます。Oracle Autonomous AI Lakehouse、Oracle Cloud Infrastructure Object Storageなどの他のOCIサービスと簡単に統合できます。企業の信頼できるデータを迅速に機能させることでビジネスの柔軟性を高める高品質の機械学習モデルを構築および評価でき、MLモデルの導入を容易にすることでデータ主導のビジネス目標をサポートできます。
- OCIオブジェクト・ストレージ
OCIオブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージおよびビデオなどのリッチ・コンテンツなど、あらゆるコンテンツ・タイプの構造化データおよび非構造化データの大量へのアクセスを提供します。アプリケーションから直接、またはクラウド・プラットフォーム内から、安全かつ安全にデータを格納できます。パフォーマンスやサービスの信頼性を低下させることなく、ストレージを拡張することができます。
迅速、即時、頻繁にアクセスする必要があるホット・ストレージには、標準ストレージを使用します。長期間保持し、ほとんどまたはほとんどアクセスしないコールド・ストレージには、アーカイブ・ストレージを使用します。
- OCIデータ・フロー
Oracle Cloud Infrastructure Data Flowはフル・マネージド型のApache Sparkサービスで、インフラストラクチャのデプロイや管理を必要とせず、非常に大規模なデータセットに対して処理タスクを実行します。データ・フローは、データベース、フラット・ファイルなどのソース・データ・アセットから、データ・レイク、データ・ウェアハウスなどのターゲット・データ・アセットへのデータの流れを表すビジュアル・プログラムです。OCIデータ統合の直感的なUIデザイナは、データ・フローを作成、表示または編集すると開きます。
クラウド・ストレージへのデータのロードおよびスノーフレークへのコピー
このアーキテクチャでは、Pythonで様々なクラウド・ストレージAPIを使用して、OCI Object StorageからAWS S3、Google Cloud Storage、Azure Blob Storageなどの他のクラウド・プロバイダにデータをコピーします。
まず、組織に適したクラウド・ストレージをインストールして構成する必要があります。
- データをAmazon S3にロードし、Snowflakeにコピーします。
プロセスは、OCI Object StorageからZIPファイルを読み取り、ターゲットAmazon S3内のコンテンツを抽出します。ファイルがコピーされたら、
COPY INTOSnowflakeコマンドを使用してデータを表にロードできます。 - データをGoogle Cloud Storageにロードし、Snowflakeにコピーします。
このプロセスは、OCI Object StorageからZIPファイルを読み取り、ターゲットGoogle Cloud内のコンテンツを抽出します。ファイルがコピーされたら、
COPY INTOSnowflakeコマンドを使用してデータを表にロードできます。 - データをAzure Blob Storageにロードし、Snowflakeにコピー: Snowflakeストレージ統合のためのAzureコンテナ構成。このプロセスでは、OCI Object StorageからZIPファイルを読み取り、ターゲットのAzure Blob Storage内のコンテンツを抽出します。ファイルがコピーされたら、
COPY INTOSnowflakeコマンドを使用してデータを表にロードできます。
migrate-fa-snowflake-third-party-storage-oracle.zip
このアーキテクチャでは、次のコンポーネントがサポートされています。
- データ・サイエンス
Oracle Cloud Infrastructure Data Scienceは、完全に管理されたサーバーレス・プラットフォームであり、データ・サイエンス・チームはOCIで機械学習(ML)モデルを構築、トレーニングおよび管理するために使用できます。Oracle Autonomous AI Lakehouse、Oracle Cloud Infrastructure Object Storageなどの他のOCIサービスと簡単に統合できます。企業が信頼するデータを迅速に機能させることでビジネスの柔軟性を高める高品質の機械学習モデルを構築および評価でき、MLモデルの導入を容易にすることでデータ駆動型のビジネス目標をサポートできます。
- OCIオブジェクト・ストレージ
OCIオブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージおよびビデオなどのリッチ・コンテンツなど、あらゆるコンテンツ・タイプの構造化データおよび非構造化データの大量へのアクセスを提供します。アプリケーションから直接、またはクラウド・プラットフォーム内から、安全かつ安全にデータを格納できます。パフォーマンスやサービスの信頼性を低下させることなく、ストレージを拡張することができます。
迅速、即時、頻繁にアクセスする必要があるホット・ストレージには、標準ストレージを使用します。長期間保持し、ほとんどまたはほとんどアクセスしないコールド・ストレージには、アーカイブ・ストレージを使用します。