負荷
Oracle Cloud ERPデータをSnowflakeにロードするための3つのアーキテクチャおよび中間ストレージ・オプションについて学習します。
ローコードを使用したスノーフレークへのデータのロード
このアーキテクチャでは、OCI GoldenGateおよびOracle Data Transformsを主要なデータ統合ツールとして使用します。このオプションは、これらのツールをすでに使用していて、スノーフレークのステージングとして使用できるOracle DatabaseがOCIで少なくとも1つ実行されている場合に使用します。
migrate-fa-snowflake-goldengate-data-int-oracle.zip
このオプションは、Oracle Data TransformsおよびOCI GoldenGateを主な抽出およびレプリケーション・ツールとして使用します。データは、最初にOracle Databaseステージング領域にロードされ、次にスノーフレークにロードされます。GoldenGate-Snowflakeコネクタには、異なる構成オプションがあります。このアーキテクチャでは、デフォルトの構成が使用されます。データは、30秒ごとにターゲットでリフレッシュされます。ソースではリアルタイムですが、ターゲットではほぼリアルタイムです。
OCI GoldenGate Data TransformsによるOracle Fusion ERPからのデータの抽出ブログに従って、Oracle Cloud ERPからデータを抽出するようにOracle Data Transformsを構成します。OCI GoldenGateでは、2つのデプロイメントを作成する必要があります。Oracle Data Transformsによって作成された表のリストに抽出が構成されているOracleテクノロジの最初のテクノロジ。2つ目のデプロイメントは、Snowflakeが含まれるビッグ・データ・テクノロジ用です。
このブログを参照して、Snowflake初期ロードおよびリアルタイム・データ同期にOCI GoldenGateを使用し、デプロイメントとSnowflakeへの抽出およびレプリケーション・プロセスの両方を構成します。
このアーキテクチャでは、次のコンポーネントがサポートされています。
- Autonomous Data Warehouse
Oracle Autonomous Data Warehouseは、データ・ウェアハウス・ワークロード用に最適化された、自動運転、自己保護、自己修復が可能なデータベース・サービスです。ハードウェアの構成や管理、ソフトウェアのインストールを行う必要はありません。Oracle Cloud Infrastructureは、データベースの作成、バックアップ、パッチ適用、アップグレードおよびチューニングを処理します。
- オブジェクト・ストレージ
OCIオブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージやビデオなどのリッチ・コンテンツなど、あらゆるコンテンツ・タイプの構造化データおよび非構造化データにアクセスできます。インターネットまたはクラウド・プラットフォーム内から直接、データを安全かつセキュアに格納できます。パフォーマンスやサービスの信頼性を低下させることなく、ストレージを拡張できます。
迅速、即時、頻繁にアクセスする必要があるホット・ストレージには、標準ストレージを使用します。長期間保持し、ほとんどまたはほとんどアクセスしないコールド・ストレージには、アーカイブ・ストレージを使用します。
- Oracle Data Transforms
Oracle Data Transformsでは、コードを記述することなく、データ・ロード、データ・フローおよびワークフローの形式でグラフィカル・データ変換を設計できます。データ・ロードは、Oracle Autonomous Databaseにデータをロードする便利な方法を提供します。データ・フローは異なるシステム間でデータを移動および変換する方法を定義し、ワークフローはデータ・フローを実行する順序を定義します。
- OCI GoldenGate
Oracle Cloud Infrastructure GoldenGateは、リアルタイムのデータ・メッシュ・プラットフォーム、データの可用性を高めるためのレプリケーション、およびリアルタイム分析を提供するマネージド・サービスです。コンピュート環境を割り当てたり管理したりすることなく、データ・レプリケーションおよびデータ・ストリーミング・ソリューションを設計、実行、監視できます。
Sparkを使用したスノーフレークへのデータのロード
このアーキテクチャでは、Spark (データ・フロー)を使用してOCI Object Storageからデータを読み取り、その後にSnowflake Python APIを使用してデータをSnowflakeにロードします。
BICCジョブを構成すると、ZIPファイルはOCIオブジェクト・ストレージに配置されます。このリファレンス・アーキテクチャでは、2つの異なるツールを使用します。開発およびテスト用のデータ・サイエンス。データ・フローは、コードを実行し、OCI Object StorageからSnowflakeにデータをロードするためのSparkツールです。スパークは、SnowflakeのドキュメントからダウンロードできるJDBCドライバを使用します。
migrate-fa-snowflake-spark-object-storage-oracle.zip
このアーキテクチャでは、次のコンポーネントがサポートされています。
- データ・サイエンス
Oracle Cloud Infrastructure Data Scienceは、データ・サイエンス・チームがOracle Cloud Infrastructure (OCI)で機械学習(ML)モデルの作成、トレーニングおよび管理に使用できる、完全に管理されたサーバーレス・プラットフォームです。Oracle Autonomous Data Warehouse、Oracle Cloud Infrastructure Object Storageなどの他のOCIサービスと簡単に統合できます。エンタープライズ・トラステッド・データを迅速に機能させることで、ビジネスの柔軟性を高める高品質の機械学習モデルを構築および評価し、MLモデルの導入が容易なデータ主導のビジネス目標をサポートできます。データ・サイエンスにより、データ・サイエンティストと機械学習エンジニアはAnacondaリポジトリのパッケージを無料で利用できます。
- オブジェクト・ストレージ
OCIオブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージやビデオなどのリッチ・コンテンツなど、あらゆるコンテンツ・タイプの構造化データおよび非構造化データにアクセスできます。インターネットまたはクラウド・プラットフォーム内から直接、データを安全かつセキュアに格納できます。パフォーマンスやサービスの信頼性を低下させることなく、ストレージを拡張できます。
迅速、即時、頻繁にアクセスする必要があるホット・ストレージには、標準ストレージを使用します。長期間保持し、ほとんどまたはほとんどアクセスしないコールド・ストレージには、アーカイブ・ストレージを使用します。
- データ・フロー
データ・フローは完全管理型のApache Sparkサービスで、インフラストラクチャのデプロイや管理を必要とせずに、非常に大規模なデータセットに対して処理タスクを実行します。データ・フローは、データベースやフラット・ファイルなどのソース・データ・アセットからデータ・レイクやデータ・ウェアハウスなどのターゲット・データ・アセットへのデータのフローを表すビジュアル・プログラムです。データ・フローを作成、表示または編集すると、OCI Data Integrationの直感的なUIデザイナが開きます。
クラウド・ストレージへのデータのロードおよびスノーフレークへのコピー
このアーキテクチャでは、Pythonで様々なクラウド・ストレージAPIを使用して、OCI Object StorageからAWS S3、Google Cloud Storage、Azure Blob Storageなどの他のクラウド・プロバイダにデータをコピーします。
まず、組織に適したクラウド・ストレージをインストールして構成する必要があります。
- データをAmazon S3にロードし、Snowflakeにコピーします。 プロセスは、OCI Object StorageからZIPファイルを読み取り、ターゲットAmazon S3内のコンテンツを抽出します。ファイルがコピーされたら、
COPY INTOSnowflakeコマンドを使用してデータを表にロードできます。 - データをGoogle Cloud Storageにロードし、Snowflakeにコピーします。 このプロセスは、OCI Object StorageからZIPファイルを読み取り、ターゲットGoogle Cloud内のコンテンツを抽出します。ファイルがコピーされたら、
COPY INTOSnowflakeコマンドを使用してデータを表にロードできます。 - データをAzure Blob Storageにロードし、Snowflakeにコピー: Snowflakeストレージ統合のためのAzureコンテナ構成。このプロセスでは、OCI Object StorageからZIPファイルを読み取り、ターゲットのAzure Blob Storage内のコンテンツを抽出します。ファイルがコピーされたら、
COPY INTOSnowflakeコマンドを使用してデータを表にロードできます。
migrate-fa-snowflake-third-party-storage-oracle.zip
このアーキテクチャでは、次のコンポーネントがサポートされています。
- データ・サイエンス
Oracle Cloud Infrastructure Data Scienceは、データ・サイエンス・チームがOracle Cloud Infrastructure (OCI)で機械学習(ML)モデルの作成、トレーニングおよび管理に使用できる、完全に管理されたサーバーレス・プラットフォームです。Oracle Autonomous Data Warehouse、Oracle Cloud Infrastructure Object Storageなどの他のOCIサービスと簡単に統合できます。エンタープライズ・トラステッド・データを迅速に機能させることで、ビジネスの柔軟性を高める高品質の機械学習モデルを構築および評価し、MLモデルの導入が容易なデータ主導のビジネス目標をサポートできます。データ・サイエンスにより、データ・サイエンティストと機械学習エンジニアはAnacondaリポジトリのパッケージを無料で利用できます。
- オブジェクト・ストレージ
OCIオブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージやビデオなどのリッチ・コンテンツなど、あらゆるコンテンツ・タイプの構造化データおよび非構造化データにアクセスできます。インターネットまたはクラウド・プラットフォーム内から直接、データを安全かつセキュアに格納できます。パフォーマンスやサービスの信頼性を低下させることなく、ストレージを拡張できます。
迅速、即時、頻繁にアクセスする必要があるホット・ストレージには、標準ストレージを使用します。長期間保持し、ほとんどまたはほとんどアクセスしないコールド・ストレージには、アーカイブ・ストレージを使用します。