載入
您會瞭解三個架構和中介儲存選項,將 Oracle Cloud ERP 資料載入 Snowflake。
使用低程式碼將資料載入雪花
此架構使用 OCI GoldenGate 和 Oracle Data Transforms 作為主要資料整合工具。如果您已經使用這些工具,而且在 OCI 上至少有一個執行中的 Oracle 資料庫可作為 Snowflake 暫存,請使用此選項。
migration-fa-snowflake-goldengate-data-int-oracle.zip
此選項使用 Oracle Data Transforms 和 OCI GoldenGate 作為主要擷取和複製工具。資料會先載入至 Oracle 資料庫暫存區,再載入至 Snowflake。GoldenGate-Snowflake 連線器具有不同的組態選項。此架構使用預設組態。資料會每 30 秒重新整理一次目標。在來源上是即時的,但在目標上是近乎即時的。
依照 OCI GoldenGate Data Transforms 從 Oracle Fusion ERP 擷取資料部落格設定 Oracle Data Transforms 以從 Oracle Cloud ERP 擷取資料。在 OCI GoldenGate 上,您需要建立兩個部署。Oracle 技術的第一項是針對 Oracle Data Transforms 建立的表格清單設定擷取的 Oracle 技術。第二個部署適用於包含 Snowflake 的大數據技術。
請檢閱此部落格,以使用 OCI GoldenGate 進行 Snowflake 初始載入和即時資料同步,為 Snowflake 設定部署和擷取和複製流程。
此架構支援下列元件:
- Oracle Autonomous Data Warehouse
Oracle Autonomous Data Warehouse 是一項自主驅動、自主防護、自主修復的資料庫服務,已針對資料倉儲工作負載進行最佳化。您不需要設定或管理任何硬體,或安裝任何軟體。OCI 會處理資料庫的建立、備份、修正、升級及調整。
- OCI Object Storage
OCI Object Storage 可讓您存取任何內容類型的大量結構化和非結構化資料,包括資料庫備份、分析資料,以及豐富的內容 (例如影像和影片)。您可以直接從應用程式或雲端平台內安全地儲存資料。您可以擴展儲存,而不會發生任何效能或服務可靠性的降低情況。
針對您需要快速、立即和經常存取的「熱」儲存,使用標準儲存。針對長時間保留且極少或極少存取的「冷」儲存,使用封存儲存。
- Oracle Data Transforms
Oracle Data Transforms 可讓您以資料載入、資料流程和工作流程的形式設計圖形資料轉換,而不需要撰寫任何程式碼。資料載入提供將資料載入 Oracle Autonomous Database 的便利方式。資料流程定義資料在不同系統之間的移動與轉換方式,工作流程則定義資料流程的執行順序。
- OCI GoldenGate
Oracle Cloud Infrastructure GoldenGate 是一項託管服務,提供即時資料網格平台、複寫以保持資料高可用性,以及即時分析。您可以設計、執行及監控資料複製和資料串流解決方案,無須配置或管理運算環境。
使用 Spark 將資料載入 Snowflake
此架構使用 Spark ( 資料流程 ) 從 OCI Object Storage 讀取資料,接著使用 Snowflake Python API 將資料載入 Snowflake。
設定 BICC 工作之後,ZIP 檔案會進入 OCI Object Storage 。此參考架構使用兩個不同的工具。用於開發和測試的資料科學。以 Data Flow 作為 Spark 工具來執行程式碼,並將資料從 OCI Object Storage 載入 Snowflake。火花會使用可從 Snowflake 文件下載的 JDBC 驅動程式。
migrate-fa-snowflake-spark-object-storage-oracle.zip
此架構支援下列元件:
- 資料科學
Oracle Cloud Infrastructure Data Science 是一個完全受管理的無伺服器平台,資料科學團隊可用來在 OCI 上建置、訓練和管理機器學習 (ML) 模型。它可以輕鬆與其他 OCI 服務 (例如 Oracle Autonomous Data Warehouse 、Oracle Cloud Infrastructure Object Storage 等) 整合。您可以建立和評估高品質的機器學習模型,透過將企業信任的資料快速運作來提高業務彈性,並藉由更輕鬆地部署 ML 模型來支援資料導向的業務目標。資料科學可讓資料科學家和機器學習工程師免費使用 Anaconda 儲存區域中的套裝程式。
- OCI Object Storage
OCI Object Storage 可讓您存取任何內容類型的大量結構化和非結構化資料,包括資料庫備份、分析資料,以及豐富的內容 (例如影像和影片)。您可以直接從應用程式或雲端平台內安全地儲存資料。您可以擴展儲存,而不會發生任何效能或服務可靠性的降低情況。
針對您需要快速、立即和經常存取的「熱」儲存,使用標準儲存。針對長時間保留且極少或極少存取的「冷」儲存,使用封存儲存。
- OCI 資料流
Oracle Cloud Infrastructure Data Flow 是一項完全託管的 Apache Spark 服務,可在極大型資料集上執行處理工作,無須部署或管理基礎架構。資料流程是一個視覺程式,代表從來源資料資產 (例如資料庫或純文字檔) 到目標資料資產 (例如資料湖或資料倉儲) 的資料流程。當您建立、檢視或編輯資料流程時,會開啟 OCI Data Integration 直觀式 UI 設計工具。
將資料載入雲端儲存並複製到 Snowflake
此架構使用各種雲端儲存 API 搭配 Python,將資料從 OCI Object Storage 複製到其他雲端提供者 (例如 AWS S3、Google Cloud Storage 或 Azure Blob 儲存)。
您必須先為組織安裝並設定相關的雲端儲存:
- 將資料載入 Amazon S3 並複製到 Snowflake:
處理作業會從 OCI Object Storage 讀取 ZIP 檔案,並擷取目標 Amazon S3 中的內容。複製檔案之後,您可以使用
COPY INTOSnowflake 指令將資料載入至表格。 - 將資料載入 Google Cloud Storage 並複製到 Snowflake:
此程序會從 OCI Object Storage 讀取 ZIP 檔案,並擷取目標 Google Cloud 中的內容。複製檔案之後,您可以使用
COPY INTOSnowflake 指令將資料載入至表格。 - 將資料載入 Azure Blob 儲存體並複製到 Snowflake:用於 Snowflake 儲存體整合的 Azure 容器組態。處理作業會從 OCI Object Storage 讀取 ZIP 檔案,並擷取目標 Azure Blob 儲存體中的內容。複製檔案之後,您可以使用
COPY INTOSnowflake 指令將資料載入至表格。
migrate-fa-snowflake-third-party-storage-oracle.zip
此架構支援下列元件:
- 資料科學
Oracle Cloud Infrastructure Data Science 是一個完全受管理的無伺服器平台,資料科學團隊可用來在 OCI 上建置、訓練和管理機器學習 (ML) 模型。它可以輕鬆與其他 OCI 服務 (例如 Oracle Autonomous Data Warehouse 、Oracle Cloud Infrastructure Object Storage 等) 整合。您可以建立和評估高品質的機器學習模型,透過將企業信任的資料快速運作來提高業務彈性,並藉由更輕鬆地部署 ML 模型來支援資料導向的業務目標。資料科學可讓資料科學家和機器學習工程師免費使用 Anaconda 儲存區域中的套裝程式。
- OCI Object Storage
OCI Object Storage 可讓您存取任何內容類型的大量結構化和非結構化資料,包括資料庫備份、分析資料,以及豐富的內容 (例如影像和影片)。您可以直接從應用程式或雲端平台內安全地儲存資料。您可以擴展儲存,而不會發生任何效能或服務可靠性的降低情況。
針對您需要快速、立即和經常存取的「熱」儲存,使用標準儲存。針對長時間保留且極少或極少存取的「冷」儲存,使用封存儲存。


