載入
您會瞭解三個架構和中介儲存選項,將 Oracle Cloud ERP 資料載入 Snowflake。
使用低程式碼將資料載入雪花
此架構使用 OCI GoldenGate 和 Oracle Data Transforms 作為主要資料整合工具。如果您已經使用這些工具,且至少有一個在 OCI 上執行的 Oracle Database 可作為 Snowflake 暫存使用,請使用此選項。
migration-fa-snowflake-goldengate-data-int-oracle.zip
此選項使用 Oracle Data Transforms 和 OCI GoldenGate 作為主要擷取和複製工具。資料會先載入 Oracle Database 暫存區,然後載入 Snowflake。GoldenGate-Snowflake 連線器有不同的組態選項。此架構使用預設組態。每 30 秒會重新整理目標上的資料一次。即時在來源上,但接近目標的即時性。
依照 OCI GoldenGate Data Transforms 從 Oracle Fusion ERP 擷取資料部落格設定 Oracle Data Transforms 以從 Oracle Cloud ERP 擷取資料。在 OCI GoldenGate 上,您需要建立兩個部署。Oracle 技術的第一項是針對 Oracle Data Transforms 建立的表格清單設定擷取的 Oracle 技術。第二個部署適用於包含 Snowflake 的大數據技術。
請檢閱此部落格,以使用 OCI GoldenGate 進行 Snowflake 初始載入和即時資料同步,為 Snowflake 設定部署和擷取和複製流程。
此架構支援下列元件:
- 自治式資料倉儲
Oracle Autonomous Data Warehouse 是一項自我驅動、自我保護、自我修復的資料庫服務,已針對資料倉儲工作負載進行最佳化。您不需要設定或管理任何硬體,也不需要安裝任何軟體。Oracle Cloud Infrastructure 可處理資料庫的建立、備份、修補、升級和調校。
- 物件儲存
OCI Object Storage 可讓您存取任何內容類型的大量結構化和非結構化資料,包括資料庫備份、分析資料,以及影像和影片等豐富內容。您可以直接從網際網路或雲端平台內安全地儲存資料。您可以擴展儲存體,而不會發生任何效能或服務可靠性的降低問題。
針對您需要快速、立即和經常存取的「熱」儲存,使用標準儲存。針對長時間保留且極少或極少存取的「冷」儲存,使用封存儲存。
- Oracle Data Transforms
Oracle Data Transforms 可讓您以資料載入、資料流程和工作流程的形式設計圖形資料轉換,而不需要撰寫任何程式碼。資料載入提供將資料載入 Oracle Autonomous Database 的便利方式。資料流程定義資料在不同系統之間的移動與轉換方式,工作流程則定義資料流程的執行順序。
- OCI GoldenGate
Oracle Cloud Infrastructure GoldenGate 是一項託管服務,提供即時資料網格平台、複寫以保持資料高可用性,以及即時分析。您可以設計、執行及監控資料複製和資料串流解決方案,無須配置或管理運算環境。
使用 Spark 將資料載入 Snowflake
此架構使用 Spark ( 資料流程 ) 從 OCI Object Storage 讀取資料,接著使用 Snowflake Python API 將資料載入 Snowflake。
設定 BICC 工作之後,ZIP 檔案會進入 OCI Object Storage 。此參考架構使用兩個不同的工具。用於開發和測試的資料科學。以 Data Flow 作為 Spark 工具來執行程式碼,並將資料從 OCI Object Storage 載入 Snowflake。火花會使用可從 Snowflake 文件下載的 JDBC 驅動程式。
migrate-fa-snowflake-spark-object-storage-oracle.zip
此架構支援下列元件:
- 資料科學
Oracle Cloud Infrastructure Data Science 是一個完全受管理的無伺服器平台,資料科學團隊可用來在 Oracle Cloud Infrastructure (OCI) 上建置、訓練和管理機器學習 (ML) 模型。它可以輕鬆與其他 OCI 服務 (例如 Oracle Autonomous Data Warehouse 、Oracle Cloud Infrastructure Object Storage 等) 整合。您可以建立和評估高品質機器學習模型,透過讓企業信任的資料快速運作來提高業務彈性,也可以透過更輕鬆地部署 ML 模型來支援資料導向的業務目標。資料科學可讓資料科學家和機器學習工程師免費使用 Anaconda 儲存區域中的套裝程式。
- 物件儲存
OCI Object Storage 可讓您存取任何內容類型的大量結構化和非結構化資料,包括資料庫備份、分析資料,以及影像和影片等豐富內容。您可以直接從網際網路或雲端平台內安全地儲存資料。您可以擴展儲存體,而不會發生任何效能或服務可靠性的降低問題。
針對您需要快速、立即和經常存取的「熱」儲存,使用標準儲存。針對長時間保留且極少或極少存取的「冷」儲存,使用封存儲存。
- 資料流程
資料流程是一種完全管理的 Apache Spark 服務,可對超大型資料集執行處理作業,完全不需部署或管理基礎架構。資料流程是一個視覺化程式,代表從來源資料資產 (例如資料庫或純文字檔) 到目標資料資產 (例如資料湖或資料倉儲) 的資料流程。OCI Data Integration 直觀式 UI 設計工具會在您建立、檢視或編輯資料流程時開啟。
將資料載入雲端儲存並複製到 Snowflake
此架構使用各種雲端儲存 API 搭配 Python,將資料從 OCI Object Storage 複製到其他雲端提供者 (例如 AWS S3、Google Cloud Storage 或 Azure Blob 儲存)。
您必須先為組織安裝並設定相關的雲端儲存:
- 將資料載入 Amazon S3 並複製到 Snowflake: 處理作業會從 OCI Object Storage 讀取 ZIP 檔案,並擷取目標 Amazon S3 中的內容。複製檔案之後,您可以使用
COPY INTO
Snowflake 指令將資料載入至表格。 - 將資料載入 Google Cloud Storage 並複製到 Snowflake: 此程序會從 OCI Object Storage 讀取 ZIP 檔案,並擷取目標 Google Cloud 中的內容。複製檔案之後,您可以使用
COPY INTO
Snowflake 指令將資料載入至表格。 - 將資料載入 Azure Blob 儲存體並複製到 Snowflake:用於 Snowflake 儲存體整合的 Azure 容器組態。處理作業會從 OCI Object Storage 讀取 ZIP 檔案,並擷取目標 Azure Blob 儲存體中的內容。複製檔案之後,您可以使用
COPY INTO
Snowflake 指令將資料載入至表格。
migrate-fa-snowflake-third-party-storage-oracle.zip
此架構支援下列元件:
- 資料科學
Oracle Cloud Infrastructure Data Science 是一個完全受管理的無伺服器平台,資料科學團隊可用來在 Oracle Cloud Infrastructure (OCI) 上建置、訓練和管理機器學習 (ML) 模型。它可以輕鬆與其他 OCI 服務 (例如 Oracle Autonomous Data Warehouse 、Oracle Cloud Infrastructure Object Storage 等) 整合。您可以建立和評估高品質機器學習模型,透過讓企業信任的資料快速運作來提高業務彈性,也可以透過更輕鬆地部署 ML 模型來支援資料導向的業務目標。資料科學可讓資料科學家和機器學習工程師免費使用 Anaconda 儲存區域中的套裝程式。
- 物件儲存
OCI Object Storage 可讓您存取任何內容類型的大量結構化和非結構化資料,包括資料庫備份、分析資料,以及影像和影片等豐富內容。您可以直接從網際網路或雲端平台內安全地儲存資料。您可以擴展儲存體,而不會發生任何效能或服務可靠性的降低問題。
針對您需要快速、立即和經常存取的「熱」儲存,使用標準儲存。針對長時間保留且極少或極少存取的「冷」儲存,使用封存儲存。