附註:
- 此教學課程需要存取 Oracle Cloud。若要註冊免費帳戶,請參閱 Oracle Cloud Infrastructure Free Tier 入門。
- 它使用 Oracle Cloud Infrastructure 證明資料、租用戶及區間的範例值。完成實驗室時,請將這些值取代為您雲端環境特定的值。
使用移轉工具將資料搬移至 OCI 雲端儲存服務
簡介
這是四個教學課程系列中的教學課程 1,示範將資料移轉至 Oracle Cloud Infrastructure (OCI) 雲端儲存服務的各種方式。設定此系列後,您就可以檢閱這份第一份教學課程,深入瞭解各種工具,然後繼續學習與移轉需求相關的教學課程或文件。
OCI 為客戶提供高效能運算和低成本雲端儲存選項。Oracle 透過按需本機、物件、檔案、區塊和封存儲存,滿足關鍵儲存工作負載需求和使用案例。
OCI 雲端儲存服務可針對您的所有企業需求,提供快速、安全且持久的雲端儲存選項。從具有 Lustre 和 OCI Block Volumes 服務的 OCI File Storage 等高效能選項開始;從具有高效能掛接目標的 OCI File Storage 服務,可完全受管理的 EB 規模檔案系統;到高持久且可擴展的 OCI Object Storage。我們的解決方案可以滿足您的需求,範圍從 AI/ML 工作負載等效能密集型應用程式,到 EB 級資料湖。
許多客戶發現需要從內部部署、其他提供者或在 OCI 雲端儲存服務之間,將資料傳輸到 OCI 雲端儲存服務。根據來源、目的地和資料傳輸方向,完成移轉的最佳方法可能會有所不同。在 OCI 中識別資料來源和目的地的基本知識之後,您必須決定移轉路徑和需要使用的工具。讓我們的實作體驗引導您邁向正確的移轉工具及使用方式。本教學課程 1 系列介紹各種工具,以及最適合移轉流程的位置。
判斷需要移轉的資料量,以及可切換至新 OCI 儲存平台的停機時間。批次移轉是將移轉細分為可管理增量的好選擇。批次移轉可讓您排定不同時段間特定應用程式的停機時間。有些客戶可以靈活地在 2-4 天內透過排定的維護時段進行一次性移轉。OCI FastConnect 可用於建立 OCI 與您環境之間的專用專用連線,連接埠速度從 1G 加速至 400G,以加速資料傳輸處理作業。OCI FastConnect 可以與合作夥伴解決方案 (例如 Megaport 和 ConsoleConnect) 整合,以建立與資料中心或雲端至雲端相互連線的專用連線,將資料直接從其他雲端廠商移轉至 OCI 雲端儲存服務。如需詳細資訊,請參閱 FastConnect 與 Megaport Cloud Router 整合。
適用對象
DevOps 工程師、開發人員、OCI 雲端儲存管理員和使用者、IT 管理員、OCI 超級使用者和應用程式管理員。
目標
瞭解如何使用各種工具將資料複製及同步至 OCI 雲端儲存服務:
-
識別一般移轉工具。
-
瞭解將檔案系統資料 (本機、NAS、雲端代管) 移轉至 OCI 雲端儲存服務的各種工具。
-
瞭解最適合各種使用案例的工具。
必要條件
-
瞭解資料移轉集、整體大小以及檔案或物件的外觀 (少許大型檔案、許多小型檔案等等)。
-
在 OCI 雲端儲存服務 (物件儲存、檔案儲存或區塊磁碟區) 中,儲存體應落地。
-
您的時間軸,如果您要執行大量或增量 (批次) 移轉。
移轉工具
我們的客戶體驗和測試可協助引導您找出最適合您情境的移轉工具。建議您對範例資料集進行概念驗證與測試,以驗證資料集的最佳移轉方法。我們將探索可用於將資料從內部部署和其他雲端提供者移轉至 OCI 或 OCI 雲端儲存服務的一般移轉工具。測試結果會從範例資料集共用,因此您可以推斷工具在資料集上的執行方式。
-
Rclone : Rclone 是開放原始碼的命令行公用程式,可將資料移轉至雲端,或移轉至雲端儲存體廠商之間。Rclone 可以用來進行一次性移轉,也可以在來源儲存與目的地儲存之間定期同步。Rclone 可以將資料遷移到物件儲存、檔案儲存、掛載的磁碟機,以及 70 種支援的儲存類型之間。原生支援 OCI Object Storage 作為 Rclone 後端提供者。您可以將 Rclone 處理作業縱向擴展並橫向擴展,以使用參數選項提升傳輸效能。Rclone 具有複製和同步等選項,可分別傳輸一次性和定期的資料。如需詳細資訊,請參閱安裝 Rclone 。
-
Resilio Active Anywhere : Resilio 是第三方服務人員型資料傳輸應用軟體。它具有豐富圖形的使用者介面 (GUI),可對傳輸工作提供絕佳的控制權,並將效能指標視覺化。此軟體可在 Oracle Cloud Marketplace 中取得,並從 Resilio 授權進行安裝。Resilio 可以在一對多、多對一或多對多網格中,以任何方向同步固定時間範圍中的檔案,讓資料集可以全域存在。
-
開放原始碼 Linux 同步公用程式: rsync 和 fpsync。
-
重新同步:在來源與目的地路徑之間執行一次性複製或定期同步的通用 Unix 型工具。
-
Fpsync:執行平行同步的開放原始碼工具。它在下方使用 rsync、tar 或 rclone,並在頂端執行平行包裝函式。您可以選擇 rsync、tar 或 rclone 其中一個作為基礎同步工具。
-
-
使用檔案儲存平行工具: OCI File Storage 提供平行工具套件,可與檔案系統搭配最佳運作。Linux 開發人員儲存區域提供此功能,而且可以直接從 yum 儲存區域安裝。套裝軟體包含三種 parcp、parter 及 param 工具,分別等同於標準 Linux 公用程式 cp、tar 和 rm。
-
OCI 命令行介面物件儲存同步: OCI 物件儲存同步 (os sync) 是 OCI 命令行介面 (CLI) 的一部分,可將檔案系統目錄與儲存桶中的物件同步。此命令會周遊子目錄,將新的和修改過的檔案或物件從來源複製到目標,並選擇性地刪除來源中不存在的檔案。它可以執行多達 1,00 個平行作業,這取決於主機機器資源。
-
OCI Object Storage 大量複製 Python API :以下連結是使用 OCI python API 大量複製指令碼的範例。此 API 可用於撰寫指令碼,例如使用平行執行緒將物件從一個儲存桶複製到另一個儲存桶的範例指令碼。如需有關使用範例指令碼的詳細資訊,請參閱使用 Oracle Cloud Infrastructure Object Storage Python Utilities for Bulk Operations 。
-
S3 相容工具 (s5cmd) :s5cmd 是一種開放原始碼工具,可用來將本機檔案系統和 NAS 儲存 (內部部署和 OCI) 移轉或同步至 OCI 物件儲存。它也可用來將資料儲存桶移轉至相同區域內的儲存桶。
工作的正確工具
進行移轉時,有許多工具可供選擇,而且可以一次研究這些工具。最佳移轉工具會根據起始點、目的地、移轉方向、使用者體驗及使用者環境而有所不同。
下表提供常見的移轉案例建議,包括移轉內部部署資料、將資料從另一個雲端廠商移轉至 OCI、將 OCI 雲端儲存資料從一個區域複製到另一個區域、將區域內的 OCI 雲端儲存資料複製,以及將 OCI File Storage 資料複製到 OCI Object Storage。
資料移轉來源 | 移轉資料至 | 建議的工具 | 備註 | 文件 / 教學連結 Comment |
---|---|---|---|---|
內部部署 | OCI Object Storage | 1. s5cmd (小 / 混合檔) 2。OCI 物件儲存同步 (少許大型檔案) 3。Rclone (混合) |
使用最適合您資料結構的工具,讓您感到自在使用。FastConnect 應經過複查以改善傳輸時間。 | S5cmd 和 Object Storage Sync 教學課程、 Rclone 教學課程 |
其他雲端廠商物件或 Blob 儲存體 | OCI Object Storage | Rclone | Rclone 是對超過 70 家不同雲端供應商的最相容支援。 | Rclone 教學課程 |
OCI Object Storage | 其他區域中的 OCI 物件儲存 | 1. 物件複製 2。OCI Object Storage 大量複製 Python API 3。Rclone |
使用原生物件複寫適用於目前空白之新儲存桶的確切複本,如果您不想要覆寫目標中的資料或初始化已有物件的來源複本,請使用 OCI Object Storage Bulk Copy Python API 或 Rclone。 | 物件儲存體複寫文件、 使用 Oracle Cloud Infrastructure Object Storage Python 公用程式進行大量作業、 Rclone 教學課程 |
OCI Object Storage | 其他租用戶 (相同或不同區域) 中的 OCI 物件儲存 | 1.OCI Object Storage 大量複製 Python API 2。Rclone |
先決條件:使用跨租用戶 IAM 原則啟用跨租用戶複製。如需詳細資訊,請參閱存取跨租用戶的物件儲存資源。 | 使用 Oracle Cloud Infrastructure Object Storage Python 公用程式進行大量作業、 Rclone 教學 |
OCI 檔案儲存 | OCI Object Storage | 1. s5cmd (小 / 混合檔) 2。物件儲存同步 (少許大型檔案) 3。Rclone (混合) |
使用最適合您資料結構的工具,讓您感到自在使用。 | S5cmd 和 Object Storage Sync 教學課程、 Rclone 教學課程 |
內部部署 | OCI 檔案儲存 | fpsync (Linux) 和 CIFS + fpsync (Windows) | 確定已在來源與目的地執行處理之間建立網路連線。 | Fpsync 文件、 fpsync 教學課程 |
其他雲端廠商本機磁碟或檔案儲存 | OCI 檔案儲存 | fpsync (Linux) 和 CIFS + fpsync (Windows) | 確定已在來源與目的地執行處理之間建立網路連線。FastConnect 應經過複查以改善傳輸時間。 | Fpsync 文件、 fpsync 教學課程 |
OCI 檔案儲存 | 其他區域中的 OCI 檔案儲存 | 1. 檔案系統複製 2. fpsync 與執行處理至執行處理串流 |
如果您使用複寫,請參閱複寫的限制和考量,或者如果您使用執行處理對執行處理的串流,請確定已在來源執行處理與目的地執行處理之間建立網路連線。 | Fpsync 文件、 fpsync 教學課程、 File System Replication 文件 |
OCI 檔案儲存 | 相同可用性網域內的 OCI 檔案儲存 | 1。檔案系統複寫 2。使用檔案儲存平行工具:parcp |
如果您使用複製,請參閱複製的限制和考量,或者如果使用 parcp,請確定來源和目的地檔案系統都掛載在執行處理中。 | 檔案系統複製、 使用檔案儲存平行工具:parcp |
內部部署,其他雲端供應商 | OCI 物件儲存或 OCI 檔案儲存 | Resilio Active Anywhere 平台 | 當您需要多向同步資料、支援白手套服務和 GUI 介面時,請使用 Resilio Active Anywhere 平台。Resilio 已由 OCI 雲端儲存服務產品團隊驗證,可在 Oracle Cloud Marketplace 中取得。 | 如需有關使用平台的詳細資訊,請洽詢 Resilio 團隊。 |
備註:移轉工具系列不涵蓋 OCI Object Storage 或 OCI File System Replication、OCI Object Storage Bulk Copy Python API 及 Resilio。如需詳細資訊,請參閱 相關連結 。
接下來的步驟
繼續前往與您移轉需求相關的相關教學課程。若要將資料移至 OCI 雲端儲存服務:
-
使用 Rclone 時,請參閱教學課程 2:使用 Rclone 將資料搬移至 OCI 雲端儲存服務。
-
使用 OCI Object Storage Sync 和 S5cmd,請參閱教學課程 3:使用 OCI Object Storage Sync 和 S5cmd 將資料移至 OCI Cloud Storage Services 。
-
使用 Fpsync 和 Rsync 進行檔案系統資料移轉,請參閱教學課程 4:使用 Fpsync 和 Rsync for File System Data Migrations 將資料移至 OCI Cloud Storage Services 。
相關連結
認可
-
作者 - Vinoth Krishnamurthy (OCI File Storage 技術人員主要成員)、Melinda Centeno (OCI Object Storage 資深首席產品經理)
-
提供者 - Aboo Valappil (OCI File and Block Storage 技術人員諮詢成員)、Ashutosh Mate (OCI Object Storage 資深首席產品經理)
其他學習資源
探索 docs.oracle.com/learn 上的其他實驗室,或存取 Oracle Learning YouTube 頻道上的更多免費學習內容。此外,請造訪 education.oracle.com/learning-explorer 以成為 Oracle Learning Explorer。
如需產品文件,請造訪 Oracle Help Center 。
Use Migration Tools to Move Data into OCI Cloud Storage Services
G25560-01
January 2025
Copyright ©2025, Oracle and/or its affiliates.