使用迁移工具将数据迁移到 OCI 云存储服务

简介

这是四个教程系列的教程 1，其中介绍了将数据迁移到 Oracle Cloud Infrastructure (OCI) 云存储服务的各种方法。该系列已设置，因此您可以查看本第一教程，以广泛了解各种工具，然后转到与您的迁移需求相关的相关教程或文档。

OCI 为客户提供高性能计算和低成本的云存储选件。通过按需本地存储、对象存储、文件存储、块存储和归档存储，Oracle 可满足关键存储负载要求和用例。

OCI 云存储服务提供快速、安全、持久的云存储选项，可满足您的所有企业需求。从高性能选件开始，例如带 Lustre 的 OCI 文件存储和 OCI 块存储卷服务；从具有高性能装载目标的 OCI 文件存储服务到具有高持久性和可扩展性的 OCI 对象存储的全托管艾字节级文件系统。我们的解决方案可以满足您的需求，从性能密集型应用（例如 AI/ML 工作负载）到超字节级数据湖。

许多客户发现需要将数据从本地、其他提供商或在 OCI 云存储服务之间传输到 OCI 云存储服务。根据数据传输的来源、目的地和数据传输方向，完成迁移的最佳方法可能会有所不同。在 OCI 中确定了数据源和目标的基本知识后，您必须确定迁移路径以及需要使用哪些工具。让我们的实践经验指导您使用正确的迁移工具以及如何使用它。本系列教程 1 将向您介绍各种工具以及它们最适合迁移过程的位置。

确定需要迁移的数据量，以及切换到新 OCI 存储平台的停机时间。批量迁移是将迁移细分为可管理增量的一个不错选择。通过批量迁移，您可以跨不同窗口为特定应用程序安排停机时间。一些客户可以在 2-4 天内灵活地在安排的维护窗口中执行一次性迁移。OCI FastConnect 可用于在 OCI 与您的环境之间创建专用连接，端口速度从 1G 到 400G，从而加快数据传输过程。OCI FastConnect 可与 Megaport 和 ConsoleConnect 等合作伙伴解决方案集成，以创建与数据中心或云到云互连的专用连接，从而更直接地将数据从其他云供应商迁移到 OCI 云存储服务。有关详细信息，请参阅 FastConnect 与 Megaport Cloud Router 的集成。

目标读者

DevOps 工程师、开发人员、OCI 云存储管理员和用户、IT 管理人员、OCI 超级用户和应用管理员。

目标

了解如何使用各种工具将数据复制并同步到 OCI 云存储服务：

确定常用的迁移工具。
了解用于将文件系统数据（本地、NAS、云托管）迁移到 OCI 云存储服务的各种工具。
了解哪个工具最适合各种用例。

先决条件

了解数据迁移集、总体大小以及文件或对象的外观（很少有大型文件、许多小型文件等）。
在 OCI 云存储服务（对象存储、文件存储或块存储卷）中，存储应放置在何处。
您的时间轴以及您将执行批量或增量（批量）迁移。

移植工具

我们的客户体验和测试可以帮助指导您使用哪种迁移工具最适合您的方案。我们建议您对示例数据集进行概念验证和测试，以验证您的数据集的最佳迁移方法。我们将了解常见的迁移工具，这些工具可用于将数据从本地部署和其他云提供商迁移到 OCI 或 OCI 云存储服务。测试结果从示例数据集共享，因此您可以推断工具对数据集的性能。

Rclone ： Rclone 是一个开源命令行实用程序，用于将数据迁移到云或在云存储供应商之间迁移。Rclone 可用于在源存储和目标存储之间执行一次性迁移以及定期同步。Rclone 可以将数据迁移到对象存储、文件存储、挂载的驱动器以及 70 种支持的存储类型，也可以从这些存储类型迁移数据。OCI Object Storage 原生支持作为 Rclone 后端提供程序。可以纵向扩展和纵向扩展克隆进程，以使用参数选项提高传输性能。Rclone 具有复制和同步等选项，可分别一次性传输数据以及定期传输数据。有关更多信息，请参见 Install Rclone 。
Resilio Active Anywhere ： Resilio 是基于代理的第三方数据传输应用程序。它具有丰富的图形用户界面 (graphic user interface，GUI)，可以很好地控制传输作业并可视化显示性能度量。该软件在 Oracle Cloud Marketplace 中提供，并获得 Resilio 许可进行安装。Resilio 可以在一对多、多对一或多对多网格中以任意方向同步固定时间范围内的文件，从而实现数据集的全局存在。
开源 Linux 同步实用程序： rsync 和 fpsync。
- Rsync：基于 Unix 的通用工具，用于在源路径和目标路径之间执行一次性复制或定期同步。
- Fpsync：用于执行并行同步的开源工具。它在下面使用 rsync、tar 或 rclone，并在上面运行一个并行包装器。您可以选择 rsync、tar 或 rclone 作为底层同步工具。
使用文件存储并行工具： OCI 文件存储提供了与文件系统协同工作的并行工具包。它可用于 Linux 开发人员资料档案库，可以直接从 yum 系统信息库安装。该软件包包含三个工具，它们是 parcp、parter 和 param，它们分别与标准 Linux 实用程序 cp、tar 和 rm 相当。
OCI Command Line Interface Object Storage Sync ： OCI Object Storage Sync (os sync) 是 OCI 命令行界面 (CLI) 的一部分，用于将文件系统目录与存储桶中的对象同步。该命令遍历子目录，将新的和修改的文件或对象从源复制到目标，并可选择删除源中不存在的文件或对象。它最多可以运行 1,00 个并行操作，具体取决于主机计算机资源。
OCI 对象存储批量复制 Python API ：以下链接是使用适用于 OCI 的 python API 的批量复制脚本示例。API 可用于编写脚本，例如使用并行线程将对象从一个存储桶复制到另一个存储桶的示例脚本。有关使用示例脚本的更多信息，请参见 Use Oracle Cloud Infrastructure Object Storage Python Utilities for Bulk Operations 。
S3 兼容工具 (s5cmd) ：s5cmd 是一个开源工具，可用于将本地文件系统和 NAS 存储（内部部署和 OCI 中的）迁移到 OCI 对象存储。它还可以用于将数据存储桶迁移到同一区域内的存储桶。

适合工作的工具

在进行迁移时，有许多工具可供选择，同时研究所有这些工具可能非常困难。根据迁移的来源、目标、方向、用户体验和用户环境，最佳迁移工具将有所不同。

下表提供了常见迁移方案的建议，包括迁移内部部署数据、将数据从其他云供应商迁移到 OCI、将 OCI 云存储数据从一个区域复制到另一个区域、将 OCI 云存储数据复制到一个区域以及将 OCI 文件存储数据复制到 OCI 对象存储。

迁移数据自	将数据迁移到	建议的工具	注：	文档/教程链接
内部部署	OCI 对象存储	1. s5cmd（小/混合文件） 2。OCI 对象存储同步（少量大文件） 3。克隆（混合）	使用最适合您的数据结构的工具，使用起来很舒服。应查看 FastConnect 以缩短传输时间。	S5cmd 和对象存储同步教程、克隆教程
其他云供应商对象或 Blob 存储	OCI 对象存储	克隆	Rclone 将成为 70 多家不同云供应商最兼容的支持。	Rclone 教程
OCI 对象存储	其他区域的 OCI 对象存储	1. 对象复制 2。OCI Object Storage 批量复制 Python API 3。克隆	使用原生对象复制适用于当前为空的新存储桶的精确副本，当您不想覆盖目标中的数据或初始化已具有对象的源副本时，请使用 OCI 对象存储批量复制 Python API 或 Rclone。	Object Storage Replication 文档、使用 Oracle Cloud Infrastructure Object Storage Python Utilities for Bulk Operations 、 Rclone 教程
OCI 对象存储	其他租户（相同或不同区域）中的 OCI 对象存储	1.OCI Object Storage 批量复制 Python API 2。克隆	先决条件：使用跨租户 IAM 策略启用跨租户副本。有关更多信息，请参见 Accessing Object Storage Resources Across Tenancies 。	使用 Oracle Cloud Infrastructure Object Storage Python Utilities 实现批量操作、克隆教程
OCI 文件存储	OCI 对象存储	1. s5cmd（小/混合文件） 2。对象存储同步（几个大文件） 3。克隆（混合）	使用最适合您的数据结构的工具，使用起来很舒服。	S5cmd 和对象存储同步教程、克隆教程
内部部署	OCI 文件存储	fpsync (Linux) 和 CIFS + fpsync (Windows)	确保在源实例和目标实例之间建立网络连接。	Fpsync 文档、 fpsync 教程
其他云供应商本地磁盘或文件存储	OCI 文件存储	fpsync (Linux) 和 CIFS + fpsync (Windows)	确保在源实例和目标实例之间建立网络连接。应查看 FastConnect 以缩短传输时间。	Fpsync 文档、 fpsync 教程
OCI 文件存储	另一个区域中的 OCI 文件存储	1. 文件系统复制 2. fpsync 与实例到实例流处理	如果使用复制，请参见复制的限制和注意事项；如果使用实例到实例流，请确保在源实例和目标实例之间建立网络连接。	Fpsync 文档、 fpsync 教程、文件系统复制文档
OCI 文件存储	同一可用性域中的 OCI 文件存储	1. 文件系统复制 2。使用文件存储并行工具：parcp	如果使用复制，请参见复制的限制和注意事项或者使用 parcp，请确保在实例中同时挂载源文件系统和目标文件系统。	File System Replication（文件系统复制）、使用 File Storage Parallel Tools:parcp
本地部署，另一家云供应商	OCI 对象存储或 OCI 文件存储	Resilio Active Anywhere 平台	如果需要多路数据同步、支持白手套服务以及 GUI 界面，请使用 Resilio Active Anywhere 平台。Resilio 已经过 OCI 云存储服务产品团队的验证，可在 Oracle Cloud Marketplace 中使用。	有关使用其平台的更多信息，请联系 Resilio 团队。

注：迁移工具系列不涵盖 OCI Object Storage 或 OCI File System Replication、OCI Object Storage Bulk Copy Python API 和 Resilio。有关详细信息，请参阅相关链接。

后续步骤

转至与您的迁移需求相关的相关教程。要将数据迁移到 OCI 云存储服务，请执行以下操作：

使用 Rclone，请参见 Tutorial 2：Move Data into OCI Cloud Storage Services using Rclone 。
使用 OCI Object Storage Sync 和 S5cmd，请参阅教程 3：使用 OCI Object Storage Sync 和 S5cmd 将数据迁移到 OCI Cloud Storage Services 。
使用 Fpsync 和 Rsync 进行文件系统数据迁移，请参阅教程 4：使用 Fpsync 和 Rsync 将数据移动到 OCI Cloud Storage Services for File System Data Migrations 。

确认

Authors — Vinoth Krishnamurthy（OCI File Storage 技术人员首席成员）、Melinda Centeno（OCI Object Storage 高级首席产品经理）
贡献者 — Aboo Valappil（OCI File and Block Storage 技术人员顾问成员）、Ashutosh Mate（OCI Object Storage 高级首席产品经理）