마이그레이션 툴을 사용하여 OCI 클라우드 스토리지 서비스로 데이터 이동

소개

이 자습서 시리즈는 Oracle Cloud Infrastructure(OCI) 클라우드 스토리지 서비스로 데이터를 마이그레이션하는 다양한 방법을 보여주는 4가지 튜토리얼 시리즈 중 1번째 자습서입니다. 시리즈가 설정되므로 이 첫 번째 자습서를 검토하여 다양한 도구를 광범위하게 이해한 다음 마이그레이션 요구 사항과 관련된 관련 자습서 또는 문서로 진행할 수 있습니다.

OCI는 고객에게 고성능 컴퓨팅 및 저비용 클라우드 스토리지 옵션을 제공합니다. Oracle은 온디맨드 로컬, 객체, 파일, 블록 및 아카이브 스토리지를 통해 주요 스토리지 워크로드 요구 사항과 사용 사례를 해결합니다.

OCI 클라우드 스토리지 서비스는 기업의 모든 니즈에 맞춰 빠르고 안전하며 내구성이 뛰어난 클라우드 스토리지 옵션을 제공합니다. OCI File Storage with Lustre 및 OCI Block Volumes 서비스, 고성능 마운트 대상을 갖춘 OCI File Storage 서비스의 완전 관리형 엑사바이트 규모 파일 시스템, 내구성과 확장성이 뛰어난 OCI Object Storage와 같은 고성능 옵션부터 시작합니다. Oracle의 솔루션은 AI/ML 워크로드와 같은 성능 집약적 애플리케이션에서부터 엑사바이트 규모의 데이터 레이크에 이르기까지 고객의 요구를 충족할 수 있습니다.

대부분의 고객은 온프레미스, 다른 제공업체 또는 OCI 클라우드 스토리지 서비스 간에 데이터를 OCI 클라우드 스토리지 서비스로 전송해야 합니다. 원본, 대상 및 데이터 전송 방향에 따라 마이그레이션을 수행하는 가장 좋은 방법은 다를 수 있습니다. OCI에서 데이터 소스 및 대상의 기본 사항을 확인한 후에는 마이그레이션 경로와 사용할 도구를 결정해야 합니다. 오라클의 실습 경험을 통해 올바른 마이그레이션 도구 및 사용 방법을 안내합니다. 이 자습서 1은 다양한 도구와 마이그레이션 프로세스에 가장 적합한 위치를 소개합니다.

마이그레이션해야 하는 데이터의 양과 새로운 OCI 스토리지 플랫폼으로 컷오버하는 데 사용할 수 있는 다운타임을 결정합니다. 일괄 마이그레이션은 마이그레이션을 관리 가능한 증분으로 분석하는 좋은 선택입니다. 일괄 마이그레이션을 사용하면 여러 창에서 특정 애플리케이션의 작동 중지 시간을 예약할 수 있습니다. 일부 고객은 일정이 잡힌 유지보수 기간 동안 2-4일 동안 일회성 마이그레이션을 유연하게 수행할 수 있습니다. OCI FastConnect는 OCI와 사용자 환경 간의 전용 프라이빗 연결을 생성하는 데 사용할 수 있으며, 1G에서 400G까지의 포트 속도를 통해 데이터 전송 프로세스의 속도를 높일 수 있습니다. OCI FastConnect는 Megaport 및 ConsoleConnect와 같은 파트너 솔루션과 통합되어 데이터 센터 또는 클라우드 간 상호 연결에 대한 프라이빗 연결을 생성하여 다른 클라우드 공급업체에서 OCI 클라우드 스토리지 서비스로 데이터를 더 직접 이동할 수 있습니다. 자세한 내용은 Megaport Cloud Router와 FastConnect 통합을 참조하십시오.

대상

DevOps 엔지니어, 개발자, OCI 클라우드 스토리지 관리자 및 사용자, IT 관리자, OCI 고급 사용자 및 애플리케이션 관리자.

목표

다양한 도구를 사용하여 데이터를 복사하고 OCI 클라우드 스토리지 서비스로 동기화하는 방법을 알아봅니다.

필수 조건

마이그레이션 툴

Oracle의 고객 경험과 테스트는 귀사의 시나리오에 가장 적합한 마이그레이션 툴을 안내합니다. 샘플 데이터 세트에 대한 개념 증명 및 테스트를 수행하여 데이터 세트에 가장 적합한 마이그레이션 방법을 확인하는 것이 좋습니다. 온프레미스 및 기타 클라우드 제공업체에서 OCI 또는 OCI 클라우드 스토리지 서비스로 데이터를 마이그레이션하는 데 사용할 수 있는 일반적인 마이그레이션 툴을 살펴봅니다. 테스트 결과는 샘플 데이터 세트에서 공유되므로 데이터 세트에서 도구가 수행할 수 있는 방법을 추정할 수 있습니다.

작업에 적합한 도구

마이그레이션을 수행할 때 선택할 수 있는 여러 가지 도구가 있으며, 한 번에 모두 조사하는 것이 압도적일 수 있습니다. 마이그레이션의 시작, 목적지, 방향, 사용자 경험 및 사용자 환경에 따라 최상의 마이그레이션 툴이 달라집니다.

다음 표는 온프레미스 데이터 마이그레이션, 다른 클라우드 공급업체의 데이터 마이그레이션, 한 리전에서 다른 리전으로 OCI 클라우드 스토리지 데이터 복사, 한 리전 내에서 OCI 클라우드 스토리지 데이터 복사, OCI File Storage 데이터를 OCI Object Storage로 복사 등 일반적인 마이그레이션 시나리오에 대한 권장 사항을 제공합니다.

데이터 이전 출처 데이터 이전 대상 권장 도구 참고 설명서/자습서 링크
온프레미스 파일 시스템 OCI 오브젝트 스토리지 1. s5cmd (작은/혼합 파일)
2. OCI Object Storage Sync(큰 파일은 거의 없음)
3. Rclone(혼합)
4. 어디서나 활성화된 탄력성		 데이터 구조에 가장 적합한 도구를 사용하고 사용하기 편합니다. 전송 시간을 향상시키려면 FastConnect을(를) 검토해야 합니다. S5cmd 및 Object Storage Sync 자습서,
Rclone 자습서,
Resilio Active Anywhere
다른 클라우드 공급업체 객체 또는 Blob 스토리지 OCI 오브젝트 스토리지 1. IO를 유연화
2. 복제		 S3 호환 공급업체 및 지원되는 GUI 인터페이스가 필요한 경우 Flexify IO를 사용합니다.
다양한 설정과 70개 이상의 서로 다른 클라우드 벤더(S3 호환 및 S3 호환되지 않는 객체 스토리지)를 지원하는 가장 호환되는 설정을 실험하고 토글할 때 Rclone을 사용합니다.		 클라우드 간 IO 마이그레이션을 유연화, 복제 자습서
OCI 오브젝트 스토리지 다른 지역의 OCI Object Storage 1. 객체 복제
2. OCI Object Storage 대량 복사 Python API
3. IO를 유연화
4. 복제		 네이티브 오브젝트 복제는 현재 비어 있는 새 버킷의 정확한 복제에 적합합니다. OCI Object Storage Bulk Copy Python API, Flexify IO 또는 Rclone을 사용하여 이미 오브젝트가 있거나 대상에서 오브젝트를 보존하려는 소스 버킷의 복사본을 초기화합니다. 오브젝트 스토리지 복제 설명서,
대량 작업에 Oracle Cloud Infrastructure Object Storage Python 유틸리티 사용,
IO 유연화,
Rclone 자습서
OCI 오브젝트 스토리지 다른 테넌시의 OCI Object Storage(동일한 지역 또는 다른 지역) 1. OCI Object Storage 대량 복사 Python API
2. IO를 유연화
3. 복제		 OCI Object Storage 대량 복사 Python API의 필요 조건: 교차 테넌시 IAM 정책을 사용하여 교차 테넌시 복사본을 사용으로 설정합니다. 자세한 내용은 테넌시 전체에서 오브젝트 스토리지 리소스 액세스를 참조하십시오. 대량 운영을 위한 Oracle Cloud Infrastructure Object Storage Python 유틸리티 사용,
IO 유연화,
자습서 복제
OCI File Storage OCI 오브젝트 스토리지 1. s5cmd (작은/혼합 파일)
2. 오브젝트 스토리지 동기화(큰 파일은 거의 없음)
3. Rclone(혼합)
4. 어디서나 활성화된 탄력성		 데이터 구조에 가장 적합한 도구를 사용하고 사용하기 편합니다. S5cmd 및 Object Storage Sync 자습서,
Rclone 자습서,
Resilio Active Anywhere
온프레미스 파일 시스템 OCI File Storage 1. fpsync(Linux) 및 CIFS + fpsync(Windows)
2. 어디서나 활성화된 탄력성		 소스 인스턴스와 대상 인스턴스 간에 네트워크 접속이 설정되었는지 확인합니다. Fpsync 설명서,
fpsync 자습서,
Resilio Active Anywhere
다른 클라우드 공급업체의 로컬 디스크 또는 파일 스토리지 OCI File Storage 1. fpsync(Linux) 및 CIFS + fpsync(Windows)
2. 어디서나 활성화된 탄력성		 소스 인스턴스와 대상 인스턴스 간에 네트워크 접속이 설정되었는지 확인합니다. 전송 시간을 향상시키려면 FastConnect을(를) 검토해야 합니다. Fpsync 설명서,
fpsync 자습서,
Resilio Active Anywhere
OCI File Storage 다른 지역의 OCI File Storage 1. 파일 시스템 복제
2. 인스턴스 간 스트리밍을 사용하는 fpsync
3. 어디서나 활성화된 탄력성		 복제를 사용하는 경우 복제의 제한 사항 및 고려 사항을 참조하거나 인스턴스 간 스트리밍을 사용하는 경우 소스 인스턴스와 대상 인스턴스 간에 네트워크 연결이 설정되었는지 확인합니다. Fpsync 설명서,
fpsync 자습서,
파일 시스템 복제 설명서,
Resilio Active Anywhere
OCI File Storage 동일한 가용성 도메인 내의 OCI File Storage 1. 파일 시스템 복제
2 파일 스토리지 병렬 도구 사용: parcp
3. 어디서나 활성화된 탄력성		 복제를 사용하는 경우 복제의 제한 사항 및 고려 사항을 참조하거나 parcp를 사용하는 경우 소스 및 대상 파일 시스템이 모두 인스턴스에 마운트되었는지 확인합니다. 파일 시스템 복제,
파일 스토리지 병렬 도구 사용: parcp,
Resilio Active Anywhere
온프레미스, 다른 클라우드 공급업체 OCI Object Storage 또는 OCI File Storage Resilio Active Anywhere 플랫폼 데이터 다방향 동기화, 지원이 포함된 화이트 글러브 서비스 및 GUI 인터페이스가 필요한 경우 Resilio Active Anywhere 플랫폼을 사용합니다. 리실리오는 OCI 클라우드 스토리지 서비스 제품 팀에서 확인했으며 Oracle Cloud Marketplace에서 확인할 수 있습니다. 플랫폼 사용에 대한 자세한 내용은 Resilio 팀에 문의하십시오.

참고: 마이그레이션 툴 시리즈에는 OCI Object Storage 또는 OCI File System Replication, OCI Object Storage Bulk Copy Python API, Flexify 및 Resilio가 포함되지 않습니다. 자세한 내용은 관련 링크를 참조하십시오.

다음 단계

이전 요구 사항과 관련된 관련 자습서로 이동합니다. 데이터를 OCI 클라우드 스토리지 서비스로 이동하려면 다음을 수행합니다.

(선택 사항) 테스트 환경

권장사항은 테스트 및 고객 상호작용을 기반으로 합니다.

테스트 환경 1:

VM 인스턴스 1개 VM.Standard.E4.Flex, OCPU 1개, 1Gbps 네트워크 대역폭, 16GB 메모리. 온프레미스에서 OCI로의 마이그레이션을 시뮬레이션하기 위해 PHX NFS에서 IAD로 데이터를 복사했습니다.

데이터 집합

총 데이터 세트 크기: 3TB, 파일 3개, 각 파일 1TB.

방법 종료-시작 시간 명령 플래그
os 동기화 객체 IAD에 대한 NFS/File PHX 123m17.102s NA --parallel-operations-count 100
s5cmd 객체 IAD에 대한 NFS/File PHX 239m20.625s 복사 run commands.txt, 기본 실행 --numworkers 256
복제 객체 IAD에 대한 NFS/File PHX 178m27.101s 복사 --transfers=100 --oos-no-check-bucket --fast-list --checkers 64 --retries 2 --no-check-dest

주: 테스트 결과 os sync가 이 데이터 집합에 대해 가장 빠르게 실행되고 있습니다.

총 데이터 세트 크기: 9.787GB, 20,000개 파일 포함, 각 파일 20MB

방법 종료-시작 시간 명령 플래그
s5cmd 객체 IAD에 대한 NFS/File PHX 1m12.746s 복사 기본 실행 --numworkers 256
os 동기화 객체 IAD에 대한 NFS/File PHX 2m48.742s NA --parallel-operations-count 1000
복제 객체 IAD에 대한 NFS/File PHX 1m52.886s 복사 --transfers=500 --oos-no-check-bucket --no-check-dest

주: 테스트 결과 s5cmd가 이 데이터 집합에 가장 적합한 성능을 보였습니다.

테스트 환경 2:

VM 인스턴스: 각 테스트에 2개의 VM 인스턴스가 사용되었습니다. OCPU 24개, 네트워크 대역폭 24Gbps, 메모리 384GB가 포함된 VM.Standard.E4.Flex를 사용했습니다. Oracle Linux 8은 Linux 테스트에 사용되었습니다. Flexify IO는 VM 인스턴스를 사용하지 않습니다.

테스트에 사용된 데이터 세트: 총 2.25TiB의 파일 수 및 크기가 다음과 같은 기본 디렉토리 14개

데이터 세트 디렉토리 크기 파일 개수 각 파일의 크기
디렉토리 1 107.658 GiB 110,242 MiB 1개
디렉토리 2 1.687 GiB 110,569 MiB 15개
디렉토리 3 222 GiB 111 2 GiB
디렉토리 4 1.265 TiB 1,295 1 GiB
디렉토리 5 26.359 GiB 1,687 MiB 16개
디렉토리 6 105.281 MiB 26,952 4 KiB
디렉토리 7 29.697 MiB 30,410 1 KiB
디렉토리 8 83.124 GiB 340,488 256 KiB
디렉토리 9 21.662 GiB 354,909 64 KiB
디렉토리 10 142.629 GiB 36,514 MiB 4개
디렉토리 11 452.328 MiB 57,898 8 MiB
디렉토리 12 144 GiB 72 2GiB
디렉토리 13 208.500 GiB 834 256 MiB
디렉토리 14 54.688 GiB 875 64 MiB

참고:

방법 종료-시작 시간 명령 플래그/ 노트
s5cmd 객체 IAD에 대한 NFS/File PHX 54m41.814s 복사 --numworkers 74
os 동기화 객체 IAD에 대한 NFS/File PHX 65m43.200s NA --parallel-operations-count 50
복제 객체 IAD에 대한 NFS/File PHX 111m59.704s 복사 --oos-no-check-bucket --no-check-dest --ignore-checksum --oos-disable-checksum --transfers 50
복제 객체 PHX - 객체 IAD 28m55.663s 복사 --oos-no-check-bucket --no-check-dest --ignore-checksum --oos-disable-checksum --transfers 400, 800 전송의 동시성을 위해 2개의 VM에서 동일한 명령 실행
python 대량 복사 스크립트 객체 PHX - 객체 IAD 25m43.715s 기본 VM 1개, 작업자 50명, 한 번에 100,000개 파일 대기
IO 유연성 객체 PHX - 객체 IAD 20m27s 복사 기본값은 10개 엔진/슬롯입니다.
IO 유연성 객체 PHX - 객체 IAD 16m12s 복사 20 엔진/슬롯, 이것은 "고급 설정"을 통해 올릴 수 있습니다

s5cmd 및 os sync 명령은 파일 시스템/NFS에서 오브젝트 스토리지로 잘 작동합니다. IO 및 대량 복사 스크립트는 오브젝트 스토리지(버킷 간) 전송에만 초점을 맞추고 NFS 마이그레이션에 대해 테스트되지 않았습니다.

Flexify IO,rclone 및 python 대량 복사 스크립트만 영역 간 버킷 간 전송을 수행할 수 있으므로 다른 도구는 테스트되지 않았습니다. Flexify IO는 python 대량 복사 스크립트가 rclone보다 성능이 우수하여 지역 간 오브젝트 스토리지 마이그레이션에 가장 적합합니다. Flexify IO는 S3 호환 객체 스토리지에서 작동하고, python 대량 복사 스크립트는 OCI 객체 스토리지에서만 작동하며, rclone는 많은 백엔드 및 클라우드 공급자를 지원합니다.

소규모 테스트 실행은 rclone를 사용하여 Microsoft Azure Blob Storage, Amazon Simple Storage Service(Amazon S3) 및 Google Cloud Platform Cloud Storage에서 OCI Object Storage로 데이터를 전송하여 이러한 유형의 전송에 대해 도구가 작동하는지 확인했습니다. 자세한 내용은 Rclone을 사용하여 클라우드에서 오브젝트 스토리지로 데이터 이동을 참조하십시오.

FlexifyIO는 AWS us-east-2에서 OCI 애슈번 지역으로 이 데이터 세트를 마이그레이션하는 데 사용되었으며, 기본값인 10개의 엔진/슬롯을 사용하여 2.25TiB에 대해 23m51s만 사용했으며, 더 빠른 성능을 위해 엔진/슬롯을 추가할 수 있었습니다.

테스트 환경 3:

VM 인스턴스: 각 테스트에 1~2개의 VM 인스턴스가 사용되었고, 24개의 OCPU, 24Gbps 네트워크 대역폭, 384GB 메모리가 있는 VM.Standard.E4.Flex를 사용했습니다. Oracle Linux 8은 Linux 테스트에 사용되었습니다. 모든 테스트는 버킷 대 버킷이었습니다. Flexify IO는 VM 인스턴스를 사용하지 않습니다.

총 크기 파일 수 파일 크기 범위
7.74 TiB 1,000,000 MiB 30개
방법 종료-시작 시간 명령 플래그 참고  
복제 객체-객체 IAD -> IAD 18h39m11.4s 복사 --oos-no-check-bucket --fast-list --no-traverse --transfers 500 --oos-chunk-size 10Mi 1개의 VM, 높은 파일 수 및 소스 호출 나열로 인해 매우 느림  
복제 객체-객체 IAD -> IAD 55m8.431s 복사 --oos-no-check-bucket --no-traverse --transfers 500 --oos-chunk-size 10Mi --files-from <file> VM 2개, VM당 500개 전송, 객체/파일 목록은 한 번에 1,000개 파일을 제공하고, 소스 및 대상에 대한 나열을 방지하며, 성능 향상  
python 대량 복사 스크립트 객체-객체 IAD -> IAD 28m21.013s NA 기본 VM 1개, 작업자 50명, 한 번에 100,000개 파일 대기  
python 대량 복사 스크립트 객체-객체 IAD -> IAD NA NA 기본 VM 2개, VM당 워커 50명, 한 번에 100,000개 파일 대기 429개의 오류가 수신되었으며 스크립트가 정지되어 완료할 수 없습니다.  
IO 유연성 객체-객체 IAD -> IAD 39m19s 복사 기본 기본값은 10개 엔진/슬롯입니다.  
IO 유연성 객체-객체 IAD -> IAD 21m37s 복사 20개의 엔진/슬롯 엔진/슬롯 20개로 설정, "고급 설정"을 통해 올릴 수 있습니다  
s5cmd 객체-객체 IAD -> IAD 14m10.864s 복사 기본값(256명의 근로자) 1 VM NA
s5cmd 객체-객체 IAD -> IAD 7m50.013s 복사 기본값 VM 2개, 각 VM 256명의 작업자 VM 1개로 절반 이상 실행
s5cmd 객체-객체 IAD -> IAD 3m23.382s 복사 --numworkers 1000 VM 1개, 작업자 1000명 여러 테스트에서 s5cmd를 사용하여 이 데이터 세트에 대해 최적의 실행임을 발견했습니다.
복제 객체-객체 IAD -> PHX 184m36.536s 복사 --oos-no-check-bucket --no-traverse --transfers 500 --oos-chunk-size 10Mi --files-from <file> VM 2개, VM당 전송 500개, 객체/파일 목록은 한 번에 파일 1,000개 제공  
python 대량 복사 스크립트 객체-객체 IAD -> PHX 35m31.633s NA 기본 1VM, 50명의 작업자, 한 번에 100,000개의 파일 대기  
IO 유연성 객체-객체 IAD -> PHX 21m17s 복사 20개의 엔진/슬롯 엔진/슬롯 20개로 설정, "고급 설정"을 통해 올릴 수 있습니다  

s5cmd 명령은 큰 파일 수와 작은 파일에 대해 일관되게 실행되었습니다. s5cmd는 동일한 테넌시 및 동일한 리전 내에서만 버킷 간 복사본을 수행할 수 있으므로 제한됩니다.

Flexify IO는 잘 작동하고 다양한 S3 호환 객체 스토리지 유형을 지원하므로 이 마이그레이션 데이터 세트에 권장되는 도구입니다. Flexify IO에 대한 엔진/슬롯 수를 늘린 후 마이그레이션 시간이 감소했습니다.

파일이 명령에 공급되고 다른 VM으로 확장되는 경우 rclone가 크게 향상됩니다. Rclone은 다른 도구보다 느리게 실행될 수 있지만 지원하는 다양한 플랫폼과 수행할 수 있는 마이그레이션 유형에서 가장 다양합니다.

OCI Object Storage Bulk Copy Python API는 OCI Native CopyObject API만 사용할 수 있으며 제한되기 전에 50명의 작업자 동시성만 얻을 수 있습니다. 일반적으로 이 데이터 세트에 매우 적합합니다.

IAD에서 PHX로의 테스트는 IAD에서 IAD로 가장 잘 작동하는 것에 대해서만 수행되었으며 문제가 있는 테스트는 다시 실행되지 않았습니다. IAD에서 PHX로의 s5cmd는 동일한 리전 내에서만 버킷 간 복사를 수행할 수 있기 때문에 실행되지 않았습니다.

승인

추가 학습 자원

docs.oracle.com/learn에서 다른 랩을 탐색하거나 Oracle Learning YouTube 채널에서 더 많은 무료 학습 콘텐츠에 액세스하세요. 또한 education.oracle.com/learning-explorer를 방문하여 Oracle Learning Explorer가 되십시오.

제품 설명서는 Oracle Help Center를 참조하십시오.