Amazon DynamoDB에서 Oracle NoSQL Database Cloud Service로 데이터 마이그레이션 정보

조직에서는 Amazon DynamoDB에서 Oracle NoSQL Database Cloud Service로 데이터를 마이그레이션하여 비관계형 데이터베이스에 데이터를 보관하고 고가용성과 확장성을 유지하기로 결정했습니다. 이 가이드에서는 Oracle NoSQL Database Migrator를 사용하여 Amazon DynamoDB에서 Oracle NoSQL Database Cloud Service로 데이터를 마이그레이션하는 단계를 안내합니다.

구조

이 아키텍처에서는 Oracle NoSQL Database Migrator가 OCI 컴퓨트 인스턴스에 설치됩니다. 비용 절감을 위해 OCI 상시 무료 컴퓨트 인스턴스를 사용하는 것이 좋습니다. Oracle NoSQL Database Migrator를 실행하는 OCI 컴퓨트 인스턴스를 사용하면 Amazon DynamoDB 형식의 JSON 파일이 Amazon Simple Storage Service(Amazon S3)에서 마이그레이션됩니다.

주:

데이터를 마이그레이션할 때 Oracle은 요구 사항 및 프로비저닝 용량에 맞게 리소스를 예약 및 관리합니다. 용량은 처리량에 대해 읽기 및 쓰기 단위를 사용하고 스토리지 단위에 대해 GB를 사용하여 지정됩니다.

다음 다이어그램에는 이 아키텍처가 설명되어 있습니다.

그림 aws-dynamodb-nosql-architecture.png에 대한 설명

aws-dynamodb-nosql-architecture.zip

이 구조는 다음 구성 요소를 지원합니다.

• 지역

  Oracle Cloud Infrastructure 지역은 가용성 도메인이라고 하는 하나 이상의 데이터 센터를 포함하는 지역화된 지리적 영역입니다. 지역은 다른 지역과는 독립적이며, 거리는 국가 또는 대륙에 걸쳐 분리될 수 있습니다.

• 가용성 도메인

  가용성 도메인은 한 지역 내의 독립형 독립형 데이터 센터입니다. 각 가용성 도메인의 물리적 리소스는 결함 허용을 제공하는 다른 가용성 도메인의 리소스와 격리됩니다. 가용성 도메인은 전원이나 냉각과 같은 인프라나 내부 가용성 도메인 네트워크를 공유하지 않습니다. 따라서 특정 가용성 도메인에서 실패하는 경우 해당 지역의 다른 가용성 도메인에 영향을 주지 않습니다.

• Fault domain(결함 도메인)

  장애 도메인은 가용성 도메인 내의 하드웨어와 인프라 그룹입니다. 각 가용성 도메인에는 독립적인 전원 및 하드웨어가 있는 결함 도메인이 3개 있습니다. 여러 장애 도메인에 리소스를 배포할 때 애플리케이션은 장애 도메인 내의 물리적 서버 장애, 시스템 유지 관리 및 전원 장애를 견딜 수 있습니다.

• VCN(가상 클라우드 네트워크) 및 서브넷

  VCN은 Oracle Cloud Infrastructure 지역에서 설정한 커스터마이징 가능한 소프트웨어 정의 네트워크입니다. 기존의 데이터 센터 네트워크와 마찬가지로 VCN은 사용자가 네트워크 환경을 완전히 제어할 수 있도록 합니다. VCN에는 VCN 생성 후 변경할 수 있는 겹치지 않는 CIDR 블록이 여러 개 있을 수 있습니다. VCN을 서브넷으로 분할할 수 있습니다. 서브넷은 영역 또는 가용성 도메인으로 범위가 지정될 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속적인 주소 범위로 구성됩니다. 서브넷을 생성한 후 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.

• Internet gateway(인터넷 게이트웨이)

  인터넷 게이트웨이는 VCN의 공용 서브넷과 공용 인터넷 간의 트래픽을 허용합니다.

• 서비스 게이트웨이

  서비스 게이트웨이는 VCN에서 Oracle Cloud Infrastructure Object Storage와 같은 다른 서비스로의 액세스를 제공합니다. VCN에서 Oracle 서비스로의 트래픽은 Oracle 네트워크 패브릭을 통해 이동하며 인터넷을 경유하지 않습니다.

• Identity and Access Management (IAM, ID 및 액세스 관리)

  Oracle Cloud Infrastructure Identity and Access Management(IAM)는 Oracle Cloud Infrastructure(OCI) 및 Oracle Cloud Applications용 액세스 제어 플레인입니다. IAM API 및 사용자 인터페이스를 통해 ID 도메인 및 ID 도메인 내의 리소스를 관리할 수 있습니다. 각 OCI IAM ID 도메인은 독립형 ID 및 액세스 관리 솔루션 또는 다른 사용자 모집단을 나타냅니다.

• Oracle NoSQL Database Cloud Service

  Oracle NoSQL Database Cloud Service는 개발자가 문서, 열 및 키-값 데이터베이스 모델을 사용하여 애플리케이션을 쉽게 구축할 수 있도록 지원하여 고가용성을 위해 데이터 복제를 통해 10밀리초 미만의 예측 가능한 응답 시간을 제공합니다. 이 서비스는 온디맨드 및 프로비저닝된 용량 모드 모두에 대해 온프레미스 Oracle NoSQL Database와의 100% 호환성을 포함하여 ACID 트랜잭션, 서버리스 확장, 포괄적인 보안 및 낮은 종량제 가격 정책을 제공합니다.

시작하기 전에

시작하기 전에 이 설치에 사용된 주요 소프트웨어 구성 요소의 버전을 확인하고, 필요한 소프트웨어 패키지를 다운로드하고, 제품 설명서를 검토하여 나중에 참조합니다.

요구 사항 검토

• Oracle NoSQL Database Migrator를 실행하는 OCI 컴퓨트 인스턴스의 OCPU가 1개 이상이고, Oracle Linux 8을 실행하는 RAM은 16GB 이상이어야 합니다.
• OCI 컴퓨트 인스턴스는 Oracle NoSQL Database Migrator 버전 1.5.0 및 Java 11을 실행해야 합니다.
• 중간 스토리지에는 Amazon S3 Object Storage 버킷이 포함되어야 합니다.

"Oracle NoSQL Database Migrator and Analytics Integrator"에서 Oracle NoSQL Database Migrator 1.5.0 바이너리(V1033765-01.zip)를 다운로드합니다.

• Oracle NoSQL Database Migrator 및 Analytics Integrator

설명서 검토

이러한 추가 리소스는 데이터 마이그레이션에 대한 컨텍스트, 세부정보 및 참조에 유용합니다.

Oracle NoSQL Database Cloud Service 리소스 검토

• Oracle NoSQL Database Administrator's Guide의 "Mapping of DynamoDB table to Oracle NoSQL table"
• Oracle NoSQL Database Administrator's Guide의 "Mapping of DynamoDB types to Oracle NoSQL types"
• Oracle NoSQL Database Administrator's Guide의 "DynamoDB-Formatted JSON File stored in AWS S3"
• Oracle Cloud Infrastructure 설명서의 "Oracle NoSQL Database Migrator의 워크플로"

Amazon 리소스 검토

• AWS 계정에서 IAM 사용자 생성
• IAM 유저에 대한 액세스 키 관리
• 버킷 생성
• DynamoDB 테이블 익스포트 출력 형식
• DynamoDB Amazon S3으로 데이터 내보내기: 작동 방식
• DynamoDB의 데이터 모델링 기초

필수 서비스 및 역할 정보

이 솔루션에는 다음과 같은 제품과 역할이 필요합니다.

• Oracle Cloud Infrastructure Identity and Access Management
• Oracle NoSQL Database Cloud Service
• Oracle Cloud Infrastructure Compute
• Amazon Simple Storage Service(Amazon S3)
• Amazon DynamoDB
• Amazon Identity and Access Management

각 서비스에 필요한 역할은 다음과 같습니다.

서비스 이름: 역할	다음 작업 필요...
Oracle Cloud Infrastructure Identity and Access Management: user	OCI에 액세스하여 테이블을 생성하고 Oracle NoSQL Database Cloud Service로 데이터를 임포트하는 API 키를 생성합니다.
Oracle NoSQL Database Cloud Service: admin	테이블 생성 및 데이터 임포트
Oracle Cloud Infrastructure Compute: admin	OCI 컴퓨트 인스턴스를 생성하여 Oracle NoSQL Data Migrator를 실행합니다.
Oracle Cloud Infrastructure Compute VM: opc	Oracle NoSQL Data Migrator를 설치하고 실행합니다.
Amazon Simple Storage Service 버킷: user	Amazon Simple Storage Service에서 파일을 업로드하고 파일을 읽습니다.
Amazon DynamoDB: Admin	DynamoDB 테이블을 탐색하고 Amazon Simple Storage Service 버킷으로 테이블을 익스포트합니다.
Amazon Identity and Access Management: user	Amazon Simple Storage Service 버킷에서 파일을 읽을 액세스 키를 생성합니다.

필요한 내용은 Oracle 제품, 솔루션 및 서비스를 참조하십시오.

마이그레이션 고려 사항

마이그레이션을 시작하기 전에 다음 고려 사항을 검토하십시오.

• DynamoDB 형식의 JSON 파일을 사용하여 Amazon DynamoDB에서 Oracle NoSQL Database Cloud Service로 데이터를 임포트할 때 dynamodb_json를 Oracle NoSQL Database Migrator 구성 JSON 파일의 데이터 형식으로 지정해야 합니다. 대상 Oracle NoSQL Database Cloud Service 테이블에서 기본 스키마를 사용하는 경우 싱크 정의에 DDBPartitionKey 매개변수가 포함되어야 합니다. DDSortKey 매개변수는 선택사항입니다.
• Amazon DynamoDB의 파티션 키 및 정렬 키는 Oracle NoSQL Database Cloud Service의 해당 키보다 문자 제한이 더 큽니다. Amazon DynamoDB에서 분할 영역 키와 정렬 키의 제한은 각각 2048바이트와 1024바이트이며, Oracle NoSQL Database Cloud Service에서는 이러한 키의 제한은 64바이트로 제한됩니다. Therefore, if one of the records being imported has a key longer than the limit in Oracle NoSQL Database Cloud Service, importing that record will fail with an error similar to: “primary or sort key of 88 exceeded the limit of 64”. 제한 및 데이터 유형에 대한 자세한 내용은 설명서 검토 섹션에서 "Oracle NoSQL 설명서 - DynamoDB 유형을 Oracle NoSQL 유형에 매핑"을 참조하십시오.
• 마이그레이션을 시작하기 전에 Amazon DynamoDB 테이블에서 분할 영역 키 및 정렬 키 열의 이름 및 유형을 확인합니다.