로드
Oracle Cloud ERP 데이터를 Snowflake로 로드하는 세 가지 아키텍처 및 중간 스토리지 옵션에 대해 알아봅니다.
로우 코드를 사용하여 Snowflake로 데이터 로드
이 아키텍처는 OCI GoldenGate 및 Oracle Data Transforms를 기본 데이터 통합 도구로 사용합니다. 이미 이러한 툴을 사용하고 있고 Snowflake의 스테이징으로 사용할 수 있는 OCI에서 실행 중인 Oracle Database가 하나 이상 있는 경우 이 옵션을 사용합니다.
migrate-fa-snowflake-goldengate-data-int-oracle.zip
이 옵션은 Oracle Data Transforms 및 OCI GoldenGate를 기본 추출 및 복제 도구로 사용합니다. 먼저 데이터가 Oracle Database 스테이징 영역으로 로드된 다음 Snowflake로 로드됩니다. GoldenGate-Snowflake 커넥터에는 서로 다른 구성 옵션이 있습니다. 이 아키텍처는 기본 구성을 사용합니다. 데이터는 30초마다 대상에서 새로 고쳐집니다. 그것은 소스에서 실시간이지만 대상에 거의 실시간으로.
OCI GoldenGate Data Transforms extracting data from Oracle Fusion ERP 블로그에 따라 Oracle Cloud ERP에서 데이터를 추출하도록 Oracle Data Transforms를 구성합니다. OCI GoldenGate에서 두 개의 배포를 생성해야 합니다. Oracle Data Transforms에서 생성된 테이블 목록에 대해 추출이 구성된 Oracle 기술에 대한 첫 번째 항목입니다. 두 번째 배포는 Snowflake가 포함된 Big Data 기술용입니다.
Snowflake 초기 로드 및 실시간 데이터 동기화에 OCI GoldenGate 사용을 통해 배포 및 추출 및 복제 프로세스를 모두 Snowflake로 구성하려면 이 블로그를 검토하십시오.
이 아키텍처는 다음 구성 요소를 지원합니다.
- Autonomous Data Warehouse
Oracle Autonomous Data Warehouse는 데이터 웨어하우징 워크로드에 최적화된 자율 구동, 자가 보안 및 자가 복구 데이터베이스 서비스입니다. 하드웨어를 구성 또는 관리하거나 소프트웨어를 설치할 필요가 없습니다. Oracle Cloud Infrastructure는 데이터베이스 생성, 백업, 패치, 업그레이드 및 튜닝을 처리합니다.
- 오브젝트 스토리지
OCI Object Storage는 데이터베이스 백업, 분석 데이터, 이미지 및 비디오와 같은 리치 콘텐츠 등 모든 콘텐츠 유형의 대량의 구조적 및 비구조적 데이터에 대한 액세스를 제공합니다. 인터넷 또는 클라우드 플랫폼 내에서 직접 데이터를 안전하고 안전하게 저장할 수 있습니다. 성능 또는 서비스 안정성이 저하되지 않고 스토리지를 확장할 수 있습니다.
빠르고 즉각적이며 자주 액세스하는 데 필요한 "핫" 스토리지에 표준 스토리지를 사용합니다. 장기간 보존하고 거의 또는 거의 액세스하지 않는 "콜드" 스토리지에 아카이브 스토리지를 사용합니다.
- Oracle Data Transforms
Oracle Data Transforms를 사용하면 코드를 작성하지 않고도 데이터 로드, 데이터 흐름 및 워크플로우 형식으로 그래픽 데이터 변형을 설계할 수 있습니다. 데이터 로드를 사용하면 데이터를 Oracle Autonomous Database로 간편하게 로드할 수 있습니다. 데이터 플로우는 여러 시스템 간에 데이터가 이동 및 변환되는 방식을 정의하고, 워크플로우는 데이터 플로우가 실행되는 순서를 정의합니다.
- OCI GoldenGate
Oracle Cloud Infrastructure GoldenGate는 실시간 데이터 메시 플랫폼, 데이터 고가용성 및 실시간 분석을 위한 복제 기능을 제공하는 관리형 서비스입니다. 컴퓨팅 환경을 할당하거나 관리하지 않고도 데이터 복제 및 데이터 스트리밍 솔루션을 설계, 실행 및 모니터링할 수 있습니다.
Spark를 사용하여 Snowflake로 데이터 로드
이 아키텍처는 Spark(데이터 플로우)를 사용하여 OCI Object Storage에서 데이터를 읽은 후 Snowflake Python API를 사용하여 데이터를 Snowflake로 로드합니다.
BICC 작업을 구성하면 ZIP 파일이 OCI Object Storage에 랜딩됩니다. 이 참조 아키텍처는 두 가지 도구를 사용합니다. 개발 및 테스트를 위한 Data Science 데이터 플로우는 코드를 실행하고 OCI Object Storage에서 Snowflake로 데이터를 로드하는 Spark 툴입니다. 스파크는 Snowflake 설명서에서 다운로드할 수 있는 JDBC 드라이버를 사용합니다.
migrate-fa-snowflake-spark-object-storage-oracle.zip
이 아키텍처는 다음 구성 요소를 지원합니다.
- Data Science
Oracle Cloud Infrastructure Data Science는 데이터 과학 팀이 Oracle Cloud Infrastructure(OCI)에서 머신 러닝(ML) 모델을 구축, 교육 및 관리하는 데 사용할 수 있는 완전 관리형 서버리스 플랫폼입니다. Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage 등과 같은 다른 OCI 서비스와 쉽게 통합할 수 있습니다. 기업에서 신뢰할 수 있는 데이터를 신속하게 작동시켜 비즈니스 유연성을 높이는 고품질 머신 러닝 모델을 구축하고 평가할 수 있으며, ML 모델을 보다 쉽게 배포하여 데이터 기반 비즈니스 목표를 지원할 수 있습니다. Data Science는 데이터 과학자 및 머신 러닝 엔지니어가 Anaconda Repository의 패키지를 무료로 사용할 수 있도록 합니다.
- 오브젝트 스토리지
OCI Object Storage는 데이터베이스 백업, 분석 데이터, 이미지 및 비디오와 같은 리치 콘텐츠 등 모든 콘텐츠 유형의 대량의 구조적 및 비구조적 데이터에 대한 액세스를 제공합니다. 인터넷 또는 클라우드 플랫폼 내에서 직접 데이터를 안전하고 안전하게 저장할 수 있습니다. 성능 또는 서비스 안정성이 저하되지 않고 스토리지를 확장할 수 있습니다.
빠르고 즉각적이며 자주 액세스하는 데 필요한 "핫" 스토리지에 표준 스토리지를 사용합니다. 장기간 보존하고 거의 또는 거의 액세스하지 않는 "콜드" 스토리지에 아카이브 스토리지를 사용합니다.
- Data Flow
데이터 플로우는 배치 또는 관리할 인프라 없이 매우 큰 데이터 집합에 대해 처리 태스크를 수행하는 완전 관리형 Apache Spark 서비스입니다. 데이터 플로우는 소스 데이터 자산(예: 데이터베이스 또는 플랫 파일)에서 대상 데이터 자산(예: 데이터 레이크 또는 데이터 웨어하우스)으로의 데이터 플로우를 나타내는 시각적 프로그램입니다. OCI Data Integration 직관적인 UI 디자이너는 데이터 플로우를 생성, 확인 또는 편집할 때 열립니다.
클라우드 스토리지로 데이터 로드 및 Snowflake로 복사
이 아키텍처는 Python과 함께 다양한 클라우드 스토리지 API를 사용하여 OCI Object Storage의 데이터를 AWS S3, Google Cloud Storage 또는 Azure Blob Storage와 같은 다른 클라우드 제공업체로 복사합니다.
먼저 조직에 적합한 클라우드 스토리지를 설치하고 구성해야 합니다.
- Amazon S3로 데이터를 로드하고 Snowflake로 복사: 이 프로세스는 OCI Object Storage에서 ZIP 파일을 읽고 대상 Amazon S3의 콘텐츠를 추출합니다. 파일을 복사한 후
COPY INTOSnowflake 명령을 사용하여 데이터를 테이블로 로드할 수 있습니다. - Google Cloud Storage로 데이터를 로드하고 Snowflake로 복사: 이 프로세스는 OCI Object Storage에서 ZIP 파일을 읽고 대상 Google Cloud의 콘텐츠를 추출합니다. 파일을 복사한 후
COPY INTOSnowflake 명령을 사용하여 데이터를 테이블로 로드할 수 있습니다. - Azure Blob Storage로 데이터를 로드하고 Snowflake로 복사: Snowflake 스토리지 통합을 위한 Azure 컨테이너 구성. 이 프로세스는 OCI Object Storage에서 ZIP 파일을 읽고 대상 Azure Blob Storage의 콘텐츠를 추출합니다. 파일을 복사한 후
COPY INTOSnowflake 명령을 사용하여 데이터를 테이블로 로드할 수 있습니다.
migrate-fa-snowflake-third-party-storage-oracle.zip
이 아키텍처는 다음 구성 요소를 지원합니다.
- Data Science
Oracle Cloud Infrastructure Data Science는 데이터 과학 팀이 Oracle Cloud Infrastructure(OCI)에서 머신 러닝(ML) 모델을 구축, 교육 및 관리하는 데 사용할 수 있는 완전 관리형 서버리스 플랫폼입니다. Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage 등과 같은 다른 OCI 서비스와 쉽게 통합할 수 있습니다. 기업에서 신뢰할 수 있는 데이터를 신속하게 작동시켜 비즈니스 유연성을 높이는 고품질 머신 러닝 모델을 구축하고 평가할 수 있으며, ML 모델을 보다 쉽게 배포하여 데이터 기반 비즈니스 목표를 지원할 수 있습니다. Data Science는 데이터 과학자 및 머신 러닝 엔지니어가 Anaconda Repository의 패키지를 무료로 사용할 수 있도록 합니다.
- 오브젝트 스토리지
OCI Object Storage는 데이터베이스 백업, 분석 데이터, 이미지 및 비디오와 같은 리치 콘텐츠 등 모든 콘텐츠 유형의 대량의 구조적 및 비구조적 데이터에 대한 액세스를 제공합니다. 인터넷 또는 클라우드 플랫폼 내에서 직접 데이터를 안전하고 안전하게 저장할 수 있습니다. 성능 또는 서비스 안정성이 저하되지 않고 스토리지를 확장할 수 있습니다.
빠르고 즉각적이며 자주 액세스하는 데 필요한 "핫" 스토리지에 표준 스토리지를 사용합니다. 장기간 보존하고 거의 또는 거의 액세스하지 않는 "콜드" 스토리지에 아카이브 스토리지를 사용합니다.