OCI Data Integration 및 Oracle Integration 클라우드 서비스를 사용하여 대량 데이터 처리
외부 소스의 대량 데이터를 대상 시스템 또는 애플리케이션으로 처리하거나 통합합니다.
다음 시나리오를 고려하십시오. 외부 소스(예: 고객, 공급자, 직원, 제품)에서 대량으로 데이터를 수신합니다. 최종 시스템 또는 애플리케이션에 도달하기 전에 데이터를 통합관리, 강화, 결합 또는 구성해야 합니다. 이를 위해 흐름의 일부로 둘 이상의 중간 응용 프로그램이나 서비스와 통합하거나 데이터에 복잡한 변형을 적용해야 합니다. 이 프로세스는 호출을 수행하거나 다양한 타사 애플리케이션(예: REST, SOAP 기반)을 사용하여 조정한 후 데이터에 속성을 추가할 수 있습니다. 이 트랜잭션 데이터에는 복잡한 변환(JSON 또는 XML), 조회 또는 상호 참조가 필요할 수도 있습니다.
이 시나리오는 OCI Data Integration 및 Oracle Integration의 두 가지 클라우드 서비스로 손쉽게 구현할 수 있습니다. 여기서 OCI Data Integration은 모든 데이터 통합 또는 "추출, 변환, 로드"(ETL) 요구 사항을 해결하고 Oracle Integration은 연결 중인 애플리케이션 또는 애플리케이션 상주 위치에 관계없이 모든 애플리케이션 통합 또는 엔터프라이즈급 연결을 해결합니다.
구조
이 참조 아키텍처는 OCI Data Integration 및 Oracle Integration을 사용하여 대량 데이터를 처리하는 사용 사례를 나타냅니다.
또한 이 참조 아키텍처는 Oracle Integration에서 OCI Data Integration을 통해 Apache Parquet, Apache Avro 및 Microsoft Excel 파일을 처리하는 문제를 해결합니다. 예를 들어 재무 보고 데이터(예: 미지급금, 미수금, GL, 현금 흐름, 자산 및 부채, 수익)를 처리하기 위해 OCI Data Integration은 이러한 파일 형식을 CSV(쉼표로 구분된 값) 파일로 변환한 다음 Oracle Integration에서 처리합니다.
다음 다이어그램은 이 참조 아키텍처를 보여 줍니다.
oci-bulk-data-integration-아키텍처-다이어그램-oracle.zip
다음은 위의 참조 아키텍처에 표시된 단계에 대한 설명입니다.
- 외부 소스(예: 사용자정의 애플리케이션, 비Oracle 애플리케이션, 타사 클라우드에서 실행되는 Oracle 데이터베이스, 타사 클라우드 서비스, 온프레미스 데이터베이스 및 애플리케이션)는 대량 데이터 로드 파일을 OCI Object Storage 버킷에 업로드하거나 삭제합니다.
- OCI 관찰 및 관리 서비스: OCI Events는 OCI Object Storage 버킷에 업로드된 객체 또는 파일을 찾습니다.
- OCI 이벤트는 버킷 및 파일 이름을 사용하여 OCI 함수를 호출하는 작업을 트리거합니다.
- OCI 함수는 이벤트를 수신하고 입력 매개변수인 버킷 이름 및 파일 이름을 사용하여 OCI Data Integration 파이프라인을 호출합니다.
- OCI Data Integration 파이프라인은 OCI Object Storage 버킷에서 대량 데이터 로드 파일을 읽고 하나의 큰 데이터 파일을 수많은 작은 파일로 분할합니다. 그런 다음 분할된 파일을 OCI Object Storage 버킷으로 업로드합니다.
- OCI 이벤트의 또 다른 인스턴스는 OCI Object Storage 버킷에 업로드된 분할 파일을 찾습니다.
- OCI 이벤트는 버킷 이름과 각 파일 이름을 사용하여 OCI 함수를 호출하는 작업을 트리거합니다.
- OCI 함수는 이벤트를 수신하고 버킷 이름 및 각 파일 이름의 입력 매개변수를 사용하여 Oracle Integration의 플로우를 호출합니다.
- Oracle Integration은 OCI Object Storage 버킷에서 각 파일을 읽습니다.
- 요구 사항에 따라 Oracle Integration은 하나 이상의 중간 애플리케이션 또는 시스템을 호출하여 데이터를 통합관리하고 강화합니다. 그런 다음 복잡한 기능(예: 변환, 조회, 상호 참조)을 수행하고 최종적으로 데이터를 다운스트림 시스템 또는 애플리케이션으로 처리합니다.
구조에는 다음과 같은 구성 요소가 있습니다.
- 지역
Oracle Cloud Infrastructure 리전은 가용성 도메인이라고 하는 데이터 센터가 하나 이상 포함된 지역화된 지리적 영역입니다. 지역은 다른 지역과 독립적이며, 먼 거리가 그들을 분리 할 수 있습니다 (국가 또는 대륙에 걸쳐).
- Data Integration
Oracle Cloud Infrastructure Data Integration은 다양한 데이터 소스에서 Autonomous Data Warehouse 및 Oracle Cloud Infrastructure Object Storage와 같은 대상 Oracle Cloud Infrastructure 서비스로 데이터를 추출, 로드, 변환, 정리 및 재구성하는 완전 관리형 서버리스 클라우드 네이티브 서비스입니다. 사용자는 통합 흐름을 최적화하여 가장 효율적인 엔진 및 통합관리를 생성하고 실행 환경을 자동으로 할당 및 확장하는 직관적인 코드 없는 사용자 인터페이스를 사용하여 데이터 통합 프로세스를 설계합니다.
ETL(변환 로드 추출)은 Spark에서 완전 관리형 스케일 아웃 처리를 활용하고, ELT(로드 변환 추출)는 Autonomous Data Warehouse의 전체 SQL 푸시 다운 기능을 활용하여 데이터 이동을 최소화하고 새로 수집된 데이터의 가치 실현 시간을 개선합니다.
Oracle Cloud Infrastructure Data Integration은 대화식 탐색 및 데이터 준비를 제공하며, 스키마 변경을 처리하는 규칙을 정의하여 데이터 엔지니어가 스키마 드리프트로부터 데이터를 보호할 수 있도록 지원합니다.
- 통합
Oracle Integration은 클라우드 및 온프레미스 애플리케이션을 통합하고, 비즈니스 프로세스를 자동화하고, 시각적 애플리케이션을 개발할 수 있도록 사전 구성된 전담 관리 환경입니다. SFTP 호환 파일 서버를 사용하여 파일을 저장 및 검색하고, 수백 개의 어댑터 및 레시피 포트폴리오를 사용하여 Oracle 및 타사 애플리케이션과 연결하여 B2B 거래 파트너와 문서를 교환할 수 있습니다.
- 이벤트
Oracle Cloud Infrastructure 서비스는 리소스 변경사항을 설명하는 구조화된 메시지인 이벤트를 내보냅니다. 이벤트는 CRUD(생성, 읽기, 업데이트 또는 삭제) 작업, 리소스 수명 주기 상태 변경 및 클라우드 리소스에 영향을 주는 시스템 이벤트를 위해 내보냅니다.
- 함수
Oracle Cloud Infrastructure Functions는 확장성이 뛰어난 완전 관리형 멀티테넌트 온디맨드 Functions-as-a-Service(FaaS) 플랫폼입니다. 그것은 Fn 프로젝트 오픈 소스 엔진에 의해 구동 됩니다. 함수를 사용하면 코드를 배치하고 직접 호출하거나 이벤트에 대한 응답으로 트리거할 수 있습니다. Oracle Functions는 Oracle Cloud Infrastructure Registry에서 호스팅되는 Docker 컨테이너를 사용합니다.
- VCN(가상 클라우드 네트워크) 및 서브넷
VCN은 Oracle Cloud Infrastructure 지역에서 설정한 맞춤형 소프트웨어 정의 네트워크입니다. 기존의 데이터 센터 네트워크와 마찬가지로 VCN을 통해 네트워크 환경을 제어할 수 있습니다. VCN에는 VCN 생성 후 변경할 수 있는 겹치지 않는 CIDR 블록이 여러 개 있을 수 있습니다. VCN을 서브넷으로 분할할 수 있습니다. 서브넷은 지역 또는 가용성 도메인으로 범위가 지정될 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속적인 주소 범위로 구성됩니다. 서브넷 생성 후 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.
- 보안 목록
각 서브넷에 대해 서브넷에 들어오고 나가도록 허용해야 하는 트래픽의 소스, 대상 및 유형을 지정하는 보안 규칙을 생성할 수 있습니다.
- 경로 테이블
가상 라우팅 테이블에는 일반적으로 게이트웨이를 통해 서브넷에서 VCN 외부의 대상으로 트래픽을 라우팅하는 규칙이 포함되어 있습니다.