OCI Data Integration 및 Oracle Integration Cloud Services를 사용하여 대량 데이터 처리
외부 소스에서 타겟팅된 시스템 또는 애플리케이션으로 대량 데이터를 처리하거나 통합합니다.
이 시나리오 고려: 외부 소스(예: 고객, 공급자, 사원, 제품 등)에서 데이터를 대량으로 수신합니다. 최종 시스템 또는 애플리케이션에 도달하기 전에 데이터를 통합관리, 강화, 결합 또는 구성해야 합니다. 이를 위해서는 흐름의 일부로 둘 이상의 중간 응용 프로그램 또는 서비스와 통합하거나 데이터에 복잡한 변형을 적용해야 합니다. 이 프로세스는 다양한 타사 애플리케이션(REST, SOAP 등 기반)을 호출하거나 조정한 후 데이터에 속성을 추가할 수 있습니다. 이 트랜잭션 데이터에는 복잡한 변환(JSON 또는 XML), 조회 또는 상호 참조가 필요할 수도 있습니다.
이 시나리오는 OCI DI(OCI Data Integration) 및 OIC(Oracle Integration Cloud)의 두 가지 클라우드 서비스로 쉽게 구현할 수 있습니다. 여기서 OCI DI는 연결 중인 애플리케이션이나 상주 위치에 관계없이 모든 데이터 통합 또는 ETL(Extract, Transform, Load) 요구를 해결하고 OIC는 애플리케이션 통합 또는 엔터프라이즈급 연결을 모두 처리합니다.
구조
이 참조 구조는 OCI DI 및 OIC 서비스를 사용하여 대량 데이터를 처리하는 사용 사례를 나타냅니다.
이 참조 아키텍처는 또한 OCI DI를 통해 OIC에서 Apache Parquet, Apache Avro 및 Microsoft Excel 파일을 처리하는 문제를 해결합니다. 예를 들어 재무 보고 데이터(예: AP, AR, GL, 현금 흐름, 자산 및 부채, 수익 등)를 처리하기 위해 OCI DI는 이러한 파일 형식을 OIC에 의해 처리되는 CSV(쉼표로 구분된 값) 파일로 변환합니다.
다음 다이어그램은 이 참조 아키텍처를 보여줍니다.
oci-bulk-data-integration-architecture-diagram-oracle.zip
다음은 위의 참조 아키텍처에 표시된 단계에 대한 설명입니다.
- 외부 소스(예: 사용자정의 애플리케이션, 비Oracle 애플리케이션, 타사 클라우드에서 실행되는 Oracle 데이터베이스, 타사 클라우드 서비스, 온프레미스 데이터베이스 및 애플리케이션)는 대량 데이터 로드 파일을 OCI Object Storage 버킷에 업로드하거나 삭제합니다.
- OCI 관찰성 및 관리 서비스 - OCI 이벤트 서비스는 OCI Object Storage 버킷에 업로드된 객체 또는 파일을 찾습니다.
- OCI 이벤트 서비스는 버킷 및 파일 이름으로 OCI 함수를 호출하는 작업을 트리거합니다.
- OCI Functions는 이벤트를 수신하고 버킷 이름 및 파일 이름 입력 파라미터를 사용하여 OCI DI 파이프라인을 호출합니다.
- OCI DI 파이프라인은 OCI Object Storage 버킷에서 대량 데이터 로드 파일을 읽고 단일 대형 데이터 파일을 여러 개의 작은 파일로 분할합니다. 그런 다음 분할 파일을 OCI Object Storage 버킷으로 업로드합니다.
- OCI 이벤트 서비스의 다른 인스턴스는 OCI Object Storage 버킷에 업로드된 분할 파일을 찾습니다.
- OCI 이벤트 서비스는 버킷 이름과 각 파일 이름으로 OCI 함수를 호출하는 작업을 트리거합니다.
- OCI Functions는 이벤트를 수신하고 버킷 이름 및 각 파일 이름의 입력 매개변수를 사용하여 OIC 통합 플로우를 호출합니다.
- OIC 통합은 OCI Object Storage 버킷에서 각 파일을 읽습니다.
- 요구사항에 따라 OIC를 통합하면 하나 이상의 중간 애플리케이션 또는 시스템을 호출하여 데이터를 통합관리하고 강화할 수 있습니다. 그런 다음 복잡한 변환, 조회, 상호 참조 등을 수행하고 마지막으로 다운스트림 시스템 또는 애플리케이션에 데이터를 처리합니다.
이 구조에는 다음과 같은 구성 요소가 있습니다.
- 지역
Oracle Cloud Infrastructure 지역은 가용성 도메인이라고 하는 하나 이상의 데이터 센터를 포함하는 지역화된 지리적 영역입니다. 지역은 다른 지역과 독립적이며 거리가 멀면 국가 또는 대륙을 가로질러 분리할 수 있습니다.
- 데이터 통합
OCI Data Integration은 데이터 엔지니어와 ETL(추출, 변환 및 로드) 개발자에게 다양한 데이터 자산에서 데이터 수집, 해당 데이터 정리, 변환 및 재구성, 대상 데이터 자산으로 효율적으로 로드하는 등 일반적인 ETL 작업을 지원하는 전담 관리 멀티 테넌트 서비스입니다.
- Oracle Integration Cloud
Oracle Integration Cloud를 사용하면 클라우드 및 온프레미스 애플리케이션을 통합하고, 비즈니스 프로세스를 자동화하고, 비즈니스 프로세스에 대한 통찰력을 얻고, 시각적 애플리케이션을 개발하고, SFTP 호환 파일 서버를 사용하여 파일을 저장 및 검색하고, 비즈니스 문서를 B2B 거래 파트너와 교환할 수 있습니다.
- 이벤트
OCI 이벤트 서비스는 CNCF(Cloud Native Computing Foundation) CloudEvents 표준을 준수하는 이벤트를 사용하여 리소스 변경 사항을 추적합니다. 개발자는 Functions로 코드를 트리거하거나 Streaming에 쓰거나 Notifications를 사용하여 경고를 보내 실시간으로 변경 사항에 대응할 수 있습니다.
- 함수
OCI Functions는 개발자가 인프라를 관리하지 않고도 애플리케이션을 생성, 실행 및 확장할 수 있는 서버리스 플랫폼입니다. 함수는 OCI, 플랫폼 서비스 및 SaaS 애플리케이션과 통합됩니다. Functions는 오픈 소스 Fn Project를 기반으로 하므로 개발자가 다른 클라우드 및 온프레미스 환경으로 쉽게 이식할 수 있는 애플리케이션을 생성할 수 있습니다. 함수 기반 코드는 일반적으로 짧은 기간 동안 실행되며 고객은 사용하는 리소스에 대해서만 비용을 지불합니다.
- VCN(가상 클라우드 네트워크) 및 서브넷
VCN은 Oracle Cloud Infrastructure 지역에서 설정한 커스터마이징 가능한 소프트웨어 정의 네트워크입니다. 기존의 데이터 센터 네트워크와 마찬가지로 VCN은 네트워크 환경을 완벽하게 제어할 수 있습니다. VCN에는 VCN 생성 후 변경할 수 있는 겹치지 않는 여러 CIDR 블록이 있을 수 있습니다. VCN을 서브넷으로 세그먼트할 수 있으며, 지역 또는 가용성 도메인으로 범위를 지정할 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속된 주소 범위로 구성됩니다. 생성 후 서브넷의 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.
- 보안 목록
각 서브넷에 대해 서브넷에 들어오고 나가야 하는 트래픽의 소스, 대상 및 유형을 지정하는 보안 규칙을 생성할 수 있습니다.
- 경로 테이블
가상 라우팅 테이블에는 일반적으로 게이트웨이를 통해 서브넷에서 VCN 외부의 대상으로 트래픽을 라우팅하는 규칙이 포함됩니다.