OCI와 Microsoft Azure 간 멀티클라우드 데이터 솔루션 구축
조직은 실시간 및 아카이브된 데이터를 하나의 중앙 위치에 저장하기 위한 엔터프라이즈 데이터 레이크 하우스 또는 데이터 웨어하우스를 구축할 수 있습니다.
이 접근 방식은 모든 데이터 분석 요구 사항에 대한 포괄적인 솔루션 역할을 하는 중앙 집중식 데이터 저장소를 생성하는 프로세스를 간소화합니다.
조직은 멀티클라우드 데이터 분석 솔루션을 활용하여 Fusion SaaS, 플랫 파일, 온프레미스 및 클라우드 데이터베이스, Salesforce, 전자 상거래 웹 사이트 등 다양한 데이터 소스와 통합된 중앙 데이터 레이크 하우스 또는 데이터 웨어하우스를 사용하여 분석을 효율적으로 수행할 수 있습니다.
궁극적인 목표는 비즈니스 단위에서 추출 및 분석한 중앙 집중식 데이터 저장소를 생성하여 엔드 투 엔드 비즈니스 가시성을 향상시키고 데이터 기반 통찰력을 제공하는 것입니다. 이점
- 통합 데이터 분석 파이프라인
데이터베이스 및 객체 저장소와 같은 다양한 클라우드 및 온프레미스 소스의 데이터에 대한 액세스를 간소화합니다.
- 간편한 통합
다양한 시스템, 형식, API, 애플리케이션 및 디바이스에 걸쳐 데이터를 원활하게 통합하여 수동 코딩 없이도 보안 프로토콜을 통해 안전한 협업 및 규정 준수를 보장합니다.
- 고성능 분석
효율적인 데이터 쿼리를 통해 더 빠른 의사 결정을 내리고 고객 서비스를 개선할 수 있습니다.
- 비용, 보안 및 가용성
최적의 비용 효율성, 성능, 보안 및 가용성을 달성하면서 CapEx 및 OpEx를 최소화합니다.
구조
이 참조 아키텍처는 다양한 소스로부터 데이터를 수집 및 포맷하여 엔터프라이즈 데이터 레이크 또는 데이터 웨어하우스로 전송하는 엔터프라이즈 멀티클라우드 데이터 파이프라인을 보여줍니다. 여기에는 뱃치 통합, 데이터 통합 및 실시간 통합 시나리오가 포함됩니다.
Microsoft Azure용 Oracle Interconnect는 Azure ExpressRoute 및 Oracle Cloud Infrastructure FastConnect를 연결하여 두 개의 개별 클라우드 네트워크를 효율적으로 연결합니다.
Azure의 가상 네트워크(VNet) 트래픽은 OCI의 가상 클라우드 네트워크(VCN)에 대한 전용 상호 연결을 통해 라우팅됩니다.
다음 다이어그램은 이 참조 아키텍처를 보여 줍니다.
oci-azure-multicloud-data-solution-다이어그램-oracle.zip
OCI Data Integration은 네이티브 어댑터를 사용해 온프레미스 및 클라우드 소스에서 데이터를 연결 및 추출하고, BICC 커넥터를 사용해 Oracle SaaS 애플리케이션에 액세스하고, 데이터에 대한 변환을 수행하고, 어댑터를 통해 OCI 데이터 레이크에 데이터를 로드합니다(Oracle Autonomous Database 또는 OCI Object Storage).
Oracle application integration services collect real-time data from diverse source systems such as Oracle SaaS applications, internet-of-things (IoT), streaming services, social media, on-premises systems, and other cloud providers via native adapters. 그런 다음 어댑터(Oracle Autonomous Database 또는 OCI Object Storage)를 사용하여 데이터를 OCI 데이터 레이크로 로드하기 전에 변환 및 통합관리 프로세스를 실행합니다.
OCI GoldenGate는 Oracle Autonomous Database에서 데이터를 캡처하여 OCI FastConnect를 통해 거의 실시간으로 Azure Data Lake Gen2 및 Azure Synapse Analytics에 복제합니다. Synapse로 복제할 때는 Synapse 대상 테이블로 병합하기 전에 Azure Data Lake Storage Gen2의 마이크로 배치에서 변경 데이터를 스테이징하고 병합합니다.
이벤트 플로우
- 데이터 추출 및 전송
- 고객 데이터는 직접 또는 기본 소스별 드라이버를 통해 데이터 소스에서 OCI Object Storage로 전송됩니다.
- 온프레미스 플랫 파일은 고객의 Python 스크립트를 사용하거나 Oracle Integration Cloud Service에 원활하게 연결할 수 있도록 OCI Object Storage와 FTP 연결을 설정하여 OCI Object Storage로 이동됩니다.
- 데이터는 원시 형식으로 암호화를 통해 OCI Object Storage 버킷에 안전하게 업로드됩니다.
- 데이터 수집 및 변환
- OCI Data Integration은 OCI Object Storage 및 기타 소스에서 데이터를 검색하고, Apache Spark 및 제안된 아키텍처 플로우를 사용하여 비즈니스 요구사항에 따라 변환한 후 변환된 데이터를 자율운영 데이터베이스와 함께 OCI Object Storage에 다시 저장합니다.
- 이 프로세스는 활성 ACID 등록 정보 및 압축을 위해 델타 레이크 구조를 따릅니다. 이제 데이터가 구조화되고, 쿼리될 수 있으며, 추가 분석이 가능합니다.
- OCI Logging은 모든 처리 로그를 관리합니다.
- 통합관리 및 스케줄링
- OCI Data Integration은 데이터 플로우 프로세스를 관리하여 필요에 따라 Data Flow 애플리케이션 및 Data Science 노트북의 실행 일정을 잡습니다.
- 개발자는 유연성을 위해 UI 또는 Data Science 서비스 노트북에서 Data Flow 애플리케이션을 실행할 수 있습니다.
- 데이터 아카이브
- 고객이 정의하고 구현하는 OCI Object Storage 수명 주기 정책은 데이터 아카이브 프로세스를 자동화하는 데 중요한 역할을 합니다. 이러한 정책을 통해 사전 정의된 규칙 및 지침에 따라 보다 비용 효율적인 스토리지 계층으로 데이터를 원활하게 이동하거나 오래된 정보를 체계적으로 삭제할 수 있습니다. 이 자동화는 효율적인 데이터 관리뿐만 아니라 조직이 준수해야 하는 다양한 보존 정책을 준수하는 데 필수적입니다.
- 고객은 이러한 수명 주기 정책을 활용하여 스토리지 비용을 최적화하는 동시에 데이터 보존 관행에 대한 제어를 유지하고 법적 및 규제 요구 사항에 부합하도록 보장할 수 있습니다.
- Azure로 데이터 복제
- OCI GoldenGate은 Oracle Interconnect for Microsoft Azure로 설정된 전용 네트워크를 통해 Azure로 데이터를 복제하는 데 사용됩니다.
- OCI GoldenGate는 원활한 데이터 로딩을 위해 Azure Data Lake 및 Azure Synapse Analytics와 긴밀하게 통합됩니다.
- 데이터 분석 및 보고
- Oracle Analytics Cloud 및 Power BI는 OCI Object Storage 또는 Oracle Autonomous Database와의 연결을 설정할 수 있는 비즈니스 인텔리전스 도구의 예입니다.
- 이러한 도구는 변환된 데이터를 수집하고 주요 비즈니스 주요 성과 지표(KPI)를 보여주는 사용자 친화적인 대시보드를 생성합니다.
- 이러한 대시보드를 통해 데이터로부터 귀중한 통찰력을 얻어 정보에 입각한 의사 결정을 촉진할 수 있습니다.
구조에는 다음과 같은 구성 요소가 있습니다.
- Tenancy
테넌시는 Oracle Cloud Infrastructure에 등록할 때 Oracle이 Oracle Cloud 내에서 설정하는 격리된 보안 분할영역입니다. 테넌시 내 Oracle Cloud에서 리소스를 생성, 구성 및 관리할 수 있습니다. 테넌시는 회사 또는 조직과 동의어입니다. 일반적으로 회사는 단일 테넌시를 가지며 해당 테넌시 내의 조직 구조를 반영합니다. 단일 테넌시는 대개 단일 구독과 연관되며, 단일 구독에는 일반적으로 하나의 테넌시만 포함됩니다.
- 지역
Oracle Cloud Infrastructure 리전은 가용성 도메인이라고 하는 데이터 센터가 하나 이상 포함된 지역화된 지리적 영역입니다. 지역은 다른 지역과 독립적이며, 먼 거리가 그들을 분리 할 수 있습니다 (국가 또는 대륙에 걸쳐).
- 구획
구획은 Oracle Cloud Infrastructure 테넌시 내의 영역 간 논리적 파티션입니다. 구획을 사용하여 Oracle Cloud에서 리소스를 구성하고, 리소스에 대한 액세스를 제어하고, 사용 할당량을 설정합니다. 지정된 컴파트먼트의 리소스에 대한 액세스를 제어하려면 리소스에 액세스할 수 있는 사용자 및 이들이 수행할 수 있는 작업을 지정하는 정책을 정의합니다.
- 가용성 도메인
가용성 도메인은 한 지역 내의 독립형 독립 데이터 센터입니다. 각 가용성 도메인의 물리적 리소스는 결함 허용을 제공하는 다른 가용성 도메인의 리소스와 격리됩니다. 가용성 도메인은 전원, 냉각 또는 내부 가용성 도메인 네트워크와 같은 인프라를 공유하지 않습니다. 따라서 한 가용성 도메인의 장애가 해당 영역의 다른 가용성 도메인에 영향을 미치지 않아야 합니다.
- VCN(가상 클라우드 네트워크) 및 서브넷
VCN은 Oracle Cloud Infrastructure 지역에서 설정한 맞춤형 소프트웨어 정의 네트워크입니다. 기존의 데이터 센터 네트워크와 마찬가지로 VCN을 통해 네트워크 환경을 제어할 수 있습니다. VCN에는 VCN 생성 후 변경할 수 있는 겹치지 않는 CIDR 블록이 여러 개 있을 수 있습니다. VCN을 서브넷으로 분할할 수 있습니다. 서브넷은 지역 또는 가용성 도메인으로 범위가 지정될 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속적인 주소 범위로 구성됩니다. 서브넷 생성 후 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.
- ExpressRoute
Azure ExpressRoute를 사용하면 VNet와 다른 네트워크(예: 온프레미스 네트워크 또는 다른 클라우드 공급자의 네트워크) 간에 개인 연결을 설정할 수 있습니다.
Azure ExpressRoute는 일반 인터넷 연결보다 안정적이고 빠른 대안입니다. Azure ExpressRoute를 통한 트래픽은 공용 인터넷을 거치지 않기 때문입니다.
- Autonomous Database
Oracle Autonomous Database는 트랜잭션 처리 및 데이터 웨어하우징 워크로드에 사용할 수 있는 완전 관리형 사전 구성 데이터베이스 환경입니다. 하드웨어를 구성 또는 관리하거나 소프트웨어를 설치할 필요가 없습니다. Oracle Cloud Infrastructure는 데이터베이스 생성은 물론 데이터베이스 백업, 패치, 업그레이드, 튜닝도 처리합니다.
- 오브젝트 스토리지
오브젝트 스토리지를 사용하면 데이터베이스 백업, 분석 데이터, 이미지 및 비디오와 같은 리치 컨텐츠 등 모든 컨텐츠 유형의 대량의 구조적 데이터와 비구조적 데이터에 빠르게 액세스할 수 있습니다. 인터넷 또는 클라우드 플랫폼 내에서 직접 안전하고 안전하게 데이터를 저장하고 검색할 수 있습니다. 성능 또는 서비스 안정성이 저하되지 않고 스토리지를 확장할 수 있습니다. 빠르고 즉각적이며 자주 액세스하는 데 필요한 "핫" 스토리지에 표준 스토리지를 사용합니다. 장기간 보존하고 거의 또는 거의 액세스하지 않는 "콜드" 스토리지에 아카이브 스토리지를 사용합니다.
- 데이터 통합
Oracle Cloud Infrastructure Data Integration은 다양한 데이터 소스에서 Autonomous Data Warehouse 및 Oracle Cloud Infrastructure Object Storage와 같은 대상 Oracle Cloud Infrastructure 서비스로 데이터를 추출, 로드, 변환, 정리 및 재구성하는 완전 관리형 서버리스 클라우드 네이티브 서비스입니다. ETL(변환 로드 추출)은 Spark에서 완전 관리형 스케일아웃 처리를 활용하며, ELT(로드 변환 추출)는 Autonomous Data Warehouse의 전체 SQL 푸시다운 기능을 활용하여 데이터 이동을 최소화하고 새로 수집된 데이터의 가치 실현 시간을 개선합니다. 사용자는 통합 흐름을 최적화하여 가장 효율적인 엔진 및 통합관리를 생성하고 실행 환경을 자동으로 할당 및 확장하는 직관적인 코드 없는 사용자 인터페이스를 사용하여 데이터 통합 프로세스를 설계합니다. Oracle Cloud Infrastructure Data Integration은 대화식 탐색 및 데이터 준비를 제공하며, 스키마 변경을 처리하는 규칙을 정의하여 데이터 엔지니어가 스키마 드리프트로부터 데이터를 보호할 수 있도록 지원합니다.
- Oracle GoldenGate Cloud Service
Oracle GoldenGate Cloud Service는 온프레미스 또는 모든 클라우드에 상주하는 소스에서 데이터를 입수할 수 있는 완전 관리형 서비스로, GoldenGate CDC 기술을 활용하여 Oracle Autonomous Data Warehouse에 실시간으로 효율적으로 데이터를 캡처하고 대량으로 전달하여 소비자가 관련 정보를 최대한 빨리 사용할 수 있도록 지원합니다.
- Oracle Integration
Oracle Integration은 SaaS 및 온프레미스 애플리케이션에 대한 사전 구축 연결, 실행 준비 프로세스 자동화 템플리트, 웹 및 모바일 애플리케이션 개발을 위한 로우 코드 시각적 생성기를 제공합니다. Oracle Cloud ERP, HCM 및 CX의 이벤트에 기본적으로 액세스할 수 있습니다. 앱별 분석 사일로를 연결하여 구매요청-입고, 채용-지급, 가망고객-송장 및 기타 중요한 프로세스를 간소화함으로써 IT 및 비즈니스 리더에게 포괄적인 가시성을 제공합니다.
- Azure Synapse Analytics
Azure Synapse Analytics는 데이터 통합, 엔터프라이즈 데이터 웨어하우징 및 빅데이터 분석을 함께 제공하는 분석 서비스입니다. 이를 통해 서버리스 또는 전용 옵션을 대규모로 사용하여 사용자 조건에 따라 데이터를 쿼리할 수 있습니다. Azure Synapse Analytics는 이러한 개념을 통합 경험과 함께 제공하여 즉각적인 BI 및 머신 러닝 요구를 위해 데이터를 수집, 탐색, 준비, 변환, 관리 및 제공합니다.
- Azure 데이터 레이크 스토리지 Gen2
Azure Data Lake Storage Gen2는 Azure Blob Storage를 기반으로 구축된 빅데이터 분석 전용 기능 세트입니다. Data Lake Storage Gen2는 Azure Data Lake Storage Gen1와 Azure Blob Storage의 기능을 통합합니다.
예를 들어, Azure Data Lake Storage Gen2는 파일 시스템 의미, 파일 레벨 보안 및 확장성을 제공합니다. 이러한 기능은 Blob 스토리지에 구축되므로 고가용성 및 재해 복구 기능을 갖춘 저렴한 계층형 스토리지도 이용할 수 있습니다.
- Azure 애플리케이션 게이트웨이
Azure 애플리케이션 게이트웨이는 웹 애플리케이션에 대한 트래픽을 관리할 수 있는 웹 트래픽(OSI 계층 7) 로드 밸런서입니다. 기존의 로드 밸런서는 전송 계층(OSI 계층 4 - TCP 및 UDP)에서 작동하며 소스 IP 주소 및 포트를 기반으로 트래픽을 대상 IP 주소 및 포트로 라우팅합니다. Azure 애플리케이션 게이트웨이는 HTTP 요청의 추가 속성(예: URI 경로 또는 호스트 헤더)을 기반으로 라우팅 결정을 내릴 수 있습니다.
예를 들어, 수신 URL을 기준으로 트래픽을 라우팅할 수 있습니다. 따라서
/images가 수신 URL에 있는 경우 이미지에 대해 구성된 특정 서버 세트(풀이라고 함)로 트래픽을 라우팅할 수 있습니다. URL에/video가 있는 경우 해당 트래픽은 비디오에 최적화된 다른 풀로 라우팅됩니다.
권장사항
- 프로비전
- 작업 로드의 대역폭 요구 사항을 충족하려면 OCI FastConnect 및 Azure ExpressRoute 가상 회로에 적합한 크기를 선택합니다.
- OCI VCN 및 OCI DRG(Dynamic Routing Gateway) 및 OCI FastConnect에 연결된 서브넷 내에 Oracle Database를 배포합니다.
- Azure Synapse Analytics 네트워크 트래픽이 Oracle Database에 도달할 수 있도록 OCI에서 라우팅 및 보안 측정 또는 NSG(네트워크 보안 그룹)를 설정합니다.
- 프라이빗 끝점으로 Oracle Database를 구성할 때 지정된 VCN에서 배타적으로 트래픽을 허용하고 모든 퍼블릭 IP 또는 VCN에서 액세스를 제한하도록 VCN 설정을 정의합니다.
고려사항
이 참조 아키텍처를 배치할 때는 다음 사항을 고려하십시오.
- 비용
OCI FastConnect: OCI FastConnect의 가격은 모든 OCI 리전에서 일관성을 유지하며, 데이터 수신 또는 송신에 대한 추가 요금은 부과되지 않습니다.
Azure ExpressRoute: Azure ExpressRoute의 가격은 지역에 따라 다릅니다.
- 성능
이 참조 아키텍처에서 고객은 사용 사례를 위해 OCI의 기본 데이터베이스에서 Azure 엔드포인트로 실시간에 가까운 데이터 복제가 필요했습니다. 고객은 OCI GoldenGate을 활용하여 운영 및 분석 운영 시스템의 실시간 데이터로 이기종 및 멀티클라우드 빅데이터 저장소를 지속적으로 업데이트하여 실시간 분석을 용이하게 했습니다.
- 네트워킹
Oracle Interconnect for Microsoft Azure는 대체 네트워크 솔루션 역할을 하며, 특정 Azure-OCI 페어링 리전과 호환됩니다. Azure 및 OCI 리전이 Oracle Database Service for Microsoft Azure를 지원하는지 알아보려면 Oracle Database Service for Azure Regional Availability에 대해 자세히 알아보기를 참조하세요.
OCI 및 Azure 리전이 Oracle Interconnect for Microsoft Azure를 지원하지 않는 경우 각 클라우드 제공업체의 백본을 활용하여 트래픽을 처리할 수 있습니다. OCI 백본을 선택하는 경우 OCI 내의 Oracle Interconnect for Microsoft Azure 리전 및 Oracle Interconnect for Microsoft Azure에 대한 지원이 부족한 리전에 대한 원격 피어링 연결(RPC)을 포함하는 중개 리전을 설정해야 합니다.