지역 전반에서 실시간 멀티클라우드 데이터 분석 아키텍처 구현

조직은 종종 클라우드와 관련하여 모든 데이터 분석 요구 사항에 대해 기존 분석 플랫폼을 활용하고자 합니다.

이 멀티클라우드 솔루션은 미국의 Oracle Cloud Infrastructure(OCI)에서 Oracle E-Business Suite 애플리케이션을 사용하는 고객 중심의 데이터 분석 아키텍처를 설명하고, Oracle E-Business Suite 데이터는 거의 실시간으로 유럽의 Microsoft Azure에 복제되어 Azure Synapse 분석용으로 복제됩니다.

분석 툴과 데이터 소스는 전용 프라이빗 네트워크를 통해 연결되므로 데이터 복제를 위해 짧은 대기 시간과 높은 대역폭을 제공합니다. Oracle Cloud Infrastructure GoldenGate(OCI GoldenGate)는 데이터 복제에 사용됩니다. 고객 요구 사항은 다음을 통해 멀티클라우드 데이터 분석 솔루션으로 해결되었습니다.

  • 온프레미스 Oracle Database를 Oracle Base Database Service로 마이그레이션하면 데이터베이스 가동 시간, 성능, 확장성, 보안 및 생산성을 극대화할 수 있습니다.
  • 분석 스택을 Microsoft Azure에 유지하므로 다운스트림 소비자를 위한 구성/통합에서 중요한 변경을 수행할 필요가 없습니다.
  • OCI GoldenGate를 사용하여 변경 데이터를 Oracle Database에서 Azure Data Lake Gen2 및 Azure Synapse로 실시간으로 복제합니다.

구조

이 참조 아키텍처는 Microsoft Azure 리전의 데이터 분석 도구와 원격 OCI 리전의 데이터 리소스 간에 전용 저지연 연결을 활성화하는 방법을 보여줍니다.

FastConnect 파트너는 Azure ExpressRoute와 Oracle Cloud Infrastructure FastConnect를 연결하여 두 개의 원격 클라우드 네트워크에 연결합니다. Microsoft Azure 트래픽의 가상 네트워크(VNet)는 OCI의 VCN(가상 클라우드 네트워크)에 대한 전용 상호 연결을 순회합니다.

Oracle E-Business Suite 운용 중인 데이터베이스는 Oracle Base Database Service에 예로 배치됩니다. 이 솔루션은 백엔드 데이터베이스로서 Oracle Autonomous Database 및 Exadata Database Service에 적용됩니다.

소스가 Oracle Database이고 대상이 Azure Synapse/Azure Data Lake Storage Gen 2이므로 OCI GoldenGate 복제는 다음 두 가지 배포와 함께 별도의 서브넷에 배치됩니다.
  1. Oracle E-Business Suite 데이터베이스에서 데이터를 수집하기 위한 Oracle 배치입니다.
  2. Oracle E-Business Suite 데이터베이스에서 캡처한 데이터를 Azure Synapse에 적용하기 위한 Big Data 배포입니다.
OCI GoldenGate는 Oracle Database에서 데이터를 캡처하고 해당 데이터를 FastConnect를 통해 거의 실시간으로 Azure Data Lake Gen2 및 Azure Synapse로 복제합니다. Synapse에 대한 OCI GoldenGate 복제는 스테이지 및 병합 데이터 플로우를 사용합니다. 변경 데이터는 임시 위치(즉, 마이크로 일괄 처리의 Azure Data Lake Storage Gen 2)에 배치되고 결국 동기화 대상 테이블로 병합됩니다.

다음 다이어그램은 이 참조 구조를 보여줍니다.



oci-multicloud-db-analytics-azure-arch-oracle.zip

구조에는 다음과 같은 구성 요소가 있습니다.

Oracle Cloud Infrastructure 구성요소

  • Autonomous Transaction Processing

    Oracle Autonomous Transaction Processing은 트랜잭션 처리 워크로드에 최적화된 자동 구동, 자가 보안 및 자가 복구 데이터베이스 서비스입니다. 하드웨어를 구성 또는 관리하거나 소프트웨어를 설치할 필요가 없습니다. Oracle Cloud Infrastructure는 데이터베이스 생성과 데이터베이스 백업, 패치 적용, 업그레이드 및 튜닝을 처리합니다.

  • FastConnect

    Oracle Cloud Infrastructure FastConnect는 데이터 센터와 Oracle Cloud Infrastructure 간에 전용 개인 연결을 생성할 수 있는 쉬운 방법을 제공합니다. FastConnect는 인터넷 기반 연결과 비교할 때 더 높은 대역폭 옵션과 보다 안정적인 네트워킹 환경을 제공합니다.

  • 가용성 도메인

    가용성 도메인은 한 지역 내에 독립적이며 독립적인 데이터 센터입니다. 각 가용성 도메인의 물리적 리소스는 내결함성을 제공하는 다른 가용성 도메인의 리소스와 격리됩니다. 가용성 도메인은 전원 또는 냉각과 같은 인프라나 내부 가용성 도메인 네트워크를 공유하지 않습니다. 따라서 특정 가용성 도메인에서 실패하면 해당 영역의 다른 가용성 도메인에 영향을 주지 않을 수 있습니다.

  • VCN(가상 클라우드 네트워크) 및 서브넷

    VCN은 Oracle Cloud Infrastructure 지역에서 설정하는 커스터마이징 가능한 소프트웨어 정의 네트워크입니다. 기존 데이터 센터 네트워크와 마찬가지로 VCN을 통해 네트워크 환경을 완전히 제어할 수 있습니다. VCN에는 VCN 생성 후 변경할 수 있는 겹치지 않는 여러 CIDR 블록이 있을 수 있습니다. VCN을 서브넷으로 세분화하여 영역 또는 가용성 도메인으로 범위를 지정할 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 인접한 주소 범위로 구성됩니다. 생성 후 서브넷의 크기를 변경할 수 있습니다. 서브넷은 공용(public) 또는 전용(private)으로 지정할 수 있습니다.

  • 보안 목록

    각 서브넷에 대해 서브넷에 들어오고 나가야 하는 트래픽의 소스, 대상 및 유형을 지정하는 보안 규칙을 생성할 수 있습니다.

  • 경로 테이블

    가상 라우팅 테이블에는 일반적으로 게이트웨이를 통해 서브넷에서 VCN 외부의 대상으로 트래픽을 라우팅하는 규칙이 포함됩니다.

  • DRG(동적 경로 지정 게이트웨이)

    DRG는 VCN과 지역 외부의 네트워크(예: 다른 Oracle Cloud Infrastructure 지역의 VCN, 온프레미스 네트워크 또는 다른 클라우드 제공자의 네트워크) 간에 동일한 지역의 VCN 간 전용 네트워크 트래픽 경로를 제공하는 가상 라우터입니다.

  • Oracle Cloud Infrastructure GoldenGate(OCI)

    Oracle Cloud Infrastructure GoldenGate는 온프레미스 또는 모든 클라우드에 상주하는 소스에서 데이터를 입수할 수 있도록 지원하는 완전 관리형 서비스입니다. GoldenGate CDC 기술을 활용하여 Oracle Autonomous Data Warehouse에 실시간으로 효율적으로 데이터를 캡처하고 이를 대규모로 전달함으로써 소비자에게 가능한 한 빨리 관련 정보를 제공할 수 있습니다.

Microsoft Azure 구성요소
  • 가상 네트워크(VNet) 및 서브넷

    VNet는 Azure에서 정의하는 가상 네트워크입니다. VNet에는 VNet를 만든 후 추가할 수 있는 겹치지 않는 여러 CIDR 블록 서브넷이 포함될 수 있습니다. VNet를 서브넷으로 세분화하여 영역 또는 가용성 영역으로 범위를 지정할 수 있습니다. 각 서브넷은 VNet에 있는 다른 서브넷과 겹치지 않는 인접한 주소 범위로 구성됩니다. VNet를 사용하여 네트워크 레벨에서 논리적으로 Microsoft Azure 리소스를 격리합니다.

  • ExpressRoute

    Azure ExpressRoute를 사용하면 VNet와 다른 네트워크(예: 온프레미스 네트워크 또는 다른 클라우드 제공자의 네트워크) 간에 전용 접속을 설정할 수 있습니다. ExpressRoute는 ExpressRoute를 통한 트래픽이 공용 인터넷을 통과하지 않으므로 일반적인 인터넷 연결보다 안정적이고 빠른 대안입니다.

  • 가상 네트워크 게이트웨이

    가상 네트워크 게이트웨이는 지정한 게이트웨이 유형에 따라 공용 인터넷을 통해 또는 ExpressRoute를 사용하여 Azure VNet와 Azure 외부 네트워크 간의 트래픽을 허용합니다.

  • 경로 테이블

    라우팅 테이블은 Azure 서브넷, VNets 및 Azure 외부의 네트워크 간 트래픽을 전달합니다.

  • 네트워크 보안 그룹

    네트워크 보안 그룹에는 VNet 내 Azure 리소스 간의 네트워크 트래픽을 제어하는 규칙이 포함되어 있습니다. 각 규칙은 허용 또는 거부되는 네트워크 트래픽의 소스 또는 대상, 포트, 프로토콜 및 방향을 지정합니다.

  • Azure Synapse 분석

    Azure Synapse Analytics는 데이터 통합, 엔터프라이즈 데이터 웨어하우징 및 빅데이터 분석을 통합하는 분석 서비스입니다. 서버리스 또는 전용 옵션을 사용하여 원하는 대로 데이터를 대규모로 쿼리할 수 있습니다. Azure Synapse는 이러한 개념을 통합 경험과 함께 제공하여 BI 및 머신 러닝에 필요한 데이터를 수집, 탐색, 준비, 변환, 관리 및 제공합니다.

  • Azure 데이터 레이크 스토리지 Gen2

    Azure Data Lake Storage Gen2는 Azure Blob Storage에 구축된 빅데이터 분석 전용 기능 세트입니다. 데이터 레이크 스토리지 Gen2는 Azure 데이터 레이크 스토리지 Gen1와 Azure Blob 스토리지의 기능을 통합합니다. 예를 들어, 데이터 레이크 스토리지 Gen2는 파일 시스템 의미, 파일 레벨 보안 및 스케일을 제공합니다. 이러한 기능은 Blob 스토리지에 구축되므로 고가용성 및 재해 복구 기능을 갖춘 저비용 계층형 스토리지도 얻을 수 있습니다.

권장 사항

다음 권장 사항을 시작점으로 사용합니다. 요구 사항은 여기에 설명된 아키텍처와 다를 수 있습니다.
  • 프로비전 중

    Oracle Cloud Infrastructure FastConnect 및 Azure ExpressRoute 가상 회로의 적절한 크기를 선택하여 워크로드에 필요한 대역폭을 지원합니다.

    OCI DRG(동적 라우팅 게이트웨이) 및 OCI FastConnect에 연결된 OCI VCN(가상 클라우드 네트워크)/서브넷을 사용하여 Oracle Database를 프로비저닝합니다.

    OCI에서 라우팅 및 보안/네트워크 보안 그룹(NSG)을 구성하여 Azure Synapse Analytics 네트워크 트래픽을 Oracle Database로 허용합니다.

    전용 끝점의 Oracle Cloud Database에 대해 지정된 VCN의 트래픽만 허용하도록 VCN 구성을 지정합니다. 모든 공용 IP 또는 VCN에서 데이터베이스에 대한 액세스를 차단합니다.

고려 사항

이 참조 구조를 배치할 때는 다음 사항을 고려하십시오.

  • 비용

    Oracle Cloud Infrastructure FastConnect: FastConnect 비용은 모든 Oracle Cloud Infrastructure 지역에서 동일합니다. 별도의 수신 또는 송신 데이터 요금은 없습니다.

    Azure ExpressRoute: Azure ExpressRoute 비용은 지역마다 다릅니다. Azure에는 익스프레스 경로에 사용할 수 있는 SKU가 두 개 이상 있습니다. Oracle은 별도의 수신 또는 송신 요금이 없으며 최소 대역폭인 1Gbps로 시작하므로 로컬 설정을 사용할 것을 권장합니다. Standard 및 Premium 구성은 낮은 대역폭을 제공하지만 종량제 설정에서 별도의 송신 요금이 발생합니다.

    Oracle Autonomous Transaction Processing에서 Oracle CPU(OCPU)의 자동 확장을 사용하면 필요할 때 최대 워크로드를 처리할 수 있으며 결과적으로 라이센스 비용을 대폭 절감할 수 있습니다.

  • 성능

    이 참조 아키텍처의 고객 사용 사례는 기본 데이터베이스의 OCI에서 Azure 엔드포인트로 거의 실시간으로 데이터를 복제해야 했습니다. OCI GoldenGate의 도움으로 고객의 이기종 및 멀티클라우드 빅 데이터 저수지는 항상 운영 및 분석 운영 시스템의 실시간 데이터로 최신 상태로 유지되어 실시간 분석을 지원했습니다.

  • 네트워킹

    Microsoft Azure용 Oracle Interconnect를 대체 네트워크 솔루션으로 사용할 수도 있습니다. Oracle Interconnect for Microsoft Azure는 특정 Azure-OCI 페어링된 지역에서만 사용할 수 있습니다. 자세한 내용은 자세히 알아보기 섹션에서 Azure 및 OCI 지역이 Azure용 OracleDB를 지원하는지 알아보기를 참조하십시오.

    OCI 및 Azure 리전이 Oracle Interconnect for Microsoft Azure를 지원하지 않는 경우 각 클라우드 제공자(OCI 및 Azure)의 백본을 사용하여 트래픽을 전달할 수 있습니다. OCI 백본을 사용하는 경우 OCI 내부의 Microsoft Azure용 Oracle Interconnect 및 Microsoft Azure용 Oracle Interconnect를 지원하지 않는 리전의 RPC(원격 피어링 접속)를 포함하는 중간 리전을 생성해야 합니다.

    참고:

    RPC와 함께 OCI 백본을 설계에 사용하는 경우 DRG(Dynamic Routing Gateway) 레벨에서 커스터마이징 라우팅을 사용하여 중간 지역의 트래픽을 다른 지역으로 라우팅해야 합니다. 여기에는 상호 연결 적격 지역이 포함되지 않습니다. Azure 백본을 사용하려면 ExpressRoute SKU 로컬, 표준 및 프리미엄을 고려하여 Azure 내 두 지역을 연결하는 데 적합한 SKU가 있는지 확인합니다. Megaport 클라우드 라우터와 같은 계층 3 서비스에서 FastConnect 제공자를 사용하는 것도 고려할 수 있습니다.

수락

  • Author: Shrinidhi Kulkarni
  • Contributors: Wei Han, Atefeh Yousefi Attaei