Oracle Cloud 및 Azure에서 Oracle Utilities 데이터용 ETL 플랫폼 배포
Gas South는 Oracle Utilities Customer Cloud Service 애플리케이션을 실행하여 고객 관리, 청구 및 결제 작업을 자동화한 후 Oracle Cloud Infrastructure(OCI)에 ETL(데이터 추출, 변환 및 로딩) 플랫폼을 배포했습니다.
Founded in 2006, Atlanta-based Gas South provides natural gas to more than 425,000 residential, commercial, and governmental customers in 14 states, including Florida, New Jersey, Ohio, Texas, and Tennessee. Gas South는 Oracle Cloud 및 Microsoft Azure 기반의 멀티클라우드 배포를 통해 고객 관리 및 청구 운영을 현대화하는 것 외에도 최근 필요한 어린이들을 지원하고, 기본 요구 사항, 교육 및 건강을 우선시하는 연간 수익의 5%를 지원함으로써 Be A Fuel For Good의 사명을 다시 활성화했습니다. 이 회사는 2006년부터 자선 단체에 1,200만 달러 이상을 기부했으며, 여기에는 2022년에는 320만 달러가 포함되었으며, 기업 기부금의 가장 큰 해였습니다.
OCI에서의 배포에서 Gas South의 고객 관리 및 청구 데이터는 Oracle Cloud Infrastructure Object Storage 버킷에 보관되고, JSON 파일로 구문 분석되고, Oracle SOA Cloud Service를 통해 이동되고, 일반화된 데이터 추출(GDE) 데이터베이스에 저장되는 유틸리티의 SaaS 애플리케이션에서 수집됩니다. 그런 다음 유틸리티 응용 프로그램 데이터는 보안 셸(SSH) 터널을 통과하여 Azure의 SQL Server에서 실행되는 Microsoft Power BI 응용 프로그램에 연결하는 Attunity Qlik 통합 엔진으로 전달하기 전에 추가 분석 및 보고를 위해 구조화됩니다.
이 배포의 주요 내용은 다음과 같습니다.
- 사용자는 VCN(프라이빗 가상 클라우드 네트워크)의 GDE(일반 데이터 추출) 데이터베이스에 연결하기 전에 SSH 터널, 배스천 호스트 및 퍼블릭/프라이빗 키를 사용하여 인증됩니다.
- GDE 서비스는 현재 Oracle Utilities Customer Cloud Service SaaS 애플리케이션에서 고객 관리 데이터를 가져와서 분석 및 보고를 위해 Azure BI 애플리케이션에 연결되는 Attunity Qlik 통합 엔진으로 전달하는 데 사용됩니다.
- 아카이브 로그는 OCI의 Oracle 데이터베이스에서 활성화되어 Attunity Qlik에서 감지한 파일 업데이트를 캡처한 다음 Azure의 Microsoft BI에 통합됩니다.
구조
Gas South는 Oracle SOA Cloud Service(SOACS)를 Oracle Cloud Infrastructure(OCI)에 구축 및 배포하여 이 유틸리티 회사가 Oracle Utilities Customer Cloud Service(CCS)를 셀프 서비스 포털, 대화형 음성 응답(IVR) 시스템 및 Gas South의 결제 및 재무 시스템에 액세스해야 하는 모바일 애플리케이션과 통합할 수 있도록 했습니다.
CCS에서 생성된 데이터를 분석하기 위해 Gas South는 CCS에서 데이터를 추출하여 Microsoft Azure에서 호스팅되는 Microsoft Business Intelligence로 임포트하는 일반화된 데이터 익스포트(GDE) 시스템을 배포했습니다.
아래 다이어그램은 SOA 통합 시스템의 데이터 플로우를 보여줍니다.
다음은 SOA 통합의 데이터 플로우에 대해 설명합니다.
- 사용자는 Gas South의 포털에 액세스합니다.
- Oracle Utilities CCS(CCS)의 청구 데이터가 생성되어 Oracle SOA Suite(SOA)로 전송됩니다.
- SOA가 재무 시스템으로 청구 데이터를 전송합니다.
- SOA는 사용자 검토를 위해 청구를 셀프 서비스 포털로 전송합니다.
- 사용자가 청구서를 납부합니다.
- 지급이 처리되었습니다.
- 청구가 납부되었음을 나타내기 위해 SOA가 납부로 업데이트됩니다.
- SOA가 CCS를 업데이트하여 청구서가 납부되었음을 표시합니다.
아래 다이어그램은 데이터 익스포트 시스템에 대한 데이터 플로우를 보여줍니다.
다음은 데이터 익스포트 및 임포트에 대한 CCS 데이터 플로우에 대해 설명합니다.
- CCS는 2시간마다 일반화된 데이터 내보내기(GDE)를 시작하여 오브젝트 스토리지로 데이터를 내보냅니다.
- Oracle Base Database Service VM의 CLI(명령줄 인터페이스) 스크립트는 파일을 데이터베이스로 복사, 분할 및 로드하기 위해 시작됩니다.
- Attunity Qlik는 로그 변경 사항에 대해 Oracle Database를 읽도록 구성됩니다.
- 변경된 경우 Attunity Qlik가 Oracle Database에서 변경 사항을 가져옵니다.
- 데이터가 Azure SQL로 푸시됩니다.
- 데이터는 Microsoft Business Intelligence에 의해 액세스됩니다.
다음 다이어그램은 Gas South에 대한 참조 아키텍처 다이어그램을 보여 줍니다.
Gas South Portal, IVR 및 모바일 앱은 Microsoft Azure에서 호스팅됩니다. Microsoft Azure 및 Gas South 금융 시스템은 인터넷 게이트웨이를 사용하여 OCI 가상 클라우드 네트워크(VCN)에 연결됩니다. SOA 서비스는 미들웨어를 제공하고 CCS, Gas South Systems 및 타사 재무 시스템은 소스 및 대상 시스템으로 사용됩니다.
관리 서버, 관리 서버 2개 및 MFT(관리 파일 전송) 서버는 SOA의 일부로 배치됩니다. 두 관리 서버는 모두 Oracle 로드 밸런서에 의해 로드 밸런싱됩니다. 데이터베이스는 Oracle Base Database Service를 사용하여 배포됩니다.
데이터 내보내기의 경우 오브젝트 스토리지는 CCS에서 내보낸 파일을 저장하는 데 사용됩니다. Oracle Base Database Service(스테이징 데이터베이스)의 스크립트가 데이터베이스로 파일을 복사, 분할 및 로드하기 위해 시작됩니다. Microsoft Attunity는 SSH 터널을 사용하여 Microsoft Business Intelligence에서 액세스한 스테이징 데이터베이스에서 데이터를 읽고 가져오는 데 사용됩니다. Oracle Cloud Infrastructure Vault는 키를 관리하는 데 사용됩니다.
Oracle은 Gas South에 다음과 같은 미래 상태 권장 사항을 제공했습니다.
- SOACS Marketplace로의 업그레이드를 살펴보십시오. SOACS Marketplace로 업그레이드하면 Gas South가 IT 유지 관리 및 관리 비용을 줄이는 데 도움이 됩니다.
- Oracle Cloud Infrastructure Functions, Oracle Cloud Infrastructure Events, Oracle Cloud Infrastructure Data Integration 및 Oracle Integration을 활용하여 CCS에서 Azure SQL로의 데이터 변환 및 로드 프로세스를 위한 클라우드 네이티브 및 서비스형 플랫폼(PaaS) 옵션을 살펴보세요.
다음 다이어그램은 이러한 향후 참조 구조를 보여줍니다.
새로운 데이터 플로우 패턴은 아키텍처 변경으로 인해 발생합니다.
다음은 데이터 익스포트 및 임포트에 대한 CCS 데이터 플로우에 대해 설명합니다.
- CCS는 2시간마다 일반화된 데이터 내보내기(GDE)를 시작하여 오브젝트 스토리지로 데이터를 내보냅니다.
- Oracle Cloud Infrastructure Events의 이벤트에서는 오브젝트 스토리지에 내보낸 데이터 파일의 추가를 감지합니다.
- 이벤트가 함수를 호출합니다.
- Oracle Cloud Infrastructure Functions의 함수는 OCI Data Integration을 호출합니다.
- OCI Data Integration은 처리된 파일을 객체 스토리지에 저장합니다.
- OCI Data Integration은 처리된 파일을 객체 스토리지에 분할하고 저장합니다.
- Oracle Cloud Infrastructure Events의 이벤트에서는 오브젝트 스토리지에 분할된 데이터 파일 추가를 감지합니다.
- 이벤트가 함수를 호출합니다.
- 함수는 객체 스토리지에서 분할된 파일을 읽습니다.
- 함수는 Oracle Integration을 호출합니다.
- 데이터는 Azure SQL로 푸시되고 Microsoft Business Intelligence에서 액세스합니다.
아키텍처의 구성 요소는 다음과 같습니다.
- Tenancy
테넌시는 OCI에 등록할 때 Oracle이 Oracle Cloud 내에서 설정하는 안전하고 격리된 파티션입니다. 테넌시 내에서 OCI에서 리소스를 생성, 구성 및 관리할 수 있습니다. 테넌시는 회사 또는 조직과 동의어입니다. 일반적으로 회사는 단일 테넌시를 가지며 해당 테넌시 내의 조직 구조를 반영합니다. 단일 테넌시는 대개 단일 구독과 연관되며, 단일 구독에는 일반적으로 하나의 테넌시만 있습니다.
- OCI 리전
OCI 리전은 가용성 도메인을 호스팅하는 데이터 센터가 하나 이상 포함된 지역화된 지리적 영역입니다. 지역은 다른 지역과 독립적이며, 광대한 거리는 (국가 또는 대륙에 걸쳐) 그들을 분리 할 수 있습니다.
- 가용성 도메인
가용성 도메인은 한 지역 내의 독립형 독립형 데이터 센터입니다. 각 가용성 도메인의 물리적 리소스는 내결함성을 제공하는 다른 가용성 도메인의 리소스와 격리됩니다. 가용성 도메인은 전원 또는 냉각과 같은 인프라나 내부 가용성 도메인 네트워크를 공유하지 않습니다. 따라서 한 가용성 도메인의 장애가 해당 지역의 다른 가용성 도메인에 영향을 미치지 않아야 합니다.
- VCN(가상 클라우드 네트워크에 연결) 및 서브넷
VCN(가상 클라우드 네트워크)은 OCI 리전에 설정하는 커스터마이징 가능한 소프트웨어 정의 네트워크입니다. 기존 데이터 센터 네트워크와 마찬가지로 VCN을 사용하면 네트워크 환경을 제어할 수 있습니다. VCN에는 VCN을 생성한 후 변경할 수 있는 겹치지 않는 CIDR(클래스리스 도메인 간 경로 지정) 블록이 여러 개 있을 수 있습니다. VCN을 서브넷으로 분할할 수 있으며, 이 서브넷은 지역 또는 가용성 도메인으로 범위가 지정될 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속적인 주소 범위로 구성됩니다. 썸네일의 크기는 생성 이후 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.
- 경로 테이블
가상 경로 테이블에는 일반적으로 게이트웨이를 통해 서브넷에서 VCN 외부의 대상으로 트래픽을 라우팅하는 규칙이 포함되어 있습니다.
- 보안 목록
각 서브넷에 대해 서브넷 내부 및 외부에서 허용되는 트래픽의 소스, 대상 및 유형을 지정하는 보안 규칙을 생성할 수 있습니다.
- 인터넷 게이트웨이
인터넷 게이트웨이는 VCN의 공용 서브넷과 공용 인터넷 간의 트래픽을 허용합니다.
- 서비스 게이트웨이
서비스 게이트웨이는 VCN에서 Oracle Cloud Infrastructure Object Storage와 같은 다른 서비스로의 액세스를 제공합니다. VCN에서 Oracle 서비스로의 트래픽은 Oracle 네트워크 패브릭을 통해 이동하며 인터넷을 순회하지 않습니다.
- 로드 밸런서
Oracle Cloud Infrastructure Load Balancer는 단일 시작점에서 여러 서버로의 자동 트래픽 분산을 제공합니다.
- OCI 컴퓨팅
Oracle Cloud Infrastructure Compute를 사용하면 클라우드에서 컴퓨트 호스트를 프로비저닝하고 관리할 수 있습니다. CPU, 메모리, 네트워크 대역폭 및 스토리지에 대한 리소스 요구 사항을 충족하는 쉐이프를 사용하여 컴퓨트 인스턴스를 실행할 수 있습니다. 컴퓨팅 인스턴스를 생성한 후에는 안전하게 액세스하고, 재시작하고, 볼륨을 연결 및 분리하고, 더 이상 필요하지 않을 때 종료할 수 있습니다.
- OCI 오브젝트 스토리지
OCI Object Storage는 데이터베이스 백업, 분석 데이터, 이미지 및 비디오와 같은 리치 콘텐츠 등 모든 콘텐츠 유형의 대량의 정형 및 비정형 데이터에 대한 액세스를 제공합니다. 애플리케이션 또는 클라우드 플랫폼 내에서 직접 안전하고 안전하게 데이터를 저장할 수 있습니다. 성능 또는 서비스 안정성이 저하되지 않고 스토리지를 확장할 수 있습니다.
신속하고 즉각적이며 자주 액세스하는 데 필요한 "핫" 스토리지에 표준 스토리지를 사용합니다. 장기간 보관하며 거의 또는 거의 액세스하지 않는 "콜드" 스토리지에 아카이브 스토리지를 사용합니다.
- OCI Vault
Oracle Cloud Infrastructure Vault를 사용하면 클라우드의 리소스에 대한 액세스 보안을 위해 사용하는 데이터와 보안 인증서를 보호하는 암호화 키를 생성하고 중앙에서 관리할 수 있습니다. 기본 키 관리는 Oracle 관리 키입니다. OCI Vault를 사용하는 고객 관리형 키도 사용할 수 있습니다. OCI Vault는 저장소 및 키를 관리할 수 있는 다양한 REST API 세트를 제공합니다.
- OCI 모니터링
Oracle Cloud Infrastructure Monitoring은 클라우드 리소스를 능동적이고 수동적으로 모니터링하고, 측정항목이 지정된 트리거를 충족할 때 알람을 사용하여 통지합니다.
- Oracle Base Database Service
Oracle Base Database Service는 가상 머신에서 모든 기능을 갖춘 Oracle 데이터베이스를 구축, 확장 및 관리할 수 있는 Oracle Cloud Infrastructure(OCI) 데이터베이스 서비스입니다. VM 데이터베이스 시스템은 로컬 스토리지 대신 OCI 블록 볼륨 스토리지를 사용하며 Oracle RAC(Oracle Real Application Clusters)를 실행하여 가용성을 향상시킬 수 있습니다.