실시간으로 Autonomous Database로 데이터 스트리밍
구조
이 아키텍처는 Oracle Cloud Infrastructure Service Connector Hub 관리 서비스를 사용하여 실시간 스트리밍 데이터를 구현하는 방법을 보여줍니다.
다음은 실시간 데이터 스트리밍의 몇 가지 사용 사례입니다.
- 분석: Data Dog 및 Splunk와 같은 다양한 툴을 사용하는 조직의 경우 추가 데이터 처리 및 분석을 실행하기 위해 이제 타사 툴을 지원할 수 있습니다.
- 데이터 아카이브: 대부분의 조직에서는 규정 준수 및 이후 사용을 위해 로그, 측정항목 및 스트림 메시지를 저장해야 합니다. Oracle Cloud Infrastructure Service Connector Hub는 이러한 데이터를 저렴한 방법으로 장기간 저장할 수 있도록 도와줍니다.
- 로그 통지: 사이트 및 데이터베이스 신뢰성의 경우 특정 오류(예: 500개 오류)에 대한 경보와 통지를 설정할 수 있습니다. 이러한 알람은 모니터링 서비스와 통합할 수 있습니다.
- 프로세스 데이터: 서비스 커넥터 허브와의 통합 시 데이터가 사전 처리되도록 Oracle Functions에 대한 트리거를 설정합니다. 이를 통해 데이터 엔지니어가 처리된 데이터를 직접 작업하여 데이터 분석을 수행할 수 있습니다.
- 클라우드 리소스 변경 통지: 서비스 커넥터 허브를 통합하여 전자메일, PagerDuty, Slack, 사용자정의 Webhook을 통해 통지를 보낼 수 있습니다.
- 데이터 이동을 통한 전체 가시성: 서비스 커넥터 허브는 관리자가 데이터를 관리하고 모니터링할 수 있는 하나의 대상을 제공합니다.
다음 다이어그램은 이 참조 아키텍처를 보여줍니다.
그림 stream-data-adb-real-time.png에 대한 설명
구조에는 다음과 같은 구성 요소가 있습니다.
- 영역
Oracle Cloud Infrastructure 지역은 가용성 도메인이라는 하나 이상의 데이터 센터를 포함하는 현지화된 지리적 영역입니다. 지역은 다른 지역에 독립적이며, 거리가 먼 나라 전체나 대륙을 구분할 수 있습니다.
- 가용성 도메인
가용성 도메인은 한 지역 내의 독립형 독립적인 데이터 센터입니다. 각 가용성 도메인의 물리적 리소스는 내결함성을 제공하는 다른 가용성 도메인의 리소스와 격리됩니다. 가용성 도메인은 전원, 냉각 또는 내부 가용성 도메인 네트워크와 같은 인프라를 공유하지 않습니다. 따라서 한 가용성 도메인에서 장애가 발생해도 해당 지역의 다른 가용성 도메인에 영향을 주지 않습니다.
- DRG(Dynamic Routing Gateway)
DRG는 VCN과 지역 외부의 네트워크(예: 다른 Oracle Cloud Infrastructure 지역의 VCN, 온프레미스 네트워크 또는 다른 클라우드 제공자의 네트워크) 간 전용 네트워크 트래픽 경로를 제공하는 가상 라우터입니다.
- 서비스 게이트웨이
서비스 게이트웨이는 VCN에서 다른 서비스(예: Oracle Cloud Infrastructure Object Storage)로의 액세스를 제공합니다. VCN에서 Oracle 서비스로의 트래픽은 Oracle 네트워크 패브릭을 통해 이동하며 인터넷을 순회하지 않습니다.
- VCN(가상 클라우드 네트워크) 및 서브넷
VCN은 Oracle Cloud Infrastructure 지역에서 설정하는 사용자 정의 가능한 소프트웨어 정의 네트워크입니다. 기존의 데이터 센터 네트워크와 마찬가지로 VCN은 네트워크 환경에 대한 완벽한 제어를 제공합니다. VCN에는 VCN을 생성한 후 변경할 수 있는 겹치지 않는 CIDR 블록이 여러 개 있을 수 있습니다. VCN을 영역 또는 가용성 도메인으로 범위가 지정될 수 있는 서브넷으로 분할할 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속 주소 범위로 구성됩니다. 서브넷 생성 후 서브넷의 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.
- 서비스 커넥터
Oracle Cloud Infrastructure Service Connector Hub는 OCI의 서비스 간 데이터 이동을 통합관리하는 클라우드 메시지 버스 플랫폼입니다. 이 툴을 사용하여 Oracle Cloud Infrastructure의 서비스 간에 데이터를 이동할 수 있습니다. 서비스 커넥터를 사용하여 데이터를 이동합니다. 서비스 커넥터는 이동할 데이터, 데이터에 대해 수행할 작업 및 지정된 작업이 완료될 때 데이터를 제공해야 하는 대상 서비스가 포함된 소스 서비스를 지정합니다.
Oracle Cloud Infrastructure Service Connector Hub를 사용하여 SIEM 시스템에 대한 로깅 집계 프레임워크를 빠르게 구축할 수 있습니다. 선택적 작업은 소스에서 데이터를 처리하기 위한 함수 작업 또는 소스에서 로그 데이터를 필터링하는 로그 필터 작업일 수 있습니다.
- 스트리밍
Oracle Cloud Infrastructure 스트리밍은 실시간으로 소비하고 처리할 수 있는 대용량의 연속 데이터 스트림을 입수하기 위한 확장 가능하며 내구성 있는 완전 관리형 스토리지 솔루션을 제공합니다. 스트리밍을 사용하여 애플리케이션 로그, 운영 원격 측정, 웹 클릭-스트림 데이터 같은 대용량 데이터를 입수하거나, 발행-구독 메시징 모델에서 데이터가 연속적으로 생성되고 처리되는 다른 사용 사례에 사용할 수 있습니다.
- 함수
Oracle Functions는 전담 관리되며 확장성이 뛰어난 온디맨드 방식의 FaaS(Functions-as-a-Service) 플랫폼입니다. Fn Project 오픈 소스 엔진에 의해 전원이 공급됩니다. 함수를 사용하면 코드를 배치하고 직접 호출하거나 이벤트에 대한 응답으로 트리거할 수 있습니다. Oracle Functions는 Oracle Cloud Infrastructure Registry에 호스팅된 Docker 컨테이너를 사용합니다.
- 자율운영 데이터베이스
Oracle Cloud Infrastructure 자율 데이터베이스는 트랜잭션 처리 및 데이터 웨어하우징 워크로드에 사용할 수 있는 완전히 관리되는 사전 구성된 데이터베이스 환경입니다. 하드웨어를 구성 또는 관리하거나 소프트웨어를 설치할 필요가 없습니다. Oracle Cloud Infrastructure는 데이터베이스 생성과 데이터베이스 백업, 패치, 업그레이드 및 조정을 처리합니다.
- ID 및 액세스 관리(IAM)
Oracle Cloud Infrastructure Identity and Access Management(IAM)를 사용하면 Oracle Cloud Infrastructure에서 리소스에 액세스할 수 있는 사용자 및 이러한 리소스에 대해 수행할 수 있는 작업을 제어할 수 있습니다.
- 감사 서비스
- 감사 로그: 감사 서비스에서 내보낸 이벤트와 관련된 로그입니다.
- 서비스 로그: 개별 서비스(예: API 게이트웨이, 이벤트, 기능, 로드 밸런싱, 객체 스토리지 및 VCN 플로우 로그)에서 내보낸 로그입니다.
- 사용자정의 로그: 사용자정의 애플리케이션, 기타 클라우드 제공자 또는 온프레미스 환경의 진단 정보를 포함하는 로그입니다.
권장 사항
- VCN
VCN을 생성할 때 VCN의 서브넷에 연결하려는 리소스 수를 기반으로 필요한 CIDR 블록 수 및 각 블록의 크기를 확인하십시오. 표준 전용 IP 주소 공간 내에 있는 CIDR 블록을 사용합니다.
전용 접속을 설정할 다른 네트워크(Oracle Cloud Infrastructure, 온프레미스 데이터 센터 또는 다른 클라우드 제공자)와 겹치지 않는 CIDR 블록을 선택합니다.
VCN을 생성한 후에는 해당 CIDR 블록을 변경, 추가 및 제거할 수 있습니다.
서브넷을 설계할 때는 트래픽 플로우와 보안 요구사항을 고려하십시오. 특정 계층 또는 역할 내의 모든 리소스를 동일한 서브넷에 연결하여 보안 경계 역할을 할 수 있습니다.
- Cloud Guard
Oracle에서 제공하는 기본 레시피를 복제하고 사용자정의하여 사용자정의 감지기 및 응답기 레시피를 생성합니다. 이러한 레시피를 사용하면 경고를 생성하는 보안 위반 유형과 수행할 수 있는 작업을 지정할 수 있습니다. 예를 들어, 가시성이 공용으로 설정된 오브젝트 스토리지 버킷을 감지할 수 있습니다.
테넌시 레벨에서 Cloud Guard를 적용하여 가장 광범위한 범위를 다루고 여러 구성을 유지 관리하는 관리 부담을 줄일 수 있습니다.
관리 목록 기능을 사용하여 특정 구성을 감지기에 적용할 수도 있습니다.
- 보안 영역
최대 보안이 필요한 리소스의 경우 Oracle은 보안 영역을 사용할 것을 권장합니다. 보안 영역은 모범 사례를 기반으로 하는 Oracle 정의 보안 정책의 레시피와 연관된 구획입니다. 예를 들어, 보안 영역의 리소스는 공용 인터넷에서 액세스할 수 없어야 하며 고객 관리 키를 사용하여 암호화해야 합니다. 보안 영역에서 리소스를 생성하고 업데이트할 때 Oracle Cloud Infrastructure는 보안 영역 레시피의 정책에 대해 작업을 검증하고 모든 정책을 위반하는 작업을 거부합니다.
- CIS OCI 랜딩 영역 빠른 시작 템플리트
이 템플리트는 조직이 CIS OCI Foundations 벤치마크 v1.1를 준수할 수 있도록 돕는 OCI(Oracle Cloud Infrastructure) 테넌시에 표준화된 환경을 배치합니다.