OCI Functions와 OCI 이벤트 서비스를 통합하여 전용 OSS 스트림에 메시지 게시

클라우드 네이티브 이벤트 기반 아키텍처는 클라우드 리소스와 이벤트를 서비스 간의 주요 통신 메커니즘으로 활용합니다. 구성 요소를 분리하고 이벤트에 대한 실시간 반응을 허용하여 확장 가능하고 탄력적이며 민첩한 시스템을 지원합니다. 분산 이벤트 기반 통신 및 처리를 위해 이벤트 스트리밍 및 서버리스 컴퓨팅을 활용합니다.

Oracle Cloud Infrastructure Events는 다양한 클라우드 리소스의 상태 변경을 기반으로 자동화를 생성하는 강력한 도구입니다. 이를 통해 Oracle Cloud Infrastructure Streaming, OCI FunctionsOracle Cloud Infrastructure Notifications와 같은 특정 OCI 리소스에 이벤트를 전달하는 규칙을 생성할 수 있습니다.

특정 시나리오에서는 개인 스트림에 메시지를 게시해야 합니다. OCI 이벤트는 공용 스트리밍 끝점에 직접 이벤트를 전달할 수 있지만, 전용 끝점은 동일한 VCN 내에서만 분석할 수 있고 OCI 이벤트는 전용 스트림에 푸시 메시지를 액세스할 수 없기 때문에 전용 스트리밍 끝점에 직접 메시지 전달을 지원하지 않습니다. 그러나 OCI 함수를 이벤트 규칙의 작업 유형으로 사용하여 이를 수행할 수 있습니다.

이 참조 아키텍처는 OCI 이벤트와 함께 OCI Functions를 활용하여 개인 스트리밍 엔드포인트에 메시지를 전달하는 방법에 대한 포괄적인 개요를 제공합니다.

구조

이 참조 아키텍처는 OCI FunctionsOCI Events를 활용하여 Oracle Cloud Infrastructure Object Storage에서 파일이 생성되거나 업데이트될 때마다 비공개 OSS 스트리밍 엔드포인트에 메시지를 게시하는 방법을 보여줍니다.

아키텍처 다이어그램은 OCI Object Storage의 특정 버킷에 파일 업로드부터 시작하는 데이터 플로우를 보여줍니다. OCI 이벤트는 정의된 이벤트 규칙 조건을 기반으로 트리거됩니다. 그런 다음 내보낸 이벤트는 업로드된 파일에서 데이터를 추출하고 데이터 및 이벤트 메시지를 모두 OCI 함수 내에 구성된 전용 스트리밍 끝점에 게시하는 함수를 호출합니다. 스트리밍 서비스 및 기능은 OCI 기능이 전용 스트리밍 메시지 끝점에 액세스할 수 있도록 동일한 VCN(가상 클라우드 네트워크) 및 전용 서브넷에 생성되어야 합니다.

다음 다이어그램은 이 참조 아키텍처를 보여줍니다.



oci-functions-events-integration-diagram-oracle.zip

시작하기 전에

  1. OCI Functions 애플리케이션과 OCI Streaming 서비스(스트림 풀 및 스트림)를 설정합니다.
  2. 다음 정보를 수집하십시오. 이러한 값은 OCI Functions에 대한 환경 변수를 구성하는 데 필요합니다.
    • 사용자 ID

      인증할 사용자의 OCID입니다.

    • 테넌시 ID

      테넌시 OCID. 사용자 프로파일에서 찾을 수 있습니다.

    • 지문

      OCI API 인증에 사용됩니다.

    • 지역

      요청을 생성할 영역의 식별자입니다.

    • API 개인 키

      API 전용 키 파일 위치입니다.

    • 스트림 OCID

      OSS 스트림 OCID입니다.

    • 인증 토큰

      사용자 설정의 인증 토큰입니다.

    • 스트림 끝점

      OSS 스트림 끝점(스트림 정보 화면에서 "메시지 끝점"에서 획득)입니다.

아키텍처에는 다음과 같은 구성 요소가 있습니다.

  • 테넌시

    테넌시는 Oracle Cloud Infrastructure에 등록할 때 Oracle이 Oracle Cloud 내에서 설정하는 격리된 보안 파티션입니다. 테넌시 내 Oracle Cloud에서 리소스를 생성, 구성 및 관리할 수 있습니다. 테넌시는 회사 또는 조직과 동의어입니다. 일반적으로 회사는 단일 테넌시를 갖고 해당 테넌시 내의 조직 구조를 반영합니다. 일반적으로 단일 테넌시는 단일 구독에 연결되며, 단일 구독에는 일반적으로 하나의 테넌시만 있습니다.

  • 지역

    Oracle Cloud Infrastructure 리전은 가용성 도메인이라는 하나 이상의 데이터 센터를 포함하는 지역화된 지리적 영역입니다. 지역은 다른 지역과 독립적이며 방대한 거리로 구분할 수 있습니다(국가 또는 대륙).

  • 구획

    구획은 Oracle Cloud Infrastructure 테넌시 내의 영역 간 논리적 파티션입니다. 구획을 사용하여 Oracle Cloud에서 리소스를 구성하고, 리소스에 대한 액세스를 제어하고, 사용 할당량을 설정할 수 있습니다. 지정된 구획의 리소스에 대한 액세스를 제어하기 위해 리소스에 액세스할 수 있는 사용자 및 수행할 수 있는 작업을 지정하는 정책을 정의합니다.

  • 가용성 도메인

    가용성 도메인은 한 지역 내의 독립형 데이터 센터입니다. 각 가용성 도메인의 물리적 리소스는 다른 가용성 도메인의 리소스와 격리되어 내결함성을 제공합니다. 가용성 도메인은 전원, 냉각 또는 내부 가용성 도메인 네트워크와 같은 인프라를 공유하지 않습니다. 따라서 특정 가용성 도메인에서 실패할 경우 해당 지역의 다른 가용성 도메인에 영향을 주지 않습니다.

  • 결함 도메인

    장애 도메인은 가용성 도메인 내 하드웨어와 인프라의 그룹입니다. 가용성 도메인마다 별도의 전원 및 하드웨어가 있는 장애 도메인 3개가 있습니다. 여러 장애 도메인에 리소스를 분배할 때 응용 프로그램은 물리적 서버 실패, 시스템 유지 관리 및 결함 도메인 내의 전원 실패를 허용할 수 있습니다.

  • VCN(가상 클라우드 네트워크) 및 서브넷

    VCN은 Oracle Cloud Infrastructure 지역에서 설정한 커스터마이징 가능한 소프트웨어 정의 네트워크입니다. 기존 데이터 센터 네트워크와 마찬가지로 VCN은 사용자가 네트워크 환경을 완전히 제어할 수 있도록 합니다. VCN에는 VCN을 생성한 후 변경할 수 있는 겹치지 않는 여러 CIDR 블록이 있을 수 있습니다. VCN을 서브넷으로 분할할 수 있습니다. 서브넷은 지역 또는 가용성 도메인으로 범위가 지정될 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속된 주소 범위로 구성됩니다. 서브넷 생성 후 서브넷의 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.

  • 보안 목록

    각 서브넷에 대해 서브넷에 들어오고 나가야 하는 트래픽의 소스, 대상 및 유형을 지정하는 보안 규칙을 생성할 수 있습니다.

  • 서비스 게이트웨이

    서비스 게이트웨이는 VCN에서 Oracle Cloud Infrastructure Object Storage와 같은 다른 서비스로의 액세스를 제공합니다. VCN에서 Oracle 서비스로의 트래픽은 Oracle 네트워크 패브릭을 통해 이동하며 인터넷을 경유하지 않습니다.

  • 객체 스토리지

    객체 스토리지를 사용하면 데이터베이스 백업, 분석 데이터, 이미지 및 비디오와 같은 리치 콘텐츠 등 모든 콘텐츠 유형의 대량의 구조적 및 비구조적 데이터에 빠르게 액세스할 수 있습니다. 인터넷 또는 클라우드 플랫폼 내에서 직접 안전하고 안전하게 데이터를 저장하고 검색할 수 있습니다. 성능 또는 서비스 안정성의 저하 없이 스토리지를 원활하게 확장할 수 있습니다. 빠르고 즉각적이며 자주 액세스하는 데 필요한 "핫" 스토리지에 표준 스토리지를 사용합니다. 장기간 보존하고 거의 액세스하지 않는 "콜드" 스토리지에 아카이브 스토리지를 사용합니다.

  • 이벤트

    Oracle Cloud Infrastructure 서비스는 리소스의 변경 사항을 설명하는 구조화된 메시지인 이벤트를 내보냅니다. 이벤트는 생성, 읽기, 업데이트 또는 삭제(CRUD) 작업, 리소스 수명 주기 상태 변경 및 클라우드 리소스에 영향을 주는 시스템 이벤트에 대해 내보내집니다.

  • 스트리밍

    Oracle Cloud Infrastructure Streaming은 실시간으로 소비하고 처리할 수 있는 지속적인 대용량 데이터 스트림을 수집할 수 있는 확장 가능하며 내구성이 뛰어난 완전 관리형 스토리지 솔루션을 제공합니다. Streaming을 사용하여 애플리케이션 로그, 운영 원격 측정, 웹 클릭 스트림 데이터와 같은 대용량 데이터를 수집하거나, 게시-구독 메시징 모델에서 데이터가 연속적으로 생성되고 처리되는 기타 사용 사례에 사용할 수 있습니다.

  • 함수

    Oracle Cloud Infrastructure Functions는 전담 관리 멀티테넌트, 확장성이 뛰어난 온디맨드 Functions-as-a-Service(FaaS) 플랫폼입니다. Fn Project 오픈 소스 엔진에 의해 구동 됩니다. 함수를 사용하면 코드를 배치하고 직접 호출하거나 이벤트에 대한 응답으로 트리거할 수 있습니다. Oracle Functions는 Oracle Cloud Infrastructure Registry에서 호스팅되는 Docker 컨테이너를 사용합니다.

  • 로깅
    Logging은 확장성이 뛰어난 완전 관리형 서비스로, 클라우드의 리소스에서 다음 유형의 로그에 액세스할 수 있습니다.
    • 감사 로그: 감사 서비스에서 내보낸 이벤트와 관련된 로그입니다.
    • 서비스 로그: API 게이트웨이, 이벤트, 함수, 로드 밸런싱, 오브젝트 스토리지, VCN 플로우 로그와 같은 개별 서비스에서 발행하는 로그입니다.
    • 사용자정의 로그: 사용자정의 애플리케이션, 다른 클라우드 공급자 또는 온프레미스 환경의 진단 정보를 포함하는 로그입니다.

권장 사항

다음 권장사항을 사용하여 OCI FunctionsOCI Events를 사용하여 이 참조 아키텍처를 구현할 수 있습니다. 요구 사항은 여기에 설명된 아키텍처와 다를 수 있습니다.
  • VCN

    VCN을 생성할 때 필요한 CIDR 블록 수와 VCN의 서브넷에 연결하려는 리소스 수를 기반으로 각 블록의 크기를 결정합니다. 표준 전용 IP 주소 공간 내에 있는 CIDR 블록을 사용합니다.

    전용 접속을 설정하려는 다른 네트워크(Oracle Cloud Infrastructure, 온프레미스 데이터 센터 또는 다른 클라우드 제공자)와 겹치지 않는 CIDR 블록을 선택합니다.

    VCN을 생성한 후 해당 CIDR 블록을 변경, 추가 및 제거할 수 있습니다.

    서브넷을 설계할 때 트래픽 흐름 및 보안 요구 사항을 고려합니다. 특정 계층 또는 역할 내의 모든 리소스를 보안 경계로 사용할 수 있는 동일한 서브넷에 연결합니다.

  • 클라우드 가드

    사용자정의 감지기 및 응답기 레시피를 생성하기 위해 Oracle에서 제공하는 기본 레시피를 복제하고 사용자정의합니다. 이러한 레시피를 통해 경고를 발생시키는 보안 위반 유형과 이 유형에 대해 수행할 수 있는 작업을 지정할 수 있습니다. 예를 들어 가시성이 공용으로 설정된 오브젝트 스토리지 버킷을 감지할 수 있습니다.

    테넌시 레벨에서 Cloud Guard를 적용하여 가장 광범위한 범위를 다루고 여러 구성을 유지 관리하는 관리 부담을 줄이십시오.

    관리 목록 기능을 사용하여 특정 구성을 감지기에 적용할 수도 있습니다.

  • OCI 함수

    이 아키텍처의 OCI 기능은 Python을 사용하여 개발되었습니다. OCI 함수는 여러 프로그래밍 언어를 지원하며 사용자가 선택한 언어를 사용하여 함수를 개발하여 배포할 수 있습니다.

  • OCI 스트리밍

    스트림 풀은 VCN의 전용 서브넷을 사용하여 생성됩니다. 이 스트림 풀을 사용하여 스트림이 생성됩니다. 전용 OSS 스트림과 동일한 VCN에 함수를 생성하여 필요한 모든 액세스 권한을 가져야 합니다.

    또한 Streaming은 Kafka Connect 생태계를 활용하여 즉시 사용 가능한 Kafka 소스 및 싱크 커넥터를 사용하여 타사 및 타사 제품과 직접 상호 작용합니다. Kafka Connect 사용에 대한 자세한 내용은 자세히 탐색 을 참조하십시오.

  • OCI 객체 스토리지

    이 아키텍처는 표준 오브젝트 스토리지를 사용하여 파일을 업로드합니다. 서비스도 트리거할 수 있도록 "객체 이벤트 제출"을 사용으로 설정해야 합니다. 또한 민감한 데이터에 전용 버킷을 사용하는 것이 좋습니다.

  • OCI 이벤트

    이 아키텍처에서 OCI 이벤트는 "객체 생성" 및 "객체 업데이트" 이벤트에 대한 OCI Object Storage의 변경사항을 수신하도록 구성됩니다. 객체가 OCI Object Storage에 업로드되고 처리할 함수를 호출하면 서비스가 호출됩니다.

고려 사항

이 참조 아키텍처를 구현할 때는 다음 사항을 고려해야 합니다.

  • 성능

    OCI 이벤트, OCI FunctionsOCI Streaming은 확장성이 뛰어납니다. 예상한 파일 크기 및 수에 따라 파티션 및 스트림 수를 조정하는 것이 좋습니다.

  • 보안

    정책을 사용하여 OCI 리소스에 액세스할 수 있는 사용자를 제한합니다.

    OCI Object Storage의 경우 암호화는 기본적으로 사용으로 설정되며 해제할 수 없습니다.

    OCI Functions에 배포된 기능에 대한 모든 액세스는 Oracle Cloud Infrastructure Identity and Access Management(IAM)를 통해 제어되며, 이를 통해 기능 관리 및 기능 호출 권한을 특정 사용자와 사용자 그룹에 모두 할당할 수 있습니다.

    암호 및 민감한 데이터를 OCI Vault에 저장하는 것이 좋습니다. OCI 서비스 권한 부여에 사용되는 API 키 및 인증 토큰 저장에 OCI Vault 사용을 고려해 보십시오.

  • 가용성

    Oracle은 클라우드 네이티브 및 완전 관리형 OCI Functions, OCI Events, OCI Streaming, OCI Logging의 고가용성을 보장합니다. OCI Streaming에는 다음과 같은 고가용성 기능이 포함되어 있습니다.

    • 로그 데이터의 지속적인 흐름
    • 다중 스레드 및 수평 확장 가능한 서비스
    • 거의 실시간 수집
    • 단기 중단에 대한 복원성
    • 효율적인 데이터 사용을 위한 최적화
  • 비용

    함수가 실행 중인 동안 사용된 리소스에 대해서만 비용을 지불합니다.

배치

GitHub 저장소에는 이 참조 아키텍처를 구현하는 OCI Functions 코드가 포함되어 있습니다.

  1. GitHub으로 이동합니다.
  2. 저장소를 로컬 컴퓨터로 복제하거나 다운로드합니다.
  3. README 문서의 지침을 따릅니다.

추가 탐색

OCI Functions, OCI EventsOCI Streaming에 대해 자세히 알아보십시오.

다음 추가 리소스를 검토하십시오.

수락

Authors: Shan Duraipandian

Contributors: John Sulyok