주:

Datadog Observability Pipelines를 사용하여 Oracle Cloud Infrastructure와 Datadog 통합

소개

Oracle Cloud Infrastructure (OCI) is an Infrastructure-as-a-Service (IaaS) and Platform-as-a-Service (PaaS) trusted by large-scale enterprises. 호스팅, 스토리지, 네트워킹, 데이터베이스 등을 포함하는 포괄적인 관리형 서비스를 제공합니다.

Oracle Cloud Observability and Management Platform은 고객의 선호도에 맞춰 설계되었습니다. 많은 사람들이 타사 관찰성 도구를 사용하여 확립된 운영 관행을 채택했습니다. 우리의 목표는 이러한 툴과의 원활한 통합을 보장하여 고객이 OCI와 함께 기존 투자를 활용할 수 있도록 하는 것입니다.

Datadog에 따르면 관찰 파이프라인을 통해 모든 소스에서 소유하거나 관리하는 인프라의 대상으로 로그를 수집, 처리 및 라우팅할 수 있습니다.

Datadog 관찰성 파이프라인

Observability Pipelines Worker는 인프라에서 실행되는 소프트웨어입니다. 데이터를 집계하고 중앙에서 처리 및 라우팅합니다. Datadog에 OCI 로그인을 수집하기 위해 Observability Pipelines Worker 소프트웨어는 OCI의 컴퓨트 인스턴스에서 실행됩니다. 더 구체적으로, Observability Pipelines Worker는 다음을 수행합니다.

다음 그림과 같이 솔루션 아키텍처의 상위 레벨 표현입니다.

아키텍처 다이어그램

목표

필요 조건

작업 1: 캡처할 로그 구성

Oracle Cloud Infrastructure Logging 서비스는 테넌시의 모든 로그에 대해 확장성이 뛰어난 완전 관리형 단일 창입니다. OCI 로깅은 Oracle Cloud Infrastructure 리소스에서 로그에 대한 액세스를 제공합니다. 로그는 지정된 컨텍스트에서 수집된 로그 이벤트를 저장하고 캡처하는 일류 Oracle Cloud Infrastructure 리소스입니다. 로그 그룹은 구획에 저장된 로그 모음입니다. 로그 그룹은 로그에 대한 논리적 컨테이너입니다. 로그 그룹을 사용하면 분석을 위해 Oracle Cloud Infrastructure Identity and Access Management(OCI IAM) 정책 또는 그룹화 로그를 적용하여 로그 관리를 구성하고 간소화할 수 있습니다.

시작하려면 리소스에 대한 로그를 사용으로 설정하십시오. 서비스는 리소스에 사용 가능한 여러 유형의 로그에 대한 로그 범주를 제공합니다. 예를 들어 OCI Object Storage 서비스는 스토리지 버킷에 대해 읽기 및 쓰기 액세스 이벤트와 같은 로그 범주를 지원합니다. 읽기 액세스 이벤트는 다운로드 이벤트를 캡처하고 쓰기 액세스 이벤트는 쓰기 이벤트를 캡처합니다. 각 서비스는 리소스에 대해 서로 다른 로그 범주를 가질 수 있습니다.

  1. OCI 콘솔에 로그인한 후 관찰성 및 관리, 로깅 및 로그 그룹으로 이동합니다.

  2. 구획을 선택하고 로그 그룹 생성을 누르고 다음 정보를 입력합니다.

    • 이름: Datadog_log_group를 입력합니다.
    • 설명(선택사항): 설명을 입력합니다.
    • 태그(선택사항): 태그를 입력합니다.

  3. 생성을 눌러 새 로그 그룹을 생성합니다.

  4. 리소스에서 로그를 누릅니다.

  5. 사용자정의 로그 생성 또는 서비스 사용 로그를 원하는 대로 누릅니다.

    예를 들어, OCI Object Storage 버킷에 대한 쓰기 로그를 사용으로 설정하려면 다음 단계를 수행합니다.

    1. 서비스 로그 사용을 누릅니다.

    2. 리소스 구획을 선택하고 검색 서비스에 오브젝트 스토리지를 입력합니다.

    3. 로그 사용을 누르고 리소스에서 OCI Object Storage 버킷 이름을 선택합니다.

    4. 로그 범주의 작업 1.2 및 쓰기 액세스 이벤트에서 생성된 로그 그룹(Datadog_log_group)을 선택합니다. 선택적으로 Datadog_bucket_write을 로그 이름으로 입력합니다.

    5. 사용을 눌러 새 OCI 로그를 생성합니다.

작업 2: OCI Streaming을 사용하여 스트림 생성

Oracle Cloud Infrastructure(OCI) Streaming 서비스는 개발자 및 데이터 과학자를 위한 실시간 서버리스 Apache Kafka 호환 이벤트 스트리밍 플랫폼입니다. 로그와 같은 대용량 데이터 스트림을 실시간으로 수집 및 소비하기 위한 확장 가능하고 내구성 있는 완전 관리형 솔루션을 제공합니다. 게시-구독 메시징 모델에서 데이터가 연속적으로 생성 및 처리되는 모든 사용 사례에 OCI Streaming을 사용할 수 있습니다.

  1. OCI 콘솔로 이동하여 분석 및 AI, 메시징, 스트리밍으로 이동합니다.

  2. 스트림 생성을 눌러 스트림을 생성합니다.

  3. 다음 정보를 입력하고 생성을 누릅니다.

    • 이름: 스트림 이름을 입력합니다. 이 자습서에서는 Datadog_Stream입니다.
    • 스트림 풀: 기존 스트림 풀을 선택하거나 공용 끝점이 있는 새 스트림 풀을 생성합니다.
    • 보존(시간): 이 스트림에서 메시지를 보존할 시간 수를 입력합니다.
    • 영역 수: 스트림의 파티션 수를 입력합니다.
    • 총 쓰기 속도 및 총 읽기 속도: 처리해야 하는 데이터 양을 기준으로 입력합니다.

    테스트를 위해 기본값으로 시작할 수 있습니다. 자세한 내용은 Partitioning a Stream을 참조하십시오.

작업 3: OCI 커넥터 허브 설정

OCI Connector Hub는 Oracle Cloud Infrastructure의 서비스 간 데이터 이동을 통합관리합니다. OCI Connector Hub는 OCI Logging, OCI Object Storage, OCI Streaming, OCI Logging Analytics, OCI Monitoring과 같은 서비스 간 데이터 이동을 설명, 실행 및 모니터링하기 위한 중앙 위치를 제공합니다. 또한 경량 데이터 처리를 위한 OCI Functions와 경보 설정을 위한 OCI Notifications를 트리거할 수 있습니다.

  1. OCI 콘솔로 이동하여 관찰성 및 관리, 로깅 및 커넥터로 이동합니다.

  2. 커넥터 생성을 눌러 커넥터를 생성합니다.

  3. 다음 정보를 입력합니다.

    • 이름: Datadog_SC를 입력합니다.
    • 설명(선택사항): 설명을 입력합니다.
    • 컴파트먼트: 해당 구획을 선택합니다.
    • 소스: 로깅을 선택합니다.
    • 대상: 스트리밍을 선택합니다.

  4. 소스 접속 구성에서 구획 이름, 로그 그룹 및 로그(작업 1에서 생성된 로그 그룹 및 로그)를 선택합니다.

  5. 감사 로그도 전송하려면 +Another 로그를 누르고 _Audit를 로그 그룹으로 바꾸면서 동일한 구획을 선택합니다.

  6. 대상 구성에서 구획 및 스트림(작업 2에서 생성된 스트림)을 선택합니다.

  7. 기본 정책을 적용하려면 각 기본 정책에 제공된 생성 링크를 누릅니다. 기본 정책은 이 커넥터가 소스, 작업 및 대상 서비스에 액세스하는 데 필요한 권한 부여에 대해 제공됩니다.

  8. Create를 누릅니다.

작업 4: 로그 검색을 위한 액세스 제어

Datadog Observability Pipeline을 통해 OCI 스트림의 데이터에 액세스하려면 사용자를 생성하고 로그 검색을 위한 stream-pull 권한을 부여합니다.

  1. OCI 유저를 생성합니다. 자세한 내용은 사용자 관리를 참조하십시오.

  2. OCI 그룹(Datadog_User_Group)을 생성하고 OCI 유저를 그룹에 추가합니다. 자세한 내용은 그룹 관리를 참조하십시오.

  3. 다음 OCI IAM 정책을 생성합니다.

    Allow group <Datadog_User_Group> to use stream-pull in compartment <compartment_of_stream>

    주: Datadog Observability Pipeline 구성 pipeline.yaml에서 스트림에서 로그를 가져올 때 이 사용자 세부정보를 사용하십시오.

작업 5: Datadog 관찰성 파이프라인 구성

  1. Datadog 포털에 로그인하고 통합, 관찰성 파이프라인을 누릅니다.

    Datadog 관찰성 파이프라인

  2. 파이프라인을 처음 사용하는 경우 시작하기를 누르고, 새 파이프라인을 누릅니다. 파이프라인 이름을 입력하고 다음을 누릅니다.

    파이프라인 생성

  3. QuickStart 파이프라인 템플리트와 플랫폼을 선택합니다.

    파이프라인 템플리트 및 플랫폼

  4. 기존 API 키를 선택하거나 새 API 키를 생성하고 설치 명령을 복사합니다. API 키는 조직에 고유합니다. Datadog 에이전트가 측정항목 및 이벤트를 Datadog에 제출하려면 API 키가 필요합니다.

    작업자 설치

  5. OCI에서 Observability Pipeline Worker로 지정된 컴퓨트 인스턴스에 로그인하고 다음 명령을 실행하여 Worker를 설치합니다.

    작업자 설치

    스크립트를 실행하면 설치 프로세스의 Datadog 관찰성 파이프라인 worker.As 부분 설치가 시작되고 observability-pipelines-worker라는 파일이 /etc/default/ 디렉토리에 DD_API_KEY, DD_OP_PIPELINE_ID 및 DD_SITE 변수와 함께 생성됩니다.

    작업자 설치

  6. 구성 파일 pipeline.yaml에 직접 비밀번호를 지정할 수 없으므로 OCI 스트림(작업 4에서 생성한 사용자의 인증 토큰)에 액세스하기 위한 비밀번호를 /etc/default/observability-pipelines-worker 파일에 다른 변수(DD_KAFKA_PW)로 추가합니다.

    OCI 스트림 비밀번호

  7. 다음 구성을 사용하여 /etc/observability-pipelines-worker/ 아래에 pipeline.yaml라는 파일을 만듭니다.

    username, topics 및 bootstrap_servers를 값으로 바꿉니다.

    sinks:
   Datadog_OCI_Logs:
      default_api_key: ${DD_API_KEY}
      inputs:
         - OCI_LOGS
      site: ${DD_SITE}
      type: datadog_logs
sources:
   OCI_LOGS:
      bootstrap_servers: <Bootstrap Servers>
      group_id: datadog
      sasl:
         enabled: true
         mechanism: PLAIN
         password: ${DD_KAFKA_PW}
         username: <username>
      tls:
         enabled: true
      topics:
         - <OCI_Stream_name>
      type: kafka

    주: 위의 매개변수는 Kafka 접속 설정에서 참조할 수 있습니다. 스트림 풀 세부정보 페이지에서 리소스로 이동하고 Kafka 접속 설정을 누릅니다.

  8. Worker를 시작하려면 다음 명령을 실행합니다.

    sudo systemctl restart observability-pipelines-worker

  9. 관찰성 파이프라인 워커의 상태를 확인합니다. 실행 중이어야 합니다.

    sudo systemctl status observability-pipelines-worker

    주: Observability Pipeline Worker가 시작되지 않을 경우 /var/log/messages 아래의 메시지에서 오류를 확인하십시오.

  10. 이 단계에서는 Datadog 콘솔의 소스에서 유입되는 데이터로 Observability Pipelines Worker를 부트해야 합니다. 관찰 파이프라인 워커가 작동되어 실행 중인 경우 파이프라인 보기를 눌러 파이프라인으로 이동할 수 있습니다.

    OCI Connector Hub, OCI Streaming 구성이 OCI에 설정된 경우 Datadog로 유입되는 로그를 확인할 수 있습니다.

    관찰성 파이프라인 MAP

  11. OCI에서 수집된 로그를 보려면 로그를 누르십시오.

    OCI 로그

    OCI 로그

다음 단계

이 사용지침서에서는 Oracle Cloud Infrastructure(OCI) 및 Datadog 통합 프로세스를 시연했습니다. SIEM(보안 정보 및 이벤트 관리)측에서는 중요한 측정지표를 캡처하고 미리 정의된 임계값이 초과될 때 트리거할 경보를 구성할 대시보드를 정의해야 합니다. 또한 특정 쿼리를 정의하는 것은 OCI 테넌시 내에서 악성 활동을 감지하고 패턴을 식별하는 데 중요합니다. 이러한 작업은 보안 상태를 더욱 향상시키고 클라우드 환경에 대한 사전 예방적 모니터링을 가능하게 합니다.

확인

추가 학습 자원

docs.oracle.com/learn에서 다른 실습을 살펴보거나 Oracle Learning YouTube 채널에서 더 많은 무료 학습 콘텐츠에 액세스하십시오. 또한 education.oracle.com/learning-explorer를 방문하여 Oracle Learning Explorer가 되십시오.

제품 설명서는 Oracle Help Center를 참조하십시오.