OCI Streaming을 사용하여 LogRhythm Kafka Beat로 OCI 로그 스트리밍 정보
시작하기 전에
구조
OCI Streaming은 Connect Harness를 사용하여 Kafka 연결을 기본적으로 지원합니다. Kafka Connect는 싱크 및 소스 커넥터를 사용하여 Kafka 주제의 데이터를 이동하거나 Kafka 주제로 데이터를 전송합니다.
그런 다음 추가 분석을 위해 스트리밍된 데이터를 수집하는 타사 SIEM 플랫폼(예: LogRhythm)과 인터페이스할 수 있습니다. Kafka 비트를 위해 LogRhythm 오픈 컬렉터를 사용하여 Oracle Streaming에서 LogRhythm로 데이터를 이동합니다.
다음 다이어그램은 이 참조 아키텍처의 워크플로우를 보여 줍니다.
stream-oci-logs-logrhythm-kafka-beat.zip
아키텍처의 흐름은 다음과 같습니다.
- OCI Connector Hub는 OCI Logging에서 로그를 읽습니다.
- OCI Connector Hub는 로그 데이터를 OCI Streaming에 기록합니다.
- Kafka Beat Open Collector는 OCI Streaming에서 데이터를 읽습니다.
- LogRhythm는 운영 활동을 위해 데이터를 구문 분석하고 처리합니다.
이 아키텍처는 다음 구성 요소를 지원합니다.
- 로깅로깅은 클라우드의 리소스에서 다음 유형의 로그에 액세스할 수 있는 확장성이 뛰어난 완전 관리형 서비스입니다.
- 감사 로그: 감사 서비스에서 내보낸 이벤트와 관련된 로그입니다.
- 서비스 로그: API 게이트웨이, 이벤트, 함수, 로드 밸런싱, 오브젝트 스토리지, VCN 플로우 로그와 같은 개별 서비스에서 내보낸 로그입니다.
- 사용자 정의 로그: 사용자 정의 응용 프로그램, 다른 클라우드 공급자 또는 온프레미스 환경의 진단 정보를 포함하는 로그입니다.
- 서비스 커넥터
Oracle Cloud Infrastructure Connector Hub는 OCI의 서비스 간 데이터 이동을 통합관리하는 클라우드 메시지 버스 플랫폼입니다. 서비스 커넥터를 사용하여 소스 서비스에서 대상 서비스로 데이터를 이동할 수 있습니다. 서비스 커넥터를 사용하면 대상 서비스로 전달되기 전에 데이터에 대해 수행할 작업(예: 함수)을 선택적으로 지정할 수도 있습니다.
Oracle Cloud Infrastructure Connector Hub를 사용하여 보안 정보 및 이벤트 관리(SIEM) 시스템을 위한 로깅 집계 프레임워크를 빠르게 구축할 수 있습니다.
- 스트리밍
Oracle Cloud Infrastructure Streaming은 실시간으로 소비하고 처리할 수 있는 지속적인 대용량 데이터 스트림을 수집할 수 있는 확장 가능한 영구 스토리지 솔루션을 제공합니다. Streaming을 사용하여 애플리케이션 로그, 운영 원격 측정, 웹 클릭-스트림 데이터 같은 대용량 데이터를 입수하거나, 게시-구독 메시징 모델에서 데이터가 연속적으로 생성되고 처리되는 기타 사용 사례에 사용할 수 있습니다.
필수 서비스 및 역할 정보
이 솔루션에는 다음 서비스가 필요합니다.
- OCI 로깅
- OCI 커넥터 허브
- LogRhythm 수집기 열기
- LogRhythm Kafka 비트
각 서비스에 필요한 역할입니다.
서비스 이름: 자원 유형 | 필수 항목... |
---|---|
OCI 로깅: log-groups |
로그 그룹 및 로그 객체를 생성 및 관리합니다. |
OCI 커넥터 허브: ConnectorUsers |
커넥터를 구성 및 관리합니다. |
LogRhythm 수집기 열기 | LogRhythm에 대해 열린 수집기를 설치하고 구성합니다. |
LogRhythm Kafka 비트 | Kafka Beat를 구성하고 초기화합니다. |
필요한 것을 얻으려면 Oracle 제품, 솔루션 및 서비스를 참조하십시오. LogRhythm의 필수 역할에 대해 알아보려면 Initialize Kafka Beat를 참조하십시오.