Acerca de la transmisión de logs de OCI mediante OCI Streaming a LogRhythm Kafka Beat
Antes de empezar
Revisar documentación
Hub de OCI Connector:
- Creación de un Flujo
- Crear un pool de flujos
- Creación de un conector con un origen de registro
- Visión general de hub de conector de servicio
LogRhythm:
Arquitectura
OCI Streaming tiene soporte incorporado para la conexión de Kafka mediante Connect Harness. Kafka Connect utiliza conectores de receptor y de origen para mover datos de temas de Kafka o enviar datos a temas de Kafka.
A continuación, puede interactuar con una plataforma SIEM de terceros, como LogRhythm, que recopila los datos transmitidos para un análisis más detallado. Utilizamos el recopilador abierto LogRhythm para Kafka beat para mover datos de Oracle Streaming a LogRhythm.
El siguiente diagrama ilustra el flujo de trabajo de esta arquitectura de referencia.
stream-oci-logs-logrhythm-kafka-beat.zip
El flujo de la arquitectura se asemeja a:
- OCI Connector Hub lee el log de OCI Logging.
- OCI Connector Hub escribe datos de log en OCI Streaming.
- Kafka Beat Open Collector lee datos de OCI Streaming.
- LogRhythm analiza y procesa los datos de las actividades operativas.
Esta arquitectura admite los siguientes componentes:
- LoggingLogging es un servicio altamente escalable y totalmente administrado que proporciona acceso a los siguientes tipos de registros de sus recursos en la nube:
- Logs de auditoría: logs relacionados con eventos emitidos por el servicio de auditoría.
- Logs de servicios: logs emitidos por servicios individuales como API Gateway, eventos, funciones, equilibrio de carga, Object Storage y logs de flujo de VCN.
- Logs personalizados: logs que contienen información de diagnóstico de aplicaciones personalizadas, otros proveedores de nube o un entorno local.
- Conectores de servicio
Oracle Cloud Infrastructure Connector Hub es una plataforma de bus de mensajes en la nube que organiza el movimiento de datos entre servicios de OCI. Puede utilizar conectores de servicio para mover datos de un servicio de origen a un servicio de destino. Los conectores de servicio también permiten especificar opcionalmente una tarea (como una función) que se debe realizar en los datos antes de que se entreguen al servicio de destino.
Puede utilizar Oracle Cloud Infrastructure Connector Hub para crear rápidamente un marco de agregación de registros para sistemas de información de seguridad y gestión de eventos (SIEM).
- Flujo
Oracle Cloud Infrastructure Streaming proporciona una solución de almacenamiento duradero, escalable y totalmente gestionada para la ingesta de flujos de datos continuos y de alto volumen que puede consumir y procesar en tiempo real. Puede utilizar Streaming para ingerir datos de gran volumen, como logs de aplicación, telemetría operativa, datos de flujo de clics en la web o para otros casos de uso en los que se producen y procesan datos de forma continua y secuencial en un modelo de mensajería de suscripción.
Acerca de los servicios y los roles necesarios
Esta solución requiere los siguientes servicios:
- Registro de OCI
- Hub de conector de OCI
- LogRhythm Abrir Recopilador
- LogRhythm Kafka Beat
Estos son los roles necesarios para cada servicio.
Nombre de servicio: tipo de recurso | Necesario para... |
---|---|
Registro de OCI: log-groups |
Crear y gestionar grupos de logs y objetos de log. |
OCI Connector Hub: ConnectorUsers |
Configurar y gestionar conectores. |
LogRhythm Abrir Recopilador | Instale y configure Open Collector para LogRhythm. |
LogRhythm Kafka Beat | Configure e inicialice Kafka Beat. |
Consulte Productos, soluciones y servicios de Oracle para obtener lo que necesita. Consulte Inicialización de Kafka Beat para obtener más información sobre los roles necesarios de LogRhythm.