A propos de la transmission en continu de journaux OCI à l'aide d'OCI Streaming vers LogRhythm Kafka Beat
Avant de commencer
Réviser la documentation
OCI Connector Hub :
- Creating a Stream
- Création d'un pool de flux de données
- Création d'un connecteur avec une source Logging
- Présentation de Connector Hub
LogRhythm:
Architecture
OCI Streaming prend en charge la connexion Kafka à l'aide de Connect Harness. Kafka Connect utilise des connecteurs source et d'évier pour déplacer des données à partir de sujets Kafka ou envoyer des données vers des sujets Kafka.
Il peut ensuite communiquer avec une plate-forme SIEM tierce, telle que LogRhythm, qui collecte les données transmises pour une analyse supplémentaire. Nous utilisons le collecteur ouvert LogRhythm pour les temps Kafka afin de déplacer les données d'Oracle Streaming vers LogRhythm.
Le diagramme suivant illustre le workflow de cette architecture de référence.
stream-oci-logs-logrhythm-kafka-beat.zip
Le flux de l'architecture ressemble à :
- OCI Connector Hub lit le journal à partir d'OCI Logging.
- OCI Connector Hub écrit les données de journal dans OCI Streaming.
- Kafka Beat Open Collector lit les données à partir d'OCI Streaming.
- LogRhythm analyse et traite les données pour les activités opérationnelles.
Cette architecture prend en charge les composants suivants :
- LoggingLogging est un service hautement évolutif et entièrement géré qui permet d'accéder aux types de journal suivants à partir des ressources du cloud :
- Journaux d'audit : journaux liés aux événements émis par le service Audit.
- Journaux de service : journaux émis par des services individuels tels qu'API Gateway, Events, Functions, Load Balancing, Object Storage et les journaux de flux VCN.
- Journaux personnalisés : journaux contenant des informations de diagnostic issues d'applications personnalisées, d'autres fournisseurs cloud ou d'un environnement sur site.
- Connecteurs de service
Oracle Cloud Infrastructure Connector Hub est une plate-forme cloud Message Bus qui orchestre les déplacements de données entre des services OCI. Vous pouvez utiliser des connecteurs de service pour déplacer des données d'un service source vers un service cible. Les connecteurs de service vous permettent également d'indiquer éventuellement une tâche (telle qu'une fonction) à effectuer sur les données avant qu'elles ne soient transmises au service cible.
Vous pouvez utiliser Oracle Cloud Infrastructure Connector Hub afin de créer rapidement une structure d'agrégation de journalisation pour les systèmes SIEM (gestion des informations et des événements de sécurité).
- Transmission en continu
Oracle Cloud Infrastructure Streaming constitue une solution de stockage évolutive et durable entièrement gérée permettant d'inclure des flux de données importants transmis en continu, que vous pouvez utiliser et traiter en temps réel. Vous pouvez utiliser Streaming pour l'inclusion de grands volumes de données telles que les journaux d'application, la télémétrie opérationnelle et les données de flux de clics Web, ou pour d'autres cas d'emploi dans lesquels des données sont produites et traitées de manière séquentielle suivant un modèle d'échange de messages de publication-abonnement.
A propos des services et rôles requis
Cette solution nécessite les services suivants :
- OCI Logging
- Hub de connecteurs OCI
- LogRhythm Ouvrir le collecteur
- LogRhythm Beat Kafka
Il s'agit des rôles nécessaires pour chaque service.
Nom de service : Type de ressource | Requis pour... |
---|---|
Journalisation OCI : log-groups |
Créez et gérez des groupes de journaux et des objets de journal. |
OCI Connector Hub : ConnectorUsers |
Configurer et gérer des connecteurs. |
LogRhythm Ouvrir le collecteur | Installez et configurez le collecteur ouvert pour LogRhythm. |
LogRhythm Beat Kafka | Configurez et initialisez Kafka Beat. |
Reportez-vous à Produits, solutions et services Oracle pour obtenir ce dont vous avez besoin. Reportez-vous à la section Initialize Kafka Beat pour en savoir plus sur les rôles requis par LogRhythm.