Informationen zum Streaming von OCI-Logs mit OCI Streaming in LogRhythm Kafka Beat
Bevor Sie beginnen
Dokumentation überprüfen
OCI Connector Hub:
- Stream erstellen
- Streampool erstellen
- Connector mit einer Loggingquelle erstellen
- Überblick über Connector Hub
LogRhythm:
Architektur
OCI Streaming bietet integrierte Unterstützung für Kafka Connect mit Connect Harness. Kafka Connect verwendet Sink- und Quell-Connectors, um Daten aus Kafka-Themen zu verschieben oder Daten an Kafka-Themen zu senden.
Es kann dann mit einer SIEM-Plattform eines Drittanbieters wie LogRhythm verbunden werden, die gestreamte Daten zur weiteren Analyse sammelt. Wir verwenden den Open Collector LogRhythm für Kafka Beat, um Daten von Oracle Streaming nach LogRhythm zu verschieben.
Das folgende Diagramm veranschaulicht den Workflow dieser Referenzarchitektur.
stream-oci-logs-logrhythm-kafka-beat.zip
Der Fluss der Architektur ähnelt:
- OCI Connector Hub liest das Log aus OCI Logging.
- OCI Connector Hub schreibt Logdaten in OCI Streaming.
- Kafka Beat Open Collector liest Daten aus OCI Streaming.
- LogRhythm parst und verarbeitet Daten für operative Aktivitäten.
Diese Architektur unterstützt die folgenden Komponenten:
- LoggingLogging ist ein hoch skalierbarer und vollständig verwalteter Service, der Zugriff auf die folgenden Logtypen von Ihren Ressourcen in der Cloud ermöglicht:
- Auditlogs: Logs zu Ereignissen, die vom Audit-Service ausgegeben werden.
- Servicelogs:: Logs, die von einzelnen Services wie API Gateway, Events, Functions, Load Balancing, Object Storage und VCN-Flowlogs ausgegeben werden.
- Benutzerdefinierte Logs: Logs, die Diagnoseinformationen von benutzerdefinierten Anwendungen, andere Cloud-Provider oder eine On-Premise-Umgebung enthalten.
- Service-Connectors
Oracle Cloud Infrastructure Connector Hub ist eine Cloud-Nachrichtenbusplattform, die das Verschieben von Daten zwischen Services in OCI orchestriert. Mit Service-Connectors können Sie Daten aus einem Quellservice in einen Zielservice verschieben. Mit Service-Connectors können Sie auch optional eine Aufgabe (wie eine Funktion) angeben, die für die Daten ausgeführt werden soll, bevor sie an den Zielservice zugestellt werden.
Mit Oracle Cloud Infrastructure Connector Hub können Sie schnell ein Loggingaggregations-Framework für Security Information and Event Management-(SIEM-)Systeme erstellen.
- Streaming
Oracle Cloud Infrastructure Streaming bietet eine vollständig verwaltete, skalierbare und dauerhafte Speicherlösung zur Aufnahme kontinuierlicher Datenstreams mit hohem Volumen, die Sie in Echtzeit konsumieren und verarbeiten können. Sie können Streaming verwenden, um hochvolumige Daten wie Anwendungslogs, Betriebstechnik, Clickstream-Webdaten oder für andere Anwendungsfälle zu erfassen, bei denen kontinuierlich und sequenziell Daten in einem Publish-Subscribe-Nachrichtenmodell erzeugt und verarbeitet werden.
Erforderliche Services und Rollen
Diese Lösung erfordert die folgenden Services:
- OCI Logging
- OCI-Connector-Hub
- LogRhythm Open Collector
- LogRhythm Kafka-Beat
Dies sind die Rollen, die für jeden Service erforderlich sind.
Dienstname: Ressourcentyp | Erforderlich für... |
---|---|
OCI-Logging: log-groups |
Erstellen und verwalten Sie Loggruppen und Logobjekte. |
OCI Connector Hub: ConnectorUsers |
Connectors konfigurieren und verwalten |
LogRhythm Open Collector | Installieren und konfigurieren Sie Open Collector für LogRhythm. |
LogRhythm Kafka-Beat | Konfigurieren und initialisieren Sie Kafka Beat. |
Weitere Informationen finden Sie unter Oracle-Produkte, -Lösungen und -Services. Weitere Informationen zu den erforderlichen Rollen von LogRhythm finden Sie unter Kafka Beat initialisieren.