Hinweis:

Oracle Cloud Infrastructure und Datadog mit Datadog Observability Pipelines integrieren

Einführung

Oracle Cloud Infrastructure (OCI) ist ein Infrastructure-as-a-Service (IaaS) und Platform-as-a-Service (PaaS), dem große Unternehmen vertrauen. Es bietet eine umfassende Palette von verwalteten Services, die Hosting, Storage, Networking, Datenbanken usw. umfassen.

Die Oracle Cloud Observability and Management Platform ist auf die Präferenzen unserer Kunden abgestimmt. Viele haben etablierte Betriebspraktiken mithilfe von Observability-Tools von Drittanbietern eingeführt. Unser Ziel ist es, eine nahtlose Integration mit diesen Tools sicherzustellen, damit unsere Kunden ihre vorhandenen Investitionen neben OCI nutzen können.

Laut Datadog können Sie mit ihren Observability Pipelines Logs von jeder Quelle zu jedem Ziel in der Infrastruktur erfassen, verarbeiten und weiterleiten, die Sie besitzen oder verwalten.

Datadog-Observability-Pipelines

Der Observability Pipelines Worker ist die Software, die in Ihrer Infrastruktur ausgeführt wird. Es aggregiert und verarbeitet und leitet Ihre Daten zentral weiter. Für die Aufnahme von OCI-Logs in Datadog wird die Observability Pipelines Worker-Software auf einer Compute-Instanz in OCI ausgeführt. Insbesondere wird der Observability Pipelines Worker:

Allgemeine Darstellung der Lösungsarchitektur, wie in der folgenden Abbildung dargestellt.

Architekturdiagramm

Ziele

Voraussetzungen

Aufgabe 1: Zu erfassende Logs konfigurieren

Der Oracle Cloud Infrastructure Logging-Service ist eine hoch skalierbare und vollständig verwaltete zentrale Stelle für alle Logs in Ihrem Mandanten. OCI Logging bietet Zugriff auf Logs aus Oracle Cloud Infrastructure-Ressourcen. Ein Log ist eine erstklassige Oracle Cloud Infrastructure-Ressource, die in einem bestimmten Kontext gesammelte Logereignisse speichert und erfasst. Eine Loggruppe ist eine Sammlung von Logs, die in einem Compartment gespeichert sind. Loggruppen sind logische Container für Logs. Mit Loggruppen können Sie die Verwaltung von Logs organisieren und optimieren, indem Sie die Oracle Cloud Infrastructure Identity and Access Management-(OCI IAM-)Policy anwenden oder Logs zur Analyse gruppieren.

Aktivieren Sie zu Beginn ein Log für eine Ressource. Services bieten Logkategorien für die verschiedenen Logtypen, die für Ressourcen verfügbar sind. Beispiel: Der OCI Object Storage-Service unterstützt die folgenden Logkategorien für Speicher-Buckets: Lese- und Schreibzugriffsereignisse. Lesezugriffsereignisse erfassen Downloadereignisse, während Schreibzugriffsereignisse Schreibereignisse erfassen. Jeder Service kann verschiedene Logkategorien für Ressourcen haben.

  1. Melden Sie sich bei der OCI-Konsole an, und navigieren Sie zu Observability and Management, Logging und Loggruppen.

  2. Wählen Sie Ihr Compartment aus, klicken Sie auf Loggruppe erstellen, und geben Sie die folgenden Informationen ein.

    • Name: Geben Sie Datadog_log_group ein.
    • Beschreibung (Optional): Geben Sie die Beschreibung ein.
    • Tags (Optional): Geben Sie die Tags ein.

  3. Klicken Sie auf Erstellen, um eine neue Loggruppe zu erstellen.

  4. Klicken Sie unter Ressourcen auf Logs.

  5. Klicken Sie nach Bedarf auf Benutzerdefiniertes Log erstellen oder auf das Servicelog aktivieren.

    Beispiel: Um Schreiblogs für einen OCI Object Storage-Bucket zu aktivieren, gehen Sie wie folgt vor:

    1. Klicken Sie auf Servicelog aktivieren.

    2. Wählen Sie Ihr Ressourcen-Compartment aus, und geben Sie Object Storage in die Suchservices ein.

    3. Klicken Sie auf Logs aktivieren, und wählen Sie Ihren OCI Object Storage-Bucket-Namen in der Ressource aus.

    4. Wählen Sie die in Aufgabe 1.2 erstellte Loggruppe (Datadog_log_group) und in der Logkategorie die Option Schreibzugriffsereignisse aus. Geben Sie optional Datadog_bucket_write als Logname ein.

    5. Klicken Sie auf Aktivieren, um das neue OCI-Log zu erstellen.

Aufgabe 2: Stream mit OCI Streaming erstellen

Der Oracle Cloud Infrastructure (OCI) Streaming-Service ist eine serverlose, Apache Kafka-kompatible Ereignis-Streaming-Plattform in Echtzeit für Entwickler und Data Scientists. Es bietet eine vollständig verwaltete, skalierbare und dauerhafte Lösung für die Aufnahme und Nutzung von Datenstreams mit hohem Volumen in Echtzeit, wie Logs. Wir können OCI Streaming für jeden Anwendungsfall verwenden, in dem Daten kontinuierlich und sequenziell in einem Publish-Subscribe-Messagingmodell produziert und verarbeitet werden.

  1. Navigieren Sie zur OCI-Konsole, und navigieren Sie zu Analysen und KI, Messaging und Streaming.

  2. Klicken Sie auf Stream erstellen, um einen Stream zu erstellen.

  3. Geben Sie die folgenden Informationen ein, und klicken Sie auf Erstellen.

    • Name: Geben Sie den Streamnamen ein. Für dieses Tutorial ist es Datadog_Stream.
    • Streampool: Wählen Sie einen vorhandenen Pool aus, oder erstellen Sie einen neuen Pool mit öffentlichem Endpunkt.
    • Aufbewahrung (in Stunden): Geben Sie an, wie viele Stunden Nachrichten in diesem Stream aufbewahrt werden sollen.
    • Anzahl Partitionen: Geben Sie die Anzahl der Partitionen für den Stream ein.
    • Gesamte Schreibrate und Gesamte Leserate: Geben Sie diese Option auf Basis der Datenmenge ein, die Sie verarbeiten müssen.

    Sie können mit Standardwerten für Tests beginnen. Weitere Informationen finden Sie unter Partitionieren eines Streams.

Aufgabe 3: OCI Connector Hub einrichten

OCI Connector Hub orchestriert das Verschieben von Daten zwischen Services in Oracle Cloud Infrastructure. OCI Connector Hub bietet einen zentralen Ort zum Beschreiben, Ausführen und Überwachen von Datenübertragungen zwischen Services, wie OCI Logging, OCI Object Storage, OCI Streaming, OCI Logging Analytics und OCI Monitoring. Außerdem kann es OCI Functions für leichte Datenverarbeitung und OCI Notifications zum Einrichten von Alerts auslösen.

  1. Navigieren Sie zur OCI-Konsole, und navigieren Sie zu Observability and Management, Logging und Connectors.

  2. Klicken Sie auf Connector erstellen, um den Connector zu erstellen.

  3. Geben Sie folgende Informationen ein.

    • Name: Geben Sie Datadog_SC ein.
    • Beschreibung (Optional): Geben Sie die Beschreibung ein.
    • Compartment: Wählen Sie Ihr Compartment aus.
    • Quelle: Wählen Sie Logging aus.
    • Ziel: Wählen Sie Streaming aus.

  4. Wählen Sie unter Quellverbindung konfigurieren einen Compartment-Namen, eine Loggruppe und ein Log (Loggruppe und in Aufgabe 1 erstelltes Log) aus.

  5. Wenn Sie auch Auditlogs senden möchten, klicken Sie auf +Another-Log, und wählen Sie dasselbe Compartment aus, während Sie _Audit als Loggruppe ersetzen.

  6. Wählen Sie unter Ziel konfigurieren ein Compartment und einen Stream (Stream, der in Aufgabe 2 erstellt wurde) aus.

  7. Um Standard-Policys zu akzeptieren, klicken Sie für jede Standard-Policy auf den Link Erstellen. Standard-Policys werden für jede Autorisierung angeboten, die für diesen Connector für den Zugriff auf Quell-, Aufgaben- und Zielservices erforderlich ist.

  8. Klicken Sie auf Erstellen.

Aufgabe 4: Zugriffskontrolle zum Abrufen von Logs

Um über die Datadog-Observability-Pipeline auf Daten aus OCI-Stream zuzugreifen, erstellen Sie einen Benutzer, und erteilen Sie Stream-Pull-Berechtigungen zum Abrufen von Logs.

  1. Erstellen Sie einen OCI-Benutzer. Weitere Informationen finden Sie unter Benutzer verwalten.

  2. Erstellen Sie eine OCI-Gruppe (Datadog_User_Group), und fügen Sie den OCI-Benutzer der Gruppe hinzu. Weitere Informationen finden Sie unter Gruppen verwalten.

  3. Erstellen Sie die folgende OCI-IAM-Policy.

    Allow group <Datadog_User_Group> to use stream-pull in compartment <compartment_of_stream>

    Hinweis: Verwenden Sie diese Benutzerdetails zum Abrufen von Logs aus dem Stream in der Datadog-Observability-Pipelinekonfiguration pipeline.yaml.

Aufgabe 5: Datadog-Observability-Pipeline konfigurieren

  1. Melden Sie sich beim Datadog-Portal an, und klicken Sie auf Integrationen, Observability Pipelines.

    Datadog-Observability-Piplines

  2. Klicken Sie auf Erste Schritte, wenn Sie Pipelines zum ersten Mal verwenden, oder klicken Sie auf Neue Pipeline. Geben Sie den Pipeline-Namen ein, und klicken Sie auf Nächste.

    Pipline erstellen

  3. Wählen Sie QuickStart-Pipelinevorlage und eine Plattform aus.

    Pipline-Vorlage und -Plattform

  4. Wählen Sie einen vorhandenen API-Schlüssel aus, oder erstellen Sie einen neuen API-Schlüssel, und kopieren Sie den Installationsbefehl. API-Schlüssel sind für Ihre Organisation eindeutig. Der Datadog-Agent benötigt einen API-Schlüssel, um Metriken und Ereignisse an Datadog weiterzuleiten.

    Installation des Mitarbeiters

  5. Melden Sie sich bei der Compute-Instanz an, die als Observability Pipeline Worker auf OCI angegeben ist, und führen Sie den folgenden Befehl aus, um den Worker zu installieren.

    Installation des Mitarbeiters

    Die Ausführung des Skripts initiiert die Installation der Datadog Observability Pipelines worker.As, die Teil des Installationsprozesses sind. Unter dem Verzeichnis /etc/default/ wird eine Datei mit dem Namen observability-pipelines-worker mit den Variablen DD_API_KEY, DD_OP_PIPELINE_ID und DD_SITE erstellt.

    Installation des Mitarbeiters

  6. Da die Angabe des Kennworts direkt in der Konfigurationsdatei pipeline.yaml nicht zulässig ist, fügen Sie das Kennwort für den Zugriff auf OCI-Streams (Authentifizierungstoken des in Aufgabe 4 erstellten Benutzers) als weitere Variable (DD_KAFKA_PW) in der Datei /etc/default/observability-pipelines-worker hinzu.

    OCI Streams-Kennwort

  7. Erstellen Sie eine Datei mit dem Namen pipeline.yaml unter /etc/observability-pipelines-worker/ mit der folgenden Konfiguration.

    Ersetzen Sie username, topics und bootstrap_servers durch Ihre Werte.

    sinks:
   Datadog_OCI_Logs:
      default_api_key: ${DD_API_KEY}
      inputs:
         - OCI_LOGS
      site: ${DD_SITE}
      type: datadog_logs
sources:
   OCI_LOGS:
      bootstrap_servers: <Bootstrap Servers>
      group_id: datadog
      sasl:
         enabled: true
         mechanism: PLAIN
         password: ${DD_KAFKA_PW}
         username: <username>
      tls:
         enabled: true
      topics:
         - <OCI_Stream_name>
      type: kafka

    Hinweis: Die obigen Parameter können unter Kafka-Verbindungseinstellungen referenziert werden. Gehen Sie auf der Seite mit den Streampooldetails zu Ressourcen, und klicken Sie auf Kafka-Verbindungseinstellungen.

  8. Um den Worker zu starten, führen Sie den folgenden Befehl aus.

    sudo systemctl restart observability-pipelines-worker

  9. Prüfen Sie den Status des Observability Pipelines Worker. Es sollte laufen.

    sudo systemctl status observability-pipelines-worker

    Hinweis: Wenn der Beobachtbarkeitspipeline-Worker nicht gestartet werden kann, prüfen Sie die Meldungen unter /var/log/messages auf Fehler.

  10. In diesem Schritt sollte ein Observability Pipelines Worker gestartet werden, bei dem Daten aus der Quelle in der Datadog-Konsole einfließen. Wenn der Observability Pipelines Worker hochgefahren und gestartet ist, können Sie auf Pipeline anzeigen klicken, um zur Pipeline zu gelangen.

    Wenn die OCI Connector Hub-, OCI Streaming-Konfiguration in OCI eingerichtet ist, werden Logs angezeigt, die in Datadog fließen.

    MAP für Beobachtbarkeitspipeline

  11. Klicken Sie auf die Logs, um die von OCI aufgenommenen Logs anzuzeigen.

    OCI-Logs

    OCI-Logs

Nächste Schritte

In diesem Tutorial wurde der Prozess der Integration von Oracle Cloud Infrastructure (OCI) und Datadog demonstriert. Auf der Seite "Sicherheitsinformationen und Ereignismanagement" (SIEM) müssen Dashboards definiert werden, um kritische Metriken zu erfassen und Alerts so zu konfigurieren, dass sie ausgelöst werden, wenn vordefinierte Schwellenwerte überschritten werden. Darüber hinaus ist die Definition bestimmter Abfragen entscheidend, um böswillige Aktivitäten zu erkennen und Muster in Ihrem OCI-Mandanten zu identifizieren. Diese Aktionen verbessern Ihren Sicherheitsstatus und ermöglichen eine proaktive Überwachung Ihrer Cloud-Umgebung.

Danksagungen

Weitere Lernressourcen

Lernen Sie andere Übungen auf docs.oracle.com/learn kennen, oder greifen Sie auf weitere kostenlose Lerninhalte im Oracle Learning YouTube Channel zu. Außerdem können Sie education.oracle.com/learning-explorer besuchen, um Oracle Learning Explorer zu werden.

Die Produktdokumentation finden Sie im Oracle Help Center.