Hinweis:

Oracle Cloud Infrastructure-Logs mit Vektor an New Relic senden

Einführung

Oracle Cloud Infrastructure (OCI) generiert verschiedene Logs, die effizient gespeichert, analysiert und überwacht werden müssen.

Vector ist eine Open-Source-Pipeline mit leistungsstarker Beobachtbarkeit, die Logs zu verschiedenen Zielen sammelt, transformiert und weiterleitet, einschließlich New Relic. Vector fungiert als Log-Sender und verarbeitet Protokolle effizient, bevor sie weitergeleitet werden. Sie kann als Agent-basierte Lösung auf Compute-Instanzen bereitgestellt oder als zentralisierter Aggregator zur Verarbeitung von Logs aus mehreren Quellen verwendet werden. Vector ist ein Open-Source-Tool, das von Datadog zum Sammeln, Transformieren und Weiterleiten von Protokollen und anderen Beobachtbarkeitsdaten entwickelt wurde. Betrachten Sie es als eine flexible Pipeline, die Ihre Logs von Quelle zu Ziel verbindet, wodurch der Fluss effizient und anpassbar wird. Weitere Informationen finden Sie unter Vector.

New Relic erweckt Ihre Protokolle mit Echtzeittransparenz und leistungsstarkem Kontext zum Leben, sodass Teams schneller Fehler beheben und sofort Erkenntnisse gewinnen können. Durch die Vereinheitlichung von Protokollen, Metriken und Spuren in einer Plattform reduzieren Sie das Rauschen und konzentrieren sich auf das Wesentliche. Mit integrierten SIEM-Funktionen ermöglicht New Relic Sicherheitsteams, Bedrohungen schnell zu erkennen, zu untersuchen und darauf zu reagieren. Dadurch wird die Beobachtbarkeit zu einem Multiplikator für Sicherheitsvorgänge. Weitere Informationen finden Sie unter New Relic.

In diesem Tutorial wird erläutert, wie Sie Logs und Connectors einrichten, um sie von OCI Logging und OCI Streaming zu senden. Dazu gehört auch Vector als Log-Sender, um Daten aus OCI Streaming zu lesen und sicher an New Relic zu senden.

Die folgende Abbildung zeigt die Architektur für den Ablauf der Logs von OCI und New Relic.

Schaltfläche "Bearbeiten"

Ziele

Dieses Setup ist leicht, erweiterbar und sicher, perfekt für moderne Beobachtungsanforderungen.

Voraussetzungen

Aufgabe 1: OCI konfigurieren, um Logs an OCI Streaming weiterzuleiten

  1. Logs in OCI Logging aktivieren.

    Für dieses Tutorial verwenden wir Auditlogs. Sie können je nach Anwendungsfall auch Service- oder benutzerdefinierte Logs aktivieren. Weitere Informationen finden Sie unter Logging - Überblick.

  2. Stream erstellen.

    1. Informationen zum Erstellen von Streams finden Sie unter Streams erstellen.

      Schaltfläche "Bearbeiten"

    2. Notieren Sie sich den Streamnamen, den Benutzernamen aus dem Streampool und das generierte Authentifizierungstoken für den Benutzer. Weitere Informationen finden Sie unter Authentifizierungstoken.

      All dies benötigen wir in unserer Vektorkonfigurationsdatei.

      Schaltfläche "Bearbeiten"

  3. OCI Connector Hub erstellen.

    Geben Sie die folgenden Informationen ein, um einen Connector Hub zu erstellen.

    • Quelle: Wählen Sie Logging aus.
    • Ziel: Wählen Sie Streaming aus (wählen Sie den in Schritt 2 erstellten Stream aus).
    • Wählen Sie Policys automatisch erstellen aus, um die erforderlichen OCI-IAM-Policys zu generieren.

    Weitere Informationen finden Sie unter Connector mit einer Loggingquelle erstellen.

    Schaltfläche "Bearbeiten"

    Schaltfläche "Bearbeiten"

    Schaltfläche "Bearbeiten"

Aufgabe 2: Vector installieren

Laden Sie die neueste Vector-Version von hier herunter: Vector v0.46.1 und installieren Sie sie in einer beliebigen virtuellen Maschine. In diesem Tutorial verwenden wir die OCI Compute-Instanz.

Führen Sie die folgenden Beispielbefehle aus, um Vector herunterzuladen und zu installieren.

wget https://github.com/vectordotdev/vector/releases/download/v0.45.0/vector-0.45.0-1.aarch64.rpm
sudo dnf install -y vector-0.45.0-1.aarch64.rpm
sudo systemctl start vector
sudo systemctl enable vector

Aufgabe 3: Vector zum Lesen von Logs aus OCI Streaming konfigurieren

Erstellen und bearbeiten Sie die Vector-Konfigurationsdatei unter /etc/vector/vector.yaml.

sources:
  oci_streaming:
    type: kafka
    bootstrap_servers: "cell-1.streaming.us-ashburn-1.oci.oraclecloud.com:9092" #your stream endpoint
    topics: ["vector-stream"] #your stream name
    group_id: "vector-log-processor"
    sasl:
      enabled: true
      mechanism: "PLAIN"
      username: "${STREAM_KAFKA_USERNAME}" #your stream username
      password: "${STREAM_KAFKA_PASSWORD}" #your stream password
    tls:
      enabled: true
      verify_certificate: false
      ca_file: "/etc/vector/oci_ca_cert.pem"

sinks:
  new_relic:
    type: http
    inputs: ["oci_streaming"]
    uri: https://log-api.newrelic.com/log/v1 #your new relic api log ingestion endpoint
    method: post
    auth:
      strategy: bearer
      token: "${NEW_RELIC_API_KEY}" #your new relic license/api key
    encoding:
      codec: "json"
    tls:
      verify_certificate: true
    compression: "gzip"
    batch:
      max_bytes: 1048576

Hinweis: Ändern Sie stream endpoint, stream name, new relic api log ingestion endpoint, NEW_RELIC_API_KEY, STREAM_KAFKA_USERNAME, STREAM_KAFKA_PASSWORD basierend auf Ihrem Setup.

Wichtige Abschnitte:

Aufgabe 4: Logs in New Relic prüfen

Nachdem Sie Vector gestartet haben, führen Sie den folgenden Befehl aus, um die Logs zu prüfen.

sudo journalctl -u vector -f

Sie sollten Logs sehen, die in New Relic fließen. Melden Sie sich bei Ihrem New Relic-Dashboard an, und navigieren Sie zu Logs, um die Aufnahme zu bestätigen.

Schaltfläche "Bearbeiten"

Danksagungen

Weitere Lernressourcen

Sehen Sie sich andere Übungen zu docs.oracle.com/learn an, oder greifen Sie im Oracle Learning YouTube-Channel auf weitere kostenlose Lerninhalte zu. Besuchen Sie außerdem education.oracle.com/learning-explorer, um Oracle Learning Explorer zu werden.

Die Produktdokumentation finden Sie im Oracle Help Center.