使用 Vector 将 Oracle Cloud Infrastructure 日志发送到 New Relic

简介

Oracle Cloud Infrastructure (OCI) 可生成各种需要高效存储、分析和监视的日志。

Vector 是一个开源的高性能观测管道，用于收集、转换日志并将其路由到各种目的地，包括 New Relic。Vector 充当日志发货人，在转发日志之前高效地处理日志。它可以作为基于代理的解决方案部署在计算实例上，也可以用作集中聚合商来处理来自多个源的日志。Vector 是由 Datadog 开发的开源工具，用于收集，转换和转发日志和其他可观察性数据。可以将其视为连接从源到目的地的日志的灵活管道，从而提高流效率和可定制性。有关详细信息，请参阅矢量。

New Relic 通过实时可见性和强大的上下文将您的日志付诸实践，帮助团队更快地进行故障排除并立即获得洞察。通过在一个平台中统一日志、指标和跟踪，您可以降低噪音，专注于重要事项。借助内置的 SIEM 功能，New Relic 使安全团队能够快速检测、调查和响应威胁，从而将可观察性转变为安全操作的强制乘数。有关更多信息，请参见New Relic 。

本教程介绍了如何设置日志和连接器以从 OCI Logging 和 OCI Streaming 发送日志和连接器。还将 Vector 作为日志发货人，用于从 OCI Streaming 读取数据并将其安全地发送到 New Relic。

下图显示了如何从 OCI 和 New Relic 传输日志的体系结构。

“编辑”按钮

目标

使用 OCI Connector Hub 设置从 OCI Logging 到 OCI Streaming 的日志转发管道。
安装和配置 Vector 以安全地使用 OCI Streaming。
使用具有结构化 JSON 的经过验证的 HTTPS 将日志转发到 New Relic。

此设置轻便、可扩展且安全，非常适合现代观测需求。

先决条件

New Relic 帐户，其中包含用于日志 ingestion.For 详细信息的 API 密钥，请参阅 New Relic API 密钥。
基于 Linux 的服务器，安装了 Vector 和网络连接，可以访问 New Relic 环境。
已在 OCI 中为用户生成验证令牌。
基本熟悉 OCI Logging 和 OCI Connector Hub。

任务 1：配置 OCI 以将日志转发到 OCI 流处理

在 OCI Logging 中启用日志。

在本教程中，我们将使用审计日志。您还可以根据您的用例启用服务或定制日志。有关详细信息，请参阅事件记录概览。
创建流。
1. 要创建流，请参阅创建流。
2. 记下流名称、流池中的用户名以及为用户生成的验证令牌。有关更多信息，请参见 auth token 。
  
  我们需要在向量配置文件中执行所有这些操作。
创建 OCI Connector Hub 。

要创建连接器中心，请输入以下信息。
- 源：选择日志记录。
- 目标：选择流处理（选择在步骤 2 中创建的流）。
- 选择自动创建策略以生成所需的 OCI IAM 策略。
有关更多信息，请参见 Creating a Connector with a Logging Source 。

任务 2：安装向量

从此处下载最新的 Vector 版本： Vector v0.46.1 并安装在任何虚拟机中。在本教程中，我们使用的是 OCI 计算实例。

运行以下示例命令以下载和安装 Vector。

wget https://github.com/vectordotdev/vector/releases/download/v0.45.0/vector-0.45.0-1.aarch64.rpm
sudo dnf install -y vector-0.45.0-1.aarch64.rpm
sudo systemctl start vector
sudo systemctl enable vector

任务 3：配置向量以从 OCI 流处理读取日志

在 /etc/vector/vector.yaml 上创建和编辑 Vector 配置文件。

sources:
  oci_streaming:
    type: kafka
    bootstrap_servers: "cell-1.streaming.us-ashburn-1.oci.oraclecloud.com:9092" #your stream endpoint
    topics: ["vector-stream"] #your stream name
    group_id: "vector-log-processor"
    sasl:
      enabled: true
      mechanism: "PLAIN"
      username: "${STREAM_KAFKA_USERNAME}" #your stream username
      password: "${STREAM_KAFKA_PASSWORD}" #your stream password
    tls:
      enabled: true
      verify_certificate: false
      ca_file: "/etc/vector/oci_ca_cert.pem"

sinks:
  new_relic:
    type: http
    inputs: ["oci_streaming"]
    uri: https://log-api.newrelic.com/log/v1 #your new relic api log ingestion endpoint
    method: post
    auth:
      strategy: bearer
      token: "${NEW_RELIC_API_KEY}" #your new relic license/api key
    encoding:
      codec: "json"
    tls:
      verify_certificate: true
    compression: "gzip"
    batch:
      max_bytes: 1048576

注：根据您的设置修改 stream endpoint、stream name、new relic api log ingestion endpoint、NEW_RELIC_API_KEY、STREAM_KAFKA_USERNAME 和 STREAM_KAFKA_PASSWORD。

关键部分：

来源： Vector 使用 Kafka 从 OCI Streaming 读取日志。
接收器：通过 HTTPS 将日志通过验证发送到 New Relic。有关详细信息，请参阅使用日志 API 发送日志数据。

任务 4：验证 New Relic 中的日志

启动 Vector 后，运行以下命令以检查日志。

sudo journalctl -u vector -f

您应该会看到流入 New Relic 的日志。登录到 New Relic 仪表盘并导航到日志以确认摄取。