开始之前

Oracle Logging Analytics 是一个高度可扩展、可靠且实时的日志分析解决方案。Logging Analytics 可自动收集来自任何内部部署或云资源的历史日志和实时日志。该服务提供了多种方法,可在您开始分析之前将日志摄取到 OCI。

本指南将引导您完成在日志分析中设置连续日志收集的步骤。在大约 30 分钟内,您将设置日志分析、安装代理、摄取一些重要的 Linux 主机日志,并浏览日志浏览器中的日志。

背景信息

在此示例中,管理代理将安装在 Linux 主机上,我们希望从中连续收集日志。代理通常安装在您的内部部署数据中心,但您也可以将其安装在运行 Linux 的云计算实例上。请注意,本教程重点介绍如何使用独立的管理代理进行日志收集。

了解日志分析中的关键资源及其层次结构。请参阅主要资源的层次

需要做哪些准备?

  • OCI 用户账户。此用户将添加到 Logging-Analytics-SuperAdmins 组。

    要启用 Oracle Logging Analytics,用户必须是管理员组的成员。此外,在使用添加数据向导时,用户必须是具有 root 区间访问权限的管理员组的成员,才能摄取日志以监视 OCI 资源、使用管理代理进行监视(仅当还必须配置管理代理时)、监视 Kubernetes 或监视安全性和合规性。请参阅管理员组、策略和管理员角色

  • 安装管理代理并从中收集日志的 Linux 主机。
  • 如果您的主机是 OCI 计算实例,则可以在 Oracle Cloud Agent 中启用管理代理插件。请参阅在计算实例上部署管理代理。如果要在 Oracle Cloud Agent 中启用管理代理插件,请确保 JVM 堆大小至少为 512 MB。但是,请注意,如果需要,您还可以使用 OCI 计算实例上的独立代理。

    如果您的主机是非 OCI 计算实例,请按安装管理代理一节中所述安装管理代理。

  • 确定适合您用例的日志源。您将源与在后面的部分中创建的实体关联。请注意,您还必须标识要包含在源中的语法分析器。可以根据您的要求,从一组 Oracle 定义的源和语法分析器中进行选择。请参阅日志分析术语和概念:源Oracle 定义的源

启用日志分析

如果您已在使用日志分析,请验证是否已创建服务策略和用户/组策略。打开导航菜单并单击身份和安全。在 Identity(身份)下,单击 Policies(策略)并验证。有关创建的策略的列表,请参见 Policies Created While Onboarding Logging Analytics 。跳过此部分并转到安装管理代理部分。

如果您是新用户并希望开始使用日志分析,请按照以下入职过程进行操作。

  1. 可从顶级 OCI 控制台菜单访问日志分析。导航到可观察性和管理,然后单击日志分析
    后面是 ela1.png 的说明
    插图 ela1 的说明

  2. 查看入职页面,该页面将为您提供服务的高级详细信息以及开始使用日志分析服务的选项。单击开始使用日志分析
    后面是 ela2.png 的说明
    插图 ela2 的说明

  3. 复查自动创建的策略。有关创建的策略的列表,请参见 Policies Created While Onboarding Logging Analytics 。如果日志组 Default 尚不存在,则创建该日志组。成功启用日志分析后,单击下一步继续。
    后面是 ela3.png 的说明
    插图 ela3 的说明

  4. 已配置 OCI 审计日志收集。在子区间中包含 _Audit 复选框默认情况下处于启用状态。有关为配置 OCI 审计日志收集而创建的策略列表,请参见 Policies Created While Onboarding Logging Analytics 。单击下一步
    后面是 ela4.png 的说明
    插图 ela4 的说明

  5. 成功启用 OCI 审计日志分析后,单击转到 OCI 审计日志仪表盘并查看分析。
    后面是 ela6.png 的说明
    插图 ela6 的说明

安装管理座席

要使用管理代理设置连续日志收集,请执行以下步骤。请注意,此处列出的步骤用于使用独立的管理代理进行日志收集。如果您希望在 OCI 计算实例上改用 Oracle Cloud Agent,请确保实施本节中的最后一步。

  1. 转到“管理”页。在 Logging Analytics 中,单击左上角的菜单,然后选择管理。此时将打开“管理”页。

  2. 单击 Add data(添加数据)。此时将打开“添加数据”页。展开 Monitor with management agent 部分。
    后面是 sui2.png 的说明
    插图 sui2 的说明

  3. 单击 Configure Agent 链接。本节将展开,其中包含有关基于管理代理的日志收集的更多信息。
    后面是 sui3.png 的说明
    插图 sui3 的说明

  4. 单击按钮 Configure Agent 。此时将打开“设置摄取”对话框。

  5. 查看使用列出的策略语句自动创建的策略。请注意自动创建的资源。单击 Set Up Ingestion
    后面是 sui4.png 的说明
    插图 sui4 的说明

  6. 按照 Download the Agent Software 链接下载管理代理软件。完成下载后,请按照 Download Agent Installation Script 链接获取安装脚本。在下载管理代理的同一目录中的 Linux 主机上运行安装脚本。有关安装管理代理的详细说明,请参见 Install Management Agents
    后面是 sui5.png 的说明
    对图 sui5 的说明

    安装代理时,请确保部署 Logging Analytics 插件。在安装过程中,您需要创建一个响应文件,在其中必须包括以下有关启用 Logging Analytics 插件的行:

    Service.plugin.logan.download=true

  7. 成功配置管理代理后,单击关闭

  8. (可选)如果要使用 Oracle Cloud Agent 进行日志收集而不是管理代理,请确保动态组 logging_analytics_agent 的区间与安装了 Oracle Cloud Agent 的区间匹配。另外,请确保 JVM 堆大小至少为 512 MB。

准备主机将日志传输到日志分析

注意:

在基于 Unix 的主机上,对于手动安装的管理代理,安装管理代理的用户为 mgmt_agent ;对于启用了 Oracle Cloud Agent 的插件,安装管理代理的用户为 oracle-cloud-agent 。有关 Oracle Cloud Agent 的更多信息,请参阅 Oracle Cloud Agent
  1. 确保代理用户可读日志文件。

    您可以首先验证代理用户是否可读取文件:

    sudo -u <agentuser> /bin/bash -c "cat <log_file_with_complete_path>"

    如果代理用户无法读取日志文件,则使用以下方法之一(按最佳做法的顺序)使日志文件可供管理代理读取。建议您按列出的顺序尝试每个方法,并在尝试下一个方法之前检查访问权限是否可用。

    1. 使用访问控制列表 (Access Control List,ACL) 使代理用户能够读取日志文件路径和日志文件。ACL 为文件系统提供了灵活的权限机制。确保可通过 ACL 读取日志文件的完整路径。

      要在基于 UNIX 的主机中设置 ACL:

      确定包含日志文件的系统是否具有 acl 软件包:

      rpm -q acl

      如果系统包含 acl 软件包,则前面的命令应返回:

      acl-2.2.39-8.el5

      如果系统没有 acl 软件包,则下载并安装该软件包。

    2. 运行以下 setfacl 命令:

      首先,检查现有权限,并在必要时向其添加。请确保更改不会影响现有更改。

      • 向代理用户授予对所需日志文件的 READ 访问权限:
        setfacl -m u:<agentuser>:r <path to the log file/log file name>
      • 对父文件夹以外的文件夹设置“读取和执行”权限:
        setfacl -m u:<agentuser>:rx <path to the folder>
      • 使用父文件夹上的递归选项设置“读取和执行”权限:
        setfacl -R -m u:<agentuser>:rx <path to the folder>
      • 将“Read and Execute(读取和执行)”设置为默认选项,以允许将来在此文件夹下创建的所有日志文件可读。:
        setfacl -d -m u:<agentuser>:rx <path to the folder>

      例如,管理代理用户 mgmt_agent 的路径 /scratch/logs/*.log 需要以下命令:

      setfacl -m u:mgmt_agent:rx /scratch
      setfacl -R -m u:mgmt_agent:rx /scratch/logs
      setfacl -d -m u:mgmt_agent:rx /scratch/logs
    3. 将管理代理和生成日志的产品放在同一用户组中,并使文件可读到整个组。重新开始代理。

      对于 nfs mount ,可能无法向代理用户授予读取日志文件或文件夹的 READ 和 EXECUTE 权限。在这种情况下,请通过运行 bellow 命令将代理用户添加到日志文件组,然后重新启动管理代理:

      usermod -a -G <group of log file> <agentuser>
    4. 使日志文件可供所有用户读取。例如:

      chmod o+r <file>

      您可能需要向父文件夹授予可执行权限。例如:

      chmod o+rx <parent folder>
  2. 验证代理是否与 Oracle Cloud 通信。
    1. 从 OCI 控制台菜单中,导航到可观察性和管理,然后单击管理代理

    2. 使用屏幕左侧的选择器确保您位于 Management-Agents 区间中。

    3. 单击代理菜单。您可以查看最近安装的代理、安装它的主机以及安装的 Logging Analytics 插件。验证代理的可用性是否为活动。请参见 Verify the Management Agent Installation

    4. 监视中查看代理的服务度量,并确保没有错误且数据流令人满意。请参见 Management Agent Metrics:Using the Console

在日志分析中将主机映射到实体

要通过代理启用连续收集,Logging Analytics 中必须存在表示内部部署或云资产的实体。安装管理代理后,将自动创建日志发送主机和管理代理的实体。验证这些实体是否存在于日志分析环境中。如果所需的实体不存在,则创建它们。

创建实体时,选择 Management-Agents(管理代理)作为管理代理区间,然后选择之前安装的代理。当您执行入职或设置摄取的步骤时,向导会自动创建此区间并定位其中的代理。

  1. 从 OCI 控制台菜单中,导航到可观测性和管理,然后单击日志分析。转到管理页。

  2. 在左侧,选择要创建实体的区间。

  3. 在左侧菜单上,单击 Entities(实体)资源菜单链接。您还可以在右侧的“实体”面板中单击计数。

  4. 在“实体”列表页中,单击创建实体按钮。

  5. 选择主机 (Linux) 作为实体类型。您可以开始键入名称以筛选下拉列表。

  6. 提供实体的名称。在本示例中,我们将使用 host123,但通常会使用实际主机名。

  7. 选择 Management-Agents 作为管理代理区间。

  8. 选择您之前安装的代理。

  9. 单击创建
    后面是 myh9.png 的说明
    插图 myh9 的说明

在实体和源之间创建关联

日志分析用户将日志源与实体关联,以通过 OCI 管理代理启动连续日志收集过程。source-entity association 概念仅适用于通过代理进行的连续日志收集。在此部分中,这些步骤可帮助您使用添加数据向导执行源实体关联。

  1. 转到管理页。单击添加数据

    此时将打开“添加数据”向导。


  2. 使用管理代理监视下,单击定制选择

    请注意,对于 Host(Linux) 实体类型的日志,您还可以单击 Linux Core Logs 获取特定类型的实体以及符合条件的源的精简列表。但是,为了体验向导的全部功能,我们将选择定制选择


    后面是 sui2.png 的说明
    插图 sui2 的说明

    在生成的 Configure Agent-based Log Collection 页中,将列出所有已配置的实体。


  3. 通过指定实体类型,从实体列表中进行筛选。选择指定实体类型。从菜单中选择 Host(Linux) 实体类型。

  4. 从 Host(Linux) 类型的实体列表中,最多选择 50 个实体以配置与源的关联。单击下一步
    后面是 ca4.png 的说明
    插图 ca4 的说明

  5. 从表中,选择最多 25 个源以与所选实体关联。
    后面是 ca7.png 的说明
    插图 ca7 的说明

  6. 单击显示代理集合属性以展开该部分。您在此处指定的代理属性将应用于此工作流中添加的所有源实体关联。根据您之前的选择,源类型已填充。表中列出了该源类型的代理属性。
    后面是 ca9.png 的说明
    插图 ca9 的说明

    • 将光标悬停在信息图标上可了解默认值。

    • 新值字段中,输入要修改的属性的新值。确保该值的数据类型是指定的。有关可以为每种源类型修改的属性及其对应的数据类型的列表,请参见 Advanced Configuration Options for Management Agent:Modify Agent Properties

    • 要将属性更改为默认值,请单击“操作”菜单图标,然后选择重置为默认值

    • 要清除属性的当前值,请单击“操作”菜单图标,然后选择清除当前值。如果清除当前值,则会继承新值。保存当前更改并重新打开此对话框后,新值将显示在表中。

      要了解用于设置代理属性的各种层次级别及其值的继承规则,请参见 Advanced Configuration Options for Management Agent:Modify Agent Properties


  7. 选择要关联的实体和源后,指定必须存储所收集日志数据的日志组。
    1. 选择在其中创建日志组的日志组区间

    2. 选择必须存储日志的日志组。选择之前在设置摄取时创建的 logging_analytics_ociaudit 日志组。

      如果要在同一区间中创建新的日志组,请单击新建。此时将打开创建日志组对话框。指定新日志组的名称,并给出适当的说明。单击创建


  8. 要完成关联,请单击验证和配置日志收集

  9. 创建关联后,将显示确认。您还可以查看活动的状态。要查看关联的详细信息,请单击源名称。

    成功配置关联后,将开始日志收集。单击 Take me to Log Explorer 查看日志数据。


    后面是 ca8.png 的说明
    插图 ca8 的说明

浏览日志

关联源和实体后,您现在可以浏览和可视化日志中的数据。

  1. 查看日志浏览器

    单击日志浏览器右侧的范围筛选器图标。


    后面是 el3.png 的说明
    插图 el3 的说明

    系统会自动选择之前创建的默认日志组区间。但是,如果要更改日志组区间,请选择该区间。

    通过区间选择器,您可以根据日志组所在的区间来选择搜索中将包括的日志组。在此处选择区间时,此区间以及所有子区间都将自动包含在内。通过使用根区间,您将基于用户的区间访问策略以及这些区间中的日志组,搜索用户有权访问的所有日志。

    大约两分钟后,您应该开始看到源的日志。"Default Search"(默认搜索)是一个饼图,其中显示所有日志源的日志条目数。


  2. 浏览记录视图

    单击“可视化”菜单,并将所选内容更改为具有直方图的记录


    后面是 el4.png 的说明
    插图 el4 的说明

    此视图将显示按时间交错的所有日志源的日志条目:


    后面是 el5.png 的说明
    插图 el5 的说明

  3. 查看 Cluster Analysis

    您可以在上面的搜索屏幕中看到,在过去 14 天内收集了 27,145 个日志条目。这是要手动检查的大量日志。在较大的生产环境中,在 14 天内可能会有数十亿个日志条目。

    将 "Visualization" 选项更改为 Cluster

    屏幕将更改以显示日志条目的集群。在这里,您可以看到日志条目的 27k 已减少到仅 654 个群集,我们已确定 46 个指示潜在问题的群集和 351 个显示为非正常值的群集。在更长的时间内,数据集越大,集群功能就越好,因为要比较的数据模式反复出现。


    后面是 el7.png 的说明
    插图 el7 的说明

    在第二个条目中,您可以看到只有一种类型的日志条目的计数为 281。这意味着在过去的 14 天内,遵循相同模式的日志条目发生了 281 次。群集样例的某些部分显示为蓝色链接。这是因为在采用这种类似形状的 281 个记录中,不同日志条目的蓝色部分会有所不同。单击蓝色链接可查看特定实例的所有变体。


  4. 使用侧面筛选

    返回“具有直方图的记录”视图的左侧字段面板中,可以单击您感兴趣的字段以查看已从日志中解析的值。显示了这些值的计数和出现趋势。您可以从此处选择值以缩小搜索范围。


    后面是 el8.png 的说明
    插图 el8 的说明

  5. 保存搜索

    保存搜索很重要,有几个原因。首先,您可能希望定期使用搜索,而不必重新编写。您还可以创建搜索,以便组织中的许多人使用这些搜索来获得一致的重要方面视图。此外,保存的搜索可以用作仪表盘的小部件,您稍后将在此演练中看到这一点。

    将可视化更改为水平条形图

    默认情况下,您将获得一个图形,其中 Group By(分组依据)字段被选为 Source(源)(如果您在上面进行了其他查询更改,则它可能为空)。您可以将字段其他服务拖动到分组依据字段中,然后单击应用按钮。

    您将看到一个条形图,其中根据日志条目数显示主机上最常用的服务,如下所示:


    后面是 el9.png 的说明
    插图 el9 的说明

    如果未看到值按计数降序排列,请确保查询具有 as logrecords ,以创建具有该值的计算字段并将 |sort -logrecords 添加到搜索中。这将按记录计数降序排序。有关所使用的查询,请参见上面的屏幕截图。

    • 选择区间以保存搜索。
    • 为搜索指定名称和说明。
    • 单击添加到仪表盘复选框。
    • 要将已保存搜索的小部件添加到新仪表盘,请选择新建仪表盘。或者,您可以将其添加到现有仪表盘
    • 为仪表盘选择区间。
    • 如果是新仪表盘,请为新仪表盘指定名称和说明。否则,请选择现有仪表盘名称。
    • 单击保存按钮。
      后面是 el10.png 的说明
      插图 el10 的说明

    现在,您将看到日志浏览器标题已更改,以包括您正在使用的已保存搜索的名称。如果在此处进行更改并转至操作,单击保存,则可以更新已保存搜索。


    后面是 el11.png 的说明
    插图 el11 的说明

  6. 查看仪表盘

    从顶部导航控件中,单击“Logging Analytics(日志分析)”并选择“Dashboards(仪表盘)”。


    后面是 el12.png 的说明
    插图 el12 的说明

    您将看到一个仪表盘列表页面,其中包含以前在保存搜索的同时创建的仪表盘。如果您在此处看不到新仪表盘,请确保左侧选择的区间是在您保存仪表盘的位置。


    后面是 el13.png 的说明
    插图 el13 的说明

    单击仪表盘名称可查看仪表盘。您可以在此处添加更多保存的搜索小部件,更改页面的布局和小部件的大小。如果更改时间范围或区间筛选器,则会更改所有已保存搜索窗口部件的数据。


    后面是 el14.png 的说明
    插图 el14 的说明

    请继续研究,这只是您可以使用日志分析执行的许多任务的示例!请务必查看产品技术内容,以了解有关如何分析日志的更多详细信息。


了解更多