注:

使用 OCI 日志分析分析功能分析示例日志

简介

典型的企业环境具有大量的日志遥测。查找有趣的日志数据和事件,并将它们与来自您所有应用的特定业务流相关联,或者识别异常行为可能比较困难。OCI 日志分析是一个云解决方案,用于汇总和分析来自内部部署和多云环境的各种日志数据、为其编制索引。通过它,您可以搜索、浏览和关联这些数据,获得运营洞察并做出明智的决策。日志分析可以摄取、分析和关联几乎所有来源的日志。关联活动利用开箱即用的机器学习和复杂的查询语言。
在此教程中,您将了解如何在预配置环境中使用 OCI 日志分析来轻松执行此类任务,包括异常检测、事件集群、日志关联和异常检测。

目标

了解如何利用预构建的机器学习算法、上下文中的和交互式仪表盘分析日志文件来快速查明问题,以及使用 OCI 日志分析来确定根本原因。

先决条件

开始之前

启动实验室后,您将会收到您自己的桌面。您将使用浏览器登录到设计并配置为运行特定日志分析任务的 Oracle Cloud Infrastructure 环境。

您将以 OCI 管理员用户身份登录,并在单个区域中执行实验室步骤。

登录到 OCI 环境

  1. 如果尚未完成此操作,请导航到桌面,通过双击该文件打开 Luna-Lab.html 文件。如果出现对话框,请检查 Chrome 是否已选为默认浏览器,并取消选中向 Google 发送统计信息和崩溃报告。

  2. 记下此文件中的详细信息,向下滚动以查看所有详细信息:指向 OCI 的快速链接、您的用户名和密码,以及其他实验室详细信息。单击 OCI CONSOLE 按钮。OCI 登录界面将在单独的选项卡中打开。单击 OCI Console 按钮,并且 OCI 控制台登录会出现在新的浏览器选项卡中。如果显示有关站点上的 cookie 的消息,请单击我接受所有 cookie 按钮。

  3. 导航到第一个选项卡,复制您的用户名并将其粘贴到第二个选项卡的用户名字段中。

  4. 重复上面的步骤 3,这次复制密码,然后单击登录。如果您希望并忽略可能弹出的任何其他消息,请保存密码。

    由于您的区间具有超级管理员组,并且您是该组的超级管理员,您需要从根区间移至您分配的特定区间;因此,在检索查询结果时会显示红色资源错误消息。在第一个“Luna Lab”选项卡上,向下滚动到底部,并记下您分配的 OCI 区间名称

  5. 在 OCI 控制台的左上方单击导航图标,单击可观察性和管理,导航到日志分析,然后单击日志浏览器。忽略检索查询结果时出错!

  6. 单击日志浏览器右侧的 Filter(筛选器)图标。

    然后,导航到第一个浏览器选项卡,找到您的 OCI 区间名称并单击复制。返回到 OCI 环境,将区间名称粘贴到日志组区间搜索字段中,然后选择您的区间。单击应用

  7. 在时间窗口(右上角)中,选择过去 14 天

  8. 要验证要从中收集日志的实体是否已正确设置,请导航到左上角的菜单,选择管理。在管理概览页面上,将区间字段设置为您在上一步中分配的方式。关闭任何红色错误框,然后单击实体。实体列表应该类似于下图。

    请注意,您的环境的日志可能比此处显示的更多,分析图表可能显示不同的数字。预构建的环境会定期增强。但是,探索步骤保持不变。

    图像 2

您现在可以浏览日志分析了!

熟悉

  1. 导航回 Log Explorer(左上角)。

  2. 在“可视化”选项中,选择带有直方图的记录。下面是将在本教程中使用的用户界面主要部分。

    1) 查询栏,带有条右端的清除搜索帮助运行按钮。

    2) 时间范围菜单和操作菜单,您可以在该菜单中查找诸如打开保存另存为之类的操作。

    3) “字段”面板,您可以在其中选择要筛选数据的来源和字段。

    4) 可视化面板,在该面板中,您可以选择以有助于您使用的表单显示搜索数据的方式。

    5) 主面板,其中可视化输出显示在查询结果上方。

  3. 整个教程的时间范围应保持“定制”。如果无法将时间范围重置为“定制”,则可以通过返回到“上载的文件”页并单击在日志浏览器中查看来重新启动。

    提示:如果步骤丢失,可以使用浏览器的“后退”按钮。但是,不要使用刷新按钮。

使用集群浏览日志

  1. 在图表上,单击 OCI VCN 流日志以向下钻取到 VCN 流数据。

  2. 导航到操作并单击另存为,将此搜索另存为“小部件”。

  3. 完成“Save Search(保存搜索)”并单击“Save(保存)”。

    此时,可以直接从此处或以后从仪表盘菜单将小部件添加到仪表盘。

  4. 通过查看其他各种日志创建多个小部件。

    您稍后会将它们添加到仪表盘。

  5. 返回以查看所有日志数据。

    提示:清除查询栏并单击运行

    您正在处理总计约 74000 条记录。将大量数据可视化为相关集群更容易。日志分析 - 集群(不受监督的 ML)使用日志数据和丰富的域专业知识查找数据模式。集群可以处理文本和数字,从而将大量数据减少到较少的模式以便进行异常检测。单击可视化面板中的 Cluster 按钮。

  6. 深入探究不同的集群、潜在问题、离群值和趋势。

    日志分析使用不受监督的 ML 查找数据中的相关集群。这会将 ~74k 个日志实时减少到 629 个群集模式。

    注意:您看到的数字可能与教程中显示的数字稍有不同。

  7. 单击潜在问题选项卡。

    在 629 个集群中,76 个自动确定为潜在问题。

  8. 单击异常选项卡。

    这些问题仅出现一次,并指示系统中的异常。

  9. 现在,单击趋势选项卡。

    这些是及时关联的集群模式。单击 8 个类似趋势以查看数据库预警日志中的一组相关日志。请注意,显示的确切趋势数可能因所选时间窗口而异。

  10. 按照您在步骤 3 中执行的相同步骤保存此搜索。

  11. 创建一个可视化,以了解网络流量分布情况。

    首先将可视化更改为饼图,然后选择一组新数据 OCI VCN Flow Logs

    在字段面板的搜索框中,搜索字符串“源”。然后,将“源 IP”从“其他”拖放到可视化面板中的“分组方式”框,然后单击应用

    此处,您可以通过“Source IP(源 IP)”查看日志分配。

  12. 使用查询语言查找“目标 IP”的分发。

    在查询栏中输入以下查询,然后单击运行

    提示:在环境外部复制的任何内容要粘贴到环境中,需要先粘贴到剪贴板中,该剪贴板位于环境的操作栏中。

    'Log Source' = 'OCI VCN Flow Logs’ | stats count('Destination IP') by 'Destination IP' 
    

    显示带有记录的饼图(默认情况下设置)。

  13. 通过从可视化菜单中选择“树状图”,将可视化更改为树状图。

    从可视化菜单中选择“树状图”。

    在此页上,您可以可视化目标 IP 分发。另存为此搜索 / 窗口部件。

  1. 使用不受监督的链接功能将数据与其他数据源相关联。在查询栏中输入以下内容,然后单击运行。导航到管理,然后在资源下单击上载。选择并复制 (Ctrl-C) 上载的名称。导航回 Log Explorer,并将查询栏 logging-analytics-demo 中的内容替换为您复制的上载名称(选择 logging-analytics-demo 并按 Ctrl-V),然后单击 Run

    提示:按查询栏中的 Ctrl-I 组合键设置查询的格式。

    'Upload Name' = 'logging-analytics-demo' and 'Log Source' = 'OCI VCN Flow Logs' 
    | eval 'Source Name' = if('Source Port' = 80,
                           HTTP,
                           'Source Port' = 443,
                           HTTPS,
                           'Source Port' = 21,
                           FTP,
                           'Source Port' = 22,
                           SSH,
                           'Source Port' = 137,
                           NetBIOS,
                           'Source Port' = 648,
                           RRP,
                           'Source Port' = 9006,
                           Tomcat,
                           'Source Port' = 9042,
                           Cassandra,
                           'Source Port' = 9060,
                           'Websphere Admin. Console',
                           'Source Port' = 9100,
                           'Network  Printer',
                           'Source Port' = 9200,
                           'Elastic Search',
                           Other) 
     | eval 'Destination Name' = if('Destination Port' = 80,
                                HTTP,
                                'Destination Port' = 443,
                                HTTPS,
                                'Destination Port' = 21,
                                SSH,
                                'Destination Port' = 22,
                                FTP,
                                'Destination Port' = 137,
                                NetBIOS,
                                'Destination Port' = 648,
                                RRP,
                                'Destination Port' = 9006,
                                Tomcat,
                                'Destination Port' = 9042,
                                Cassandra,
                                'Destination Port' = 9060,
                                'Websphere Admin. Console',
                                'Destination Port' = 9100,
                                'Network  Printer',
                                'Destination Port' = 9200,
                                'Elastic Search',
                                Other) 
     | eval Source = 'Source IP' || ':' || 'Source Port' 
     | eval Destination = 'Destination IP' || ':' || 'Destination Port' 
     | link Source,
        Destination 
     | stats avg('Content Size Out') as 'Transfer Size (bytes)',
        unique('Source Name') as 'Traffic From',
        unique('Destination Name') as 'Traffic To' 
     | classify topcount = 300 correlate = -*,
        Source,
        Destination 'Start Time',
        'Traffic From',
        'Transfer Size (bytes)',
        'Traffic To' as Network                        
    

    eval 功能将端口名称转换为应用程序。

    查询的最后一部分会添加更多查询时间评估字段,这些字段为每个源和目标创建一个唯一行,并计算这些端点之间的平均网络传输量。此外,您还将获得源端口和目标端口的转换名称为“Traffic From”和“Traffic To”。

  2. 导航到 Analyze(分析),单击 Create Chart(创建图表)并填写字段,如下所示:

  3. 分析集群并分析指定的数据点,创建以下分析:

  4. 您可以选择不同的字段来控制图表上项的大小和颜色。

  5. 将鼠标悬停在项上可查看有关项的详细信息。

  6. 您可以单击项来访问其内容。

  7. 将此项另存为窗口部件。

    导航到选项,然后单击显示选项。在面板的“面板选项”部分中,取消选中所有选项,然后选中“分析”和“数据表”。单击保存更改。然后,导航到操作并单击另存为以将此分析另存为窗口部件。

创建仪表板

  1. 导航到日志分析并单击仪表盘

  2. 单击创建

    输入仪表盘名称(以前创建的区间)(logging-analytics-demo),并将保存的搜索用作右侧仪表盘的窗口部件。在画布上拖放窗口部件。可以调整面板的大小并在画布上移动。添加之前创建的其他小部件。仪表盘可能如下所示:

    或者,如下所示:

了解更多

要持续从内部部署实体收集日志数据,您可以在主机、内部部署或云基础设施中安装管理代理。请参阅使用 Oracle Management Agents 下的详细信息。

有关用于创建关系的实体关联的更多信息,请参阅:

创建实体

配置新的源 - 实体关联

在日志分析中建模的实体类型

有关其他技术信息,请参见Logging Analytics

Oracle 学习上浏览其他实验室,或者在 Oracle 学习 YouTube 渠道上访问更多免费学习内容。此外,访问 Oracle University 以成为 Oracle Learning Explorer。

更多学习资源

docs.oracle.com/learn 上浏览其他实验室,或者在 Oracle Learning YouTube 渠道上访问更多免费学习内容。此外,访问 education.oracle.com/learning-explorer 以成为 Oracle Learning Explorer。

有关产品文档,请访问 Oracle 帮助中心