注:

使用 OCI 日志分析分析功能分析示例日志

简介

在典型的企业环境中,大量的日志遥测。如何确定日志数据是否有您感兴趣的日志事件?如何关联属于所有应用中特定业务流的日志事件?如何确定哪些业务流程行为异常?OCI 日志分析是一个云解决方案,用于汇总和分析来自内部部署和多云环境的各种日志数据、为其编制索引。通过它,您可以搜索、浏览和关联这些数据,获得运营洞察并做出明智的决策。日志分析可以摄取、分析和关联几乎所有来源的日志。关联活动利用开箱即用的机器学习和复杂的查询语言。
在本教程中,您将了解如何使用 Oracle Cloud Infrastructure Logging Analytics 轻松执行此类任务,包括异常检测、事件集群、日志关联和异常检测。

目标

了解如何利用预构建的机器学习算法、上下文中的和交互式仪表盘分析日志文件来快速查明问题,以及使用 OCI 日志分析来确定根本原因。

先决条件

注意:您可以对此教程使用试用账户,但是,如果您将账户转换为“始终免费”,则将从服务中取消登记,并且不能将它用于此教程。

准备环境

您必须是 OCI 管理员,并且在单个区域中执行这些步骤。

执行一般先决条件配置任务以设置 Oracle Cloud Infrastructure 租户并使用 Oracle 日志分析。

启用日志分析

如果这是首次在当前环境中使用日志分析,则需要执行以下步骤来启用该服务。如果已启用日志分析,请继续执行上载示例日志部分。

  1. 可从顶层 OCI 控制台菜单获取日志分析服务。导航到 Observability & Management,然后单击 Logging Analytics(日志分析)

    图像 0.1

  2. 如果这是您第一次在此区域中使用服务,请查看注册页面,该页面将提供服务的高级别详细信息以及“开始使用日志分析”选项。单击 Start Using Logging Analytics

    图像 0.2

  3. 查看自动创建的策略。如果不存在名为 Default 的日志组,则会创建该日志组。成功启用日志分析服务后,单击设置提取以继续。

    图像 0.3

  4. 选择在此区域中配置 OCI 审计日志分析,然后单击下一步

    图像 0.4

  5. 查看更改后,单击设置摄取

    图像 0.5

  6. 成功启用 OCI 审计日志分析后,单击转到 OCI 审计日志仪表盘

    图像 0.6

加载示例日志

  1. 使用您的租户身份证明登录 OCI 控制台。

  2. 确保位于您的主区域中。

    图像 1

  3. 通过单击“Region(区域)”选择器右侧的图标打开 Cloud Shell。Cloud Shell 将在浏览器窗口底部打开,几分钟后即可提供。

  4. 运行以下命令:

    wget https://objectstorage.us-phoenix-1.oraclecloud.com/p/RHMd3hXQ4v33Bm7YE6IONjSvsNPFBNAf7BkcVgysjr9wgNA3gzZEB5DevHqkMR1t/n/ax1zffkcg1fy/b/oci_quick_start_script_do_not_delete/o/logging-analytics-demo-v1.0.zip
    
    unzip logging-analytics-demo-v1.0.zip
    
    cd logging-analytics-demo
    
    ./setup.sh
    

    ./setup.sh 命令的输出样例:

    Running demo setup script: Jan-12-2021 
    Checking to see if compartment logging-analytics-demo already exists 
    Does not exist yet, create compartment 
    . . . 
    Create log directories 
    Update Log Record timestamps
    Loading files ...
    Processing source/cisco-asa (convert - I file(s)) - Cisco ASA Logs
    . . .
    Processed in 12 seconds
    Compressing files 
    Uploading Logs 
    . . .
    Uploading oci_api_gw_access.zip
    Uploading oci_api_gw_exec.zip
    

    设置脚本将设置所有必需的 OCI 资源并加载示例日志数据。

    注意:设置脚本可重新运行。如果以前上载了相同的文件,请单击导航图标,单击可观察性和管理,导航到日志分析,然后单击管理。在资源下,单击上载。在再次运行脚本之前,选择 logging-analytics-demo删除此上载。解压缩时,如果要求“替换”,请用“A”([A]ll) 回答。

    此设置脚本还创建名为 Logging-Analytics-SuperAdmins 的超级管理员组。要允许其他 OCI 用户使用日志分析并分析这些示例日志,请按如下方式向此组添加这些用户:

    a.从 OCI 控制台菜单中,导航到 Identity > Users

    b.单击将使用日志分析的用户名

    c.在屏幕的下半部分,单击将用户添加到组按钮。

    d.在该对话框中,选择 "Logging-Analytics-SuperAdmins" 组并单击 Add 按钮以保存更改。

  5. 要验证示例日志记录是否已正确上载且您的环境已全部设置,请执行以下步骤:

    通过单击导航图标验证实体创建,单击可观察性和管理,导航到日志分析并单击管理。在资源下,单击实体。选择 logging-analytics-demo 区间。实体列表应如下所示:

    图像 2

    通过导航到 Logging Analytics 验证上载,然后单击 Administration(管理)。在资源下,单击上载。单击 logging-analytics-demo

    单击左侧菜单上的警告并确认没有警告或错误。

    接下来,导航到 Uploaded Files,然后单击 Status 并选择按 Failed 进行过滤。这不应显示任何记录。将“状态”更改为“处理中”。这不应显示任何记录,指示所有文件已成功上载。

熟悉

  1. 单击 "Uploaded Files"(上载的文件)页面左侧菜单中的 View in Log Explorer(在日志浏览器中查看)

  2. 下图显示了将在本教程中使用的用户界面主要部分。

    1) 查询栏,带有条右端的清除搜索帮助运行按钮。

    2) 时间范围菜单和操作菜单,您可以在该菜单中查找诸如打开保存另存为之类的操作。

    3) “字段”面板,您可以在其中选择要筛选数据的来源和字段。

    4) 可视化面板,您可以在其中选择要筛选数据的源和字段。

    5) 主面板,其中可视化输出显示在查询结果上方。

  3. 整个教程的时间范围应保持“定制”。如果无法将时间范围重置为“定制”,则可以通过返回到“上载的文件”页并单击在日志浏览器中查看来重新启动。

    提示:如果步骤丢失,可以使用浏览器的“后退”按钮。但是,请不要使用刷新按钮。

使用集群浏览日志

  1. 单击 OCI VCN 流日志可向下钻取到 VCN 流数据。

  2. 导航到操作并单击另存为,将此搜索另存为“小部件”。

  3. 完成“Save Search(保存搜索)”并单击“Save(保存)”。

    此时,可以直接从此处或以后从仪表盘菜单将小部件添加到仪表盘。

  4. 通过查看其他各种日志创建多个小部件。

    您稍后会将它们添加到仪表盘。

  5. 返回以查看所有日志数据。

    提示:清除查询栏并单击运行

    您正在处理总计约 74000 条记录。将大量数据可视化为相关集群更容易。日志分析 - 集群(不受监督的 ML)使用日志数据和丰富的域专业知识查找数据模式。集群可以处理文本和数字,从而将大量数据减少到较少的模式以便进行异常检测。单击可视化面板中的 Cluster 按钮。

  6. 深入探究不同的集群、潜在问题、离群值和趋势。

    日志分析使用不受监督的 ML 查找数据中的相关集群。这会将 ~74k 个日志实时减少到 629 个群集模式。

    注意:您看到的数字可能与教程中显示的数字稍有不同。

  7. 单击潜在问题选项卡。

    在 629 个集群中,76 个自动确定为潜在问题。

  8. 单击异常选项卡。

    这些问题仅出现一次,并指示系统中的异常。

  9. 现在,单击趋势选项卡。

    这些是及时关联的集群模式。单击 8 个类似趋势以查看数据库预警日志中的一组相关日志。请注意,显示的确切趋势数可能因所选时间窗口而异。

  10. 按照您在步骤 3 中执行的相同步骤保存此搜索。

  11. 创建一个可视化,以了解网络流量分布情况。

    首先将可视化更改为饼图,然后选择一组新数据 OCI VCN Flow Logs

    在字段面板的搜索框中,搜索字符串“源”。然后,将“源 IP”从“其他”拖放到可视化面板中的“分组方式”框,然后单击应用

    此处,您可以通过“Source IP(源 IP)”查看日志分配。

  12. 使用查询语言查找“目标 IP”的分发。

    在查询栏中输入以下查询,然后单击运行

    'Log Source' = 'OCI VCN Flow Logs’ | stats count('Destination IP') by 'Destination IP' 
    

    显示带有记录的饼图(默认情况下设置)。

  13. 通过从可视化菜单中选择“树状图”,将可视化更改为树状图。

    从可视化菜单中选择“树状图”

    在此页上,您可以可视化目标 IP 分发。另存为此搜索 / 窗口部件。

  1. 使用不受监督的链接功能将数据与其他数据源相关联。在查询栏中输入以下内容,然后单击运行

    提示:按查询栏中的 Ctrl-I 组合键设置查询的格式。

    'Upload Name' = 'logging-analytics-demo' and 'Log Source' = 'OCI VCN Flow Logs' 
    | eval 'Source Name' = if('Source Port' = 80,
                           HTTP,
                           'Source Port' = 443,
                           HTTPS,
                           'Source Port' = 21,
                           FTP,
                           'Source Port' = 22,
                           SSH,
                           'Source Port' = 137,
                           NetBIOS,
                           'Source Port' = 648,
                           RRP,
                           'Source Port' = 9006,
                           Tomcat,
                           'Source Port' = 9042,
                           Cassandra,
                           'Source Port' = 9060,
                           'Websphere Admin. Console',
                           'Source Port' = 9100,
                           'Network  Printer',
                           'Source Port' = 9200,
                           'Elastic Search',
                           Other) 
     | eval 'Destination Name' = if('Destination Port' = 80,
                                HTTP,
                                'Destination Port' = 443,
                                HTTPS,
                                'Destination Port' = 21,
                                SSH,
                                'Destination Port' = 22,
                                FTP,
                                'Destination Port' = 137,
                                NetBIOS,
                                'Destination Port' = 648,
                                RRP,
                                'Destination Port' = 9006,
                                Tomcat,
                                'Destination Port' = 9042,
                                Cassandra,
                                'Destination Port' = 9060,
                                'Websphere Admin. Console',
                                'Destination Port' = 9100,
                                'Network  Printer',
                                'Destination Port' = 9200,
                                'Elastic Search',
                                Other) 
     | eval Source = 'Source IP' || ':' || 'Source Port' 
     | eval Destination = 'Destination IP' || ':' || 'Destination Port' 
     | link Source,
        Destination 
     | stats avg('Content Size Out') as 'Transfer Size (bytes)',
        unique('Source Name') as 'Traffic From',
        unique('Destination Name') as 'Traffic To' 
     | classify topcount = 300 correlate = -*,
        Source,
        Destination 'Start Time',
        'Traffic From',
        'Transfer Size (bytes)',
        'Traffic To' as Network                        
    

    eval 功能将端口名称转换为应用程序。

    查询的最后一部分会添加更多查询时间评估字段,这些字段为每个源和目标创建一个唯一行,并计算这些端点之间的平均网络传输量。此外,您还将获得源端口和目标端口的转换名称为“Traffic From”和“Traffic To”。

  2. 导航到 Analyze(分析),单击 Create Chart(创建图表)并填写字段,如下所示:

  3. 分析集群并分析指定的数据点,创建以下分析:

  4. 您可以选择不同的字段来控制图表上项的大小和颜色。

  5. 将鼠标悬停在项上可查看有关项的详细信息。

  6. 您可以单击项来访问其内容。

  7. 将此项另存为窗口部件。

    导航到选项,然后单击显示选项。在面板的“面板选项”部分中,取消选中所有选项,然后选中“分析”和“数据表”。单击保存更改。然后,导航到操作并单击另存为以将此分析另存为窗口部件。

创建仪表板

  1. 导航到日志分析并单击仪表盘

  2. 单击创建

    输入仪表盘名称(以前创建的区间)(logging-analytics-demo),并将保存的搜索用作右侧仪表盘的窗口部件。在画布上拖放窗口部件。可以调整面板的大小并在画布上移动。添加之前创建的其他小部件。仪表盘可能如下所示:

    或者,如下所示:

了解更多

要持续从内部部署实体收集日志数据,您可以在主机、内部部署或云基础设施中安装管理代理。请参阅使用 Oracle Management Agents 下的详细信息。

有关用于创建关系的实体关联的更多信息,请参阅:

创建实体

配置新的源 - 实体关联

在日志分析中建模的实体类型

有关其他技术信息,请参见Logging Analytics

Oracle 学习上浏览其他实验室,或者在 Oracle 学习 YouTube 渠道上访问更多免费学习内容。此外,访问 Oracle University 以成为 Oracle Learning Explorer。

更多学习资源

docs.oracle.com/learn 上浏览其他实验室,或者在 Oracle Learning YouTube 渠道上访问更多免费学习内容。此外,访问 education.oracle.com/learning-explorer 以成为 Oracle Learning Explorer。

有关产品文档,请访问 Oracle 帮助中心