注:
- Oracle 提供的免费实验室环境中提供了本教程。
- 它使用 Oracle Cloud Infrastructure 身份证明、租户和区间示例值。完成实验室后,请使用特定于您的云环境的这些值替换这些值。
使用 OCI 日志分析分析功能分析示例日志
简介
典型的企业环境具有大量的日志遥测。查找有趣的日志数据和事件,并将它们与来自您所有应用的特定业务流相关联,或者识别异常行为可能比较困难。OCI 日志分析是一个云解决方案,用于汇总和分析来自内部部署和多云环境的各种日志数据、为其编制索引。通过它,您可以搜索、浏览和关联这些数据,获得运营洞察并做出明智的决策。日志分析可以摄取、分析和关联几乎所有来源的日志。关联活动利用开箱即用的机器学习和复杂的查询语言。
在此教程中,您将了解如何在预配置环境中使用 OCI 日志分析来轻松执行此类任务,包括异常检测、事件集群、日志关联和异常检测。
目标
了解如何利用预构建的机器学习算法、上下文中的和交互式仪表盘分析日志文件来快速查明问题,以及使用 OCI 日志分析来确定根本原因。
先决条件
开始之前
启动实验室后,您将会收到您自己的桌面。您将使用浏览器登录到设计并配置为运行特定日志分析任务的 Oracle Cloud Infrastructure 环境。
您将以 OCI 管理员用户身份登录,并在单个区域中执行实验室步骤。
登录到 OCI 环境
-
如果尚未完成此操作,请导航到桌面,通过双击该文件打开 Luna-Lab.html 文件。如果出现对话框,请检查 Chrome 是否已选为默认浏览器,并取消选中向 Google 发送统计信息和崩溃报告。
-
记下此文件中的详细信息,向下滚动以查看所有详细信息:指向 OCI 的快速链接、您的用户名和密码,以及其他实验室详细信息。单击 OCI CONSOLE 按钮。OCI 登录界面将在单独的选项卡中打开。单击 OCI Console 按钮,并且 OCI 控制台登录会出现在新的浏览器选项卡中。如果显示有关站点上的 cookie 的消息,请单击我接受所有 cookie 按钮。
-
导航到第一个选项卡,复制您的用户名并将其粘贴到第二个选项卡的用户名字段中。
-
重复上面的步骤 3,这次复制密码,然后单击登录。如果您希望并忽略可能弹出的任何其他消息,请保存密码。
由于您的区间具有超级管理员组,并且您是该组的超级管理员,您需要从根区间移至您分配的特定区间;因此,在检索查询结果时会显示红色资源错误消息。在第一个“Luna Lab”选项卡上,向下滚动到底部,并记下您分配的 OCI 区间名称。
-
在 OCI 控制台的左上方单击导航图标,单击可观察性和管理,导航到日志分析,然后单击日志浏览器。忽略检索查询结果时出错!
-
单击日志浏览器右侧的 Filter(筛选器)图标。

然后,导航到第一个浏览器选项卡,找到您的 OCI 区间名称并单击复制。返回到 OCI 环境,将区间名称粘贴到日志组区间搜索字段中,然后选择您的区间。单击应用。

-
在时间窗口(右上角)中,选择过去 14 天。
-
要验证要从中收集日志的实体是否已正确设置,请导航到左上角的菜单,选择管理。在管理概览页面上,将区间字段设置为您在上一步中分配的方式。关闭任何红色错误框,然后单击实体。实体列表应该类似于下图。
请注意,您的环境的日志可能比此处显示的更多,分析图表可能显示不同的数字。预构建的环境会定期增强。但是,探索步骤保持不变。

您现在可以浏览日志分析了!
熟悉
-
导航回 Log Explorer(左上角)。
-
在“可视化”选项中,选择带有直方图的记录。下面是将在本教程中使用的用户界面主要部分。

1) 查询栏,带有条右端的清除、搜索帮助和运行按钮。
2) 时间范围菜单和操作菜单,您可以在该菜单中查找诸如打开、保存和另存为之类的操作。
3) “字段”面板,您可以在其中选择要筛选数据的来源和字段。
4) 可视化面板,在该面板中,您可以选择以有助于您使用的表单显示搜索数据的方式。
5) 主面板,其中可视化输出显示在查询结果上方。
-
整个教程的时间范围应保持“定制”。如果无法将时间范围重置为“定制”,则可以通过返回到“上载的文件”页并单击在日志浏览器中查看来重新启动。
提示:如果步骤丢失,可以使用浏览器的“后退”按钮。但是,不要使用刷新按钮。
使用集群浏览日志
-
在图表上,单击 OCI VCN 流日志以向下钻取到 VCN 流数据。

-
导航到操作并单击另存为,将此搜索另存为“小部件”。

-
完成“Save Search(保存搜索)”并单击“Save(保存)”。
此时,可以直接从此处或以后从仪表盘菜单将小部件添加到仪表盘。

-
通过查看其他各种日志创建多个小部件。
您稍后会将它们添加到仪表盘。
-
返回以查看所有日志数据。
提示:清除查询栏并单击运行。
您正在处理总计约 74000 条记录。将大量数据可视化为相关集群更容易。日志分析 - 集群(不受监督的 ML)使用日志数据和丰富的域专业知识查找数据模式。集群可以处理文本和数字,从而将大量数据减少到较少的模式以便进行异常检测。单击可视化面板中的 Cluster 按钮。

-
深入探究不同的集群、潜在问题、离群值和趋势。
日志分析使用不受监督的 ML 查找数据中的相关集群。这会将 ~74k 个日志实时减少到 629 个群集模式。
注意:您看到的数字可能与教程中显示的数字稍有不同。

-
单击潜在问题选项卡。
在 629 个集群中,76 个自动确定为潜在问题。

-
单击异常选项卡。
这些问题仅出现一次,并指示系统中的异常。

-
现在,单击趋势选项卡。
这些是及时关联的集群模式。单击 8 个类似趋势以查看数据库预警日志中的一组相关日志。请注意,显示的确切趋势数可能因所选时间窗口而异。

-
按照您在步骤 3 中执行的相同步骤保存此搜索。
-
创建一个可视化,以了解网络流量分布情况。
首先将可视化更改为饼图,然后选择一组新数据
OCI VCN Flow Logs。
在字段面板的搜索框中,搜索字符串“源”。然后,将“源 IP”从“其他”拖放到可视化面板中的“分组方式”框,然后单击应用。

此处,您可以通过“Source IP(源 IP)”查看日志分配。

-
使用查询语言查找“目标 IP”的分发。
在查询栏中输入以下查询,然后单击运行。
提示:在环境外部复制的任何内容要粘贴到环境中,需要先粘贴到剪贴板中,该剪贴板位于环境的操作栏中。
'Log Source' = 'OCI VCN Flow Logs’ | stats count('Destination IP') by 'Destination IP'
显示带有记录的饼图(默认情况下设置)。

-
通过从可视化菜单中选择“树状图”,将可视化更改为树状图。
从可视化菜单中选择“树状图”。
在此页上,您可以可视化目标 IP 分发。另存为此搜索 / 窗口部件。

使用“链接”浏览日志
-
使用不受监督的链接功能将数据与其他数据源相关联。在查询栏中输入以下内容,然后单击运行。导航到管理,然后在资源下单击上载。选择并复制 (Ctrl-C) 上载的名称。导航回 Log Explorer,并将查询栏
logging-analytics-demo中的内容替换为您复制的上载名称(选择logging-analytics-demo并按 Ctrl-V),然后单击 Run。提示:按查询栏中的 Ctrl-I 组合键设置查询的格式。
'Upload Name' = 'logging-analytics-demo' and 'Log Source' = 'OCI VCN Flow Logs' | eval 'Source Name' = if('Source Port' = 80, HTTP, 'Source Port' = 443, HTTPS, 'Source Port' = 21, FTP, 'Source Port' = 22, SSH, 'Source Port' = 137, NetBIOS, 'Source Port' = 648, RRP, 'Source Port' = 9006, Tomcat, 'Source Port' = 9042, Cassandra, 'Source Port' = 9060, 'Websphere Admin. Console', 'Source Port' = 9100, 'Network Printer', 'Source Port' = 9200, 'Elastic Search', Other) | eval 'Destination Name' = if('Destination Port' = 80, HTTP, 'Destination Port' = 443, HTTPS, 'Destination Port' = 21, SSH, 'Destination Port' = 22, FTP, 'Destination Port' = 137, NetBIOS, 'Destination Port' = 648, RRP, 'Destination Port' = 9006, Tomcat, 'Destination Port' = 9042, Cassandra, 'Destination Port' = 9060, 'Websphere Admin. Console', 'Destination Port' = 9100, 'Network Printer', 'Destination Port' = 9200, 'Elastic Search', Other) | eval Source = 'Source IP' || ':' || 'Source Port' | eval Destination = 'Destination IP' || ':' || 'Destination Port' | link Source, Destination | stats avg('Content Size Out') as 'Transfer Size (bytes)', unique('Source Name') as 'Traffic From', unique('Destination Name') as 'Traffic To' | classify topcount = 300 correlate = -*, Source, Destination 'Start Time', 'Traffic From', 'Transfer Size (bytes)', 'Traffic To' as Networkeval 功能将端口名称转换为应用程序。
查询的最后一部分会添加更多查询时间评估字段,这些字段为每个源和目标创建一个唯一行,并计算这些端点之间的平均网络传输量。此外,您还将获得源端口和目标端口的转换名称为“Traffic From”和“Traffic To”。
-
导航到 Analyze(分析),单击 Create Chart(创建图表)并填写字段,如下所示:

-
分析集群并分析指定的数据点,创建以下分析:

-
您可以选择不同的字段来控制图表上项的大小和颜色。

-
将鼠标悬停在项上可查看有关项的详细信息。

-
您可以单击项来访问其内容。

-
将此项另存为窗口部件。
导航到选项,然后单击显示选项。在面板的“面板选项”部分中,取消选中所有选项,然后仅选中“分析”和“数据表”。单击保存更改。然后,导航到操作并单击另存为以将此分析另存为窗口部件。
创建仪表板
-
导航到日志分析并单击仪表盘。

-
单击创建。
输入仪表盘名称(以前创建的区间)(logging-analytics-demo),并将保存的搜索用作右侧仪表盘的窗口部件。在画布上拖放窗口部件。可以调整面板的大小并在画布上移动。添加之前创建的其他小部件。仪表盘可能如下所示:

或者,如下所示:

了解更多
要持续从内部部署实体收集日志数据,您可以在主机、内部部署或云基础设施中安装管理代理。请参阅使用 Oracle Management Agents 下的详细信息。
有关用于创建关系的实体关联的更多信息,请参阅:
有关其他技术信息,请参见Logging Analytics。
在 Oracle 学习上浏览其他实验室,或者在 Oracle 学习 YouTube 渠道上访问更多免费学习内容。此外,访问 Oracle University 以成为 Oracle Learning Explorer。
更多学习资源
在 docs.oracle.com/learn 上浏览其他实验室,或者在 Oracle Learning YouTube 渠道上访问更多免费学习内容。此外,访问 education.oracle.com/learning-explorer 以成为 Oracle Learning Explorer。
有关产品文档,请访问 Oracle 帮助中心。
Analyze Sample Logs with OCI Logging Analytics Hands-on Lab
F50664-01
November 2021
Copyright © 2021, Oracle and/or its affiliates.