注:
- 此教程需要访问 Oracle Cloud。要注册免费账户,请参阅开始使用 Oracle Cloud Infrastructure 免费层。
- 它使用 Oracle Cloud Infrastructure 身份证明、租户和区间示例值。完成实验室后,请使用特定于您的云环境的这些值替换这些值。
使用 OCI 日志分析分析功能分析示例日志
简介
在典型的企业环境中,大量的日志遥测。如何确定日志数据是否有您感兴趣的日志事件?如何关联属于所有应用中特定业务流的日志事件?如何确定哪些业务流程行为异常?OCI 日志分析是一个云解决方案,用于汇总和分析来自内部部署和多云环境的各种日志数据、为其编制索引。通过它,您可以搜索、浏览和关联这些数据,获得运营洞察并做出明智的决策。日志分析可以摄取、分析和关联几乎所有来源的日志。关联活动利用开箱即用的机器学习和复杂的查询语言。
在本教程中,您将了解如何使用 Oracle Cloud Infrastructure Logging Analytics 轻松执行此类任务,包括异常检测、事件集群、日志关联和异常检测。
目标
了解如何利用预构建的机器学习算法、上下文中的和交互式仪表盘分析日志文件来快速查明问题,以及使用 OCI 日志分析来确定根本原因。
先决条件
注意:您可以对此教程使用试用账户,但是,如果您将账户转换为“始终免费”,则将从服务中取消登记,并且不能将它用于此教程。
准备环境
您必须是 OCI 管理员,并且在单个区域中执行这些步骤。
执行一般先决条件配置任务以设置 Oracle Cloud Infrastructure 租户并使用 Oracle 日志分析。
启用日志分析
如果这是首次在当前环境中使用日志分析,则需要执行以下步骤来启用该服务。如果已启用日志分析,请继续执行上载示例日志部分。
-
可从顶层 OCI 控制台菜单获取日志分析服务。导航到 Observability & Management,然后单击 Logging Analytics(日志分析)。

-
如果这是您第一次在此区域中使用服务,请查看注册页面,该页面将提供服务的高级别详细信息以及“开始使用日志分析”选项。单击 Start Using Logging Analytics。

-
查看自动创建的策略。如果不存在名为 Default 的日志组,则会创建该日志组。成功启用日志分析服务后,单击设置提取以继续。

-
选择在此区域中配置 OCI 审计日志分析,然后单击下一步。

-
查看更改后,单击设置摄取。

-
成功启用 OCI 审计日志分析后,单击转到 OCI 审计日志仪表盘。

加载示例日志
-
使用您的租户身份证明登录 OCI 控制台。
-
确保位于您的主区域中。

-
通过单击“Region(区域)”选择器右侧的图标打开 Cloud Shell。Cloud Shell 将在浏览器窗口底部打开,几分钟后即可提供。
-
运行以下命令:
wget https://objectstorage.us-phoenix-1.oraclecloud.com/p/RHMd3hXQ4v33Bm7YE6IONjSvsNPFBNAf7BkcVgysjr9wgNA3gzZEB5DevHqkMR1t/n/ax1zffkcg1fy/b/oci_quick_start_script_do_not_delete/o/logging-analytics-demo-v1.0.zipunzip logging-analytics-demo-v1.0.zipcd logging-analytics-demo./setup.sh./setup.sh命令的输出样例:Running demo setup script: Jan-12-2021 Checking to see if compartment logging-analytics-demo already exists Does not exist yet, create compartment . . . Create log directories Update Log Record timestamps Loading files ... Processing source/cisco-asa (convert - I file(s)) - Cisco ASA Logs . . . Processed in 12 seconds Compressing files Uploading Logs . . . Uploading oci_api_gw_access.zip Uploading oci_api_gw_exec.zip设置脚本将设置所有必需的 OCI 资源并加载示例日志数据。
注意:设置脚本可重新运行。如果以前上载了相同的文件,请单击导航图标,单击可观察性和管理,导航到日志分析,然后单击管理。在资源下,单击上载。在再次运行脚本之前,选择
logging-analytics-demo并删除此上载。解压缩时,如果要求“替换”,请用“A”([A]ll) 回答。此设置脚本还创建名为 Logging-Analytics-SuperAdmins 的超级管理员组。要允许其他 OCI 用户使用日志分析并分析这些示例日志,请按如下方式向此组添加这些用户:
a.从 OCI 控制台菜单中,导航到 Identity > Users。
b.单击将使用日志分析的用户名
c.在屏幕的下半部分,单击将用户添加到组按钮。
d.在该对话框中,选择 "Logging-Analytics-SuperAdmins" 组并单击 Add 按钮以保存更改。
-
要验证示例日志记录是否已正确上载且您的环境已全部设置,请执行以下步骤:
通过单击导航图标验证实体创建,单击可观察性和管理,导航到日志分析并单击管理。在资源下,单击实体。选择
logging-analytics-demo区间。实体列表应如下所示:
通过导航到 Logging Analytics 验证上载,然后单击 Administration(管理)。在资源下,单击上载。单击
logging-analytics-demo。单击左侧菜单上的警告并确认没有警告或错误。
接下来,导航到 Uploaded Files,然后单击 Status 并选择按 Failed 进行过滤。这不应显示任何记录。将“状态”更改为“处理中”。这不应显示任何记录,指示所有文件已成功上载。

熟悉
-
单击 "Uploaded Files"(上载的文件)页面左侧菜单中的 View in Log Explorer(在日志浏览器中查看)。

-
下图显示了将在本教程中使用的用户界面主要部分。

1) 查询栏,带有条右端的清除、搜索帮助和运行按钮。
2) 时间范围菜单和操作菜单,您可以在该菜单中查找诸如打开、保存和另存为之类的操作。
3) “字段”面板,您可以在其中选择要筛选数据的来源和字段。
4) 可视化面板,您可以在其中选择要筛选数据的源和字段。
5) 主面板,其中可视化输出显示在查询结果上方。
-
整个教程的时间范围应保持“定制”。如果无法将时间范围重置为“定制”,则可以通过返回到“上载的文件”页并单击在日志浏览器中查看来重新启动。
提示:如果步骤丢失,可以使用浏览器的“后退”按钮。但是,请不要使用刷新按钮。
使用集群浏览日志
-
单击 OCI VCN 流日志可向下钻取到 VCN 流数据。

-
导航到操作并单击另存为,将此搜索另存为“小部件”。

-
完成“Save Search(保存搜索)”并单击“Save(保存)”。
此时,可以直接从此处或以后从仪表盘菜单将小部件添加到仪表盘。

-
通过查看其他各种日志创建多个小部件。
您稍后会将它们添加到仪表盘。
-
返回以查看所有日志数据。
提示:清除查询栏并单击运行。
您正在处理总计约 74000 条记录。将大量数据可视化为相关集群更容易。日志分析 - 集群(不受监督的 ML)使用日志数据和丰富的域专业知识查找数据模式。集群可以处理文本和数字,从而将大量数据减少到较少的模式以便进行异常检测。单击可视化面板中的 Cluster 按钮。

-
深入探究不同的集群、潜在问题、离群值和趋势。
日志分析使用不受监督的 ML 查找数据中的相关集群。这会将 ~74k 个日志实时减少到 629 个群集模式。
注意:您看到的数字可能与教程中显示的数字稍有不同。

-
单击潜在问题选项卡。
在 629 个集群中,76 个自动确定为潜在问题。

-
单击异常选项卡。
这些问题仅出现一次,并指示系统中的异常。

-
现在,单击趋势选项卡。
这些是及时关联的集群模式。单击 8 个类似趋势以查看数据库预警日志中的一组相关日志。请注意,显示的确切趋势数可能因所选时间窗口而异。

-
按照您在步骤 3 中执行的相同步骤保存此搜索。
-
创建一个可视化,以了解网络流量分布情况。
首先将可视化更改为饼图,然后选择一组新数据
OCI VCN Flow Logs。
在字段面板的搜索框中,搜索字符串“源”。然后,将“源 IP”从“其他”拖放到可视化面板中的“分组方式”框,然后单击应用。

此处,您可以通过“Source IP(源 IP)”查看日志分配。

-
使用查询语言查找“目标 IP”的分发。
在查询栏中输入以下查询,然后单击运行。
'Log Source' = 'OCI VCN Flow Logs’ | stats count('Destination IP') by 'Destination IP'
显示带有记录的饼图(默认情况下设置)。

-
通过从可视化菜单中选择“树状图”,将可视化更改为树状图。
从可视化菜单中选择“树状图”
。在此页上,您可以可视化目标 IP 分发。另存为此搜索 / 窗口部件。

使用“链接”浏览日志
-
使用不受监督的链接功能将数据与其他数据源相关联。在查询栏中输入以下内容,然后单击运行。
提示:按查询栏中的 Ctrl-I 组合键设置查询的格式。
'Upload Name' = 'logging-analytics-demo' and 'Log Source' = 'OCI VCN Flow Logs' | eval 'Source Name' = if('Source Port' = 80, HTTP, 'Source Port' = 443, HTTPS, 'Source Port' = 21, FTP, 'Source Port' = 22, SSH, 'Source Port' = 137, NetBIOS, 'Source Port' = 648, RRP, 'Source Port' = 9006, Tomcat, 'Source Port' = 9042, Cassandra, 'Source Port' = 9060, 'Websphere Admin. Console', 'Source Port' = 9100, 'Network Printer', 'Source Port' = 9200, 'Elastic Search', Other) | eval 'Destination Name' = if('Destination Port' = 80, HTTP, 'Destination Port' = 443, HTTPS, 'Destination Port' = 21, SSH, 'Destination Port' = 22, FTP, 'Destination Port' = 137, NetBIOS, 'Destination Port' = 648, RRP, 'Destination Port' = 9006, Tomcat, 'Destination Port' = 9042, Cassandra, 'Destination Port' = 9060, 'Websphere Admin. Console', 'Destination Port' = 9100, 'Network Printer', 'Destination Port' = 9200, 'Elastic Search', Other) | eval Source = 'Source IP' || ':' || 'Source Port' | eval Destination = 'Destination IP' || ':' || 'Destination Port' | link Source, Destination | stats avg('Content Size Out') as 'Transfer Size (bytes)', unique('Source Name') as 'Traffic From', unique('Destination Name') as 'Traffic To' | classify topcount = 300 correlate = -*, Source, Destination 'Start Time', 'Traffic From', 'Transfer Size (bytes)', 'Traffic To' as Networkeval 功能将端口名称转换为应用程序。
查询的最后一部分会添加更多查询时间评估字段,这些字段为每个源和目标创建一个唯一行,并计算这些端点之间的平均网络传输量。此外,您还将获得源端口和目标端口的转换名称为“Traffic From”和“Traffic To”。
-
导航到 Analyze(分析),单击 Create Chart(创建图表)并填写字段,如下所示:

-
分析集群并分析指定的数据点,创建以下分析:

-
您可以选择不同的字段来控制图表上项的大小和颜色。

-
将鼠标悬停在项上可查看有关项的详细信息。

-
您可以单击项来访问其内容。

-
将此项另存为窗口部件。
导航到选项,然后单击显示选项。在面板的“面板选项”部分中,取消选中所有选项,然后仅选中“分析”和“数据表”。单击保存更改。然后,导航到操作并单击另存为以将此分析另存为窗口部件。
创建仪表板
-
导航到日志分析并单击仪表盘。

-
单击创建。
输入仪表盘名称(以前创建的区间)(logging-analytics-demo),并将保存的搜索用作右侧仪表盘的窗口部件。在画布上拖放窗口部件。可以调整面板的大小并在画布上移动。添加之前创建的其他小部件。仪表盘可能如下所示:

或者,如下所示:

了解更多
要持续从内部部署实体收集日志数据,您可以在主机、内部部署或云基础设施中安装管理代理。请参阅使用 Oracle Management Agents 下的详细信息。
有关用于创建关系的实体关联的更多信息,请参阅:
有关其他技术信息,请参见Logging Analytics。
在 Oracle 学习上浏览其他实验室,或者在 Oracle 学习 YouTube 渠道上访问更多免费学习内容。此外,访问 Oracle University 以成为 Oracle Learning Explorer。
更多学习资源
在 docs.oracle.com/learn 上浏览其他实验室,或者在 Oracle Learning YouTube 渠道上访问更多免费学习内容。此外,访问 education.oracle.com/learning-explorer 以成为 Oracle Learning Explorer。
有关产品文档,请访问 Oracle 帮助中心。
Analyze Sample Logs with OCI Logging Analytics Tutorial
F50673-01
November 2021
Copyright © 2021, Oracle and/or its affiliates.