備註:
- 此教學課程需要存取 Oracle Cloud。若要註冊免費帳戶,請參閱開始使用 Oracle Cloud Infrastructure Free Tier。
- 此範例使用 Oracle Cloud Infrastructure 證明資料、租用戶及區間的範例值。完成實驗室時,請將這些值替代成雲端環境的特定值。
使用 OCI 日誌記錄分析範例日誌
簡介
典型的企業環境中存在大量日誌遙測。您如何得知日誌資料是否具有有趣的日誌事件?如何關聯屬於所有應用系統之特定業務流程的日誌事件?如何找出異常的業務流程?OCI 日誌記錄分析是一項雲端解決方案,可聚總、索引及分析內部部署和多雲環境的各種日誌資料。它可讓您搜尋、探索及關聯此資料、衍生作業洞察分析以及做出明智的決策。日誌記錄分析幾乎可以從任何來源擷取、分析及關聯日誌。相互關聯活動可以運用立即可用的機器學習以及複雜的查詢語言。
在本教學課程中,瞭解如何使用 Oracle Cloud Infrastructure Logging 分析輕鬆執行這類作業,包括極端偵測、事件叢集、日誌關聯以及異常偵測。
目標
瞭解如何運用預先建置的機器學習演算法、情境和互動式儀表板分析日誌檔,快速找出問題,然後使用 OCI 日誌記錄分析識別根本原因。
必要條件
注意:您可以為本教學課程使用試用帳戶,不過,如果您將帳戶轉換成「永遠免費」帳戶,便會從服務外部上線,而且您將無法將它用於此教學課程。
準備您的環境
您必須是 OCI 管理員,並在單一區域內執行這些步驟。
執行一般先決條件組態作業以設定 Oracle Cloud Infrastructure 租用戶並使用 Oracle Logging Analytics。
啟用日誌記錄分析
如果這是第一次在目前的環境中使用日誌記錄分析,您必須執行下列步驟來啟用服務。如果您已啟用日誌記錄分析,請繼續上傳範例日誌區段。
-
您可以從最上層 OCI 主控台功能表取得日誌記錄分析服務。瀏覽至可觀察性與管理,然後按一下記錄日誌分析。
-
如果這是您第一次使用此區域的服務,請複查新增頁面,提供您一些高層次的服務詳細資訊,以及「開始使用日誌記錄分析」選項。按一下開始使用日誌記錄分析。
-
複查自動建立的原則。如果日誌群組不存在,就會建立稱為預設的日誌群組。順利啟用日誌記錄分析服務之後,請按一下設定擷取以繼續。
-
選取在此區域設定 OCI 稽核日誌分析,然後按一下下一步。
-
複查變更之後,請按一下設定擷取。
-
順利啟用 OCI 稽核日誌分析之後,請按一下前往 OCI 稽核日誌儀表板。
上傳範例日誌
-
使用您的租用戶證明資料登入 OCI 主控台。
-
確定您是在您的主要區域中。
-
按一下「區域」選取器右側的圖示,開啟 Cloud Shell。Cloud Shell 會在您瀏覽器視窗底部開啟,並於數分鐘內提供。
-
執行下列指令:
wget https://objectstorage.us-phoenix-1.oraclecloud.com/p/RHMd3hXQ4v33Bm7YE6IONjSvsNPFBNAf7BkcVgysjr9wgNA3gzZEB5DevHqkMR1t/n/ax1zffkcg1fy/b/oci_quick_start_script_do_not_delete/o/logging-analytics-demo-v1.0.zip
unzip logging-analytics-demo-v1.0.zip
cd logging-analytics-demo
./setup.sh
./setup.sh
指令的輸出範例:Running demo setup script: Jan-12-2021 Checking to see if compartment logging-analytics-demo already exists Does not exist yet, create compartment . . . Create log directories Update Log Record timestamps Loading files ... Processing source/cisco-asa (convert - I file(s)) - Cisco ASA Logs . . . Processed in 12 seconds Compressing files Uploading Logs . . . Uploading oci_api_gw_access.zip Uploading oci_api_gw_exec.zip
設定命令檔將設定所有必要的 OCI 資源並載入範例日誌資料。
注意:設定命令檔會重新執行。如果您之前已上傳相同的檔案,請按一下導覽圖示,按一下可觀測性與管理,瀏覽至記錄日誌分析,然後按一下管理。在資源下方,按一下上傳。請先選取
logging-analytics-demo
並刪除此上傳,然後再重新執行命令檔。解壓縮時,如果要求「取代」,請回覆「A」([A]ll
)。設定命令檔也會建立名為 Logging-Analytics-SuperAdmins 的「超級管理員」群組。若要讓其他 OCI 使用者使用日誌記錄分析並分析這些範例日誌,請依下列方式將這些使用者新增至此群組:
a.從 OCI 主控台功能表,瀏覽至識別 > 使用者。
b.按一下將要使用日誌記錄分析的使用者名稱
c.在畫面下半部,按一下新增使用者至群組按鈕。
d.在對話方塊中,選擇「日誌記錄 - 分析 -SuperAdmins」群組,然後按一下新增按鈕儲存變更。
-
若要確認已正確上傳範例日誌記錄且您的環境全都已設定,請執行下列步驟:
按一下導覽圖示來驗證建立的實體,然後按一下可觀測性與管理,瀏覽至記錄日誌分析,然後按一下管理。在資源下,按一下實體。選取
logging-analytics-demo
區間。實體清單應該如下所示:瀏覽至記錄日誌分析來驗證上傳,然後按一下管理。在資源下方,按一下上傳。按一下
logging-analytics-demo
。按一下左側功能表中的警告,並確認沒有警告或錯誤。
接著,瀏覽至上傳的檔案,然後按一下狀態,然後選取依失敗進行篩選。這不應顯示任何記錄。將狀態變更為進行中。這不會顯示記錄,表示已順利上傳所有檔案。
取得熟悉
-
按一下「上傳的檔案」頁面左側功能表中的在日誌總管中檢視。
-
下列影像會顯示本教學課程中使用的使用者介面主要部分。
1) 查詢列,在列右側有清除、搜尋說明及執行按鈕。
2) 時間範圍功能表與動作功能表,您可以在其中找到如開啟、儲存及另存新檔等動作。
3) 欄位面板,您可以在其中選取來源和欄位來篩選資料。
4) 視覺化面板,您可以在其中選取要篩選資料的來源和欄位。
5) 主要面板,其中視覺化輸出會顯示在查詢結果上方。
-
整個教學課程的時間範圍應該維持「自訂」。如果時間範圍無法重設為「自訂」,您可以返回「上傳的檔案」頁面,然後按一下在日誌總管中檢視來重新啟動。
HINT:如果您遺失步驟,可以使用瀏覽器的上一頁按鈕。不過,請拒絕使用重新整理按鈕。
使用叢集瀏覽日誌
-
按一下 OCI VCN 流量日誌即可向下展開至 VCN 流量資料。
-
瀏覽至動作,然後按一下另存新檔,將此搜尋儲存為「小工具」。
-
完成「儲存搜尋」,然後按一下「儲存」。
此時,可以直接從這裡新增小工具至儀表板,或稍後從儀表板功能表新增小工具。
-
透過檢視其他一些不同的紀錄來建立一些元件 。
您稍後將會將它們新增至儀表板。
-
返回檢視所有日誌資料。
提示:清除查詢列,然後按一下執行。
您正在使用 74k 筆記錄總計。將資料量視覺化為相關叢集會更加容易。日誌記錄分析 - 叢集 (未支援的 ML) 會使用日誌資料和豐富的網域專業知識來尋找資料中的模式。叢集可針對文字和數字運作,讓大量資料減少到減少偵測異常的模式。按一下視覺化面板中的叢集按鈕。
-
深入分析不同的叢集、潛在問題、異常和趨勢。
日誌記錄分析使用未更新的 ML 尋找資料中的相關叢集。這可即時將 ~74k 日誌減少至 629 個叢集模式。
注意:您所看到的數目可能會與教學課程中顯示的數字略有不同。
-
按一下潛在問題頁籤。
在 629 個叢集當中,76 個會自動識別為「潛在問題」。
-
按一下極端值頁籤。
這些問題只會發生一次,並表示系統中的異常。
-
現在,按一下趨勢頁籤。
這些是與時間關聯的叢集樣式。按一下「8 個類似趨勢」,從「資料庫警示日誌」查看一組相關日誌。請注意,顯示的趨勢確切數目可能會依選取的時段而有所不同。
-
依照您在步驟 3 中上述執行的相同步驟,儲存此搜尋。
-
再建立一個視覺化來瞭解網路流量的分布。
請先將視覺化變更為圓餅圖,然後選取新資料集
OCI VCN Flow Logs
。在「欄位面板」的搜尋方塊中,搜尋 」Source「 字串。然後,將「來源 IP」從「其他」拖放至「視覺化面板」的「群組方式」方塊,然後按一下套用。
您可以從此處查看「來源 IP」的日誌分送。
-
使用查詢語言尋找「目的地 IP」的分送。
在查詢列中輸入下列查詢,然後按一下執行。
'Log Source' = 'OCI VCN Flow Logs’ | stats count('Destination IP') by 'Destination IP'
顯示含有記錄的圓餅圖 (依預設值設定)。
-
從視覺化功能表中選取「樹狀結構對應」,將視覺化變更為樹狀結構對應。
從視覺化功能表中選取「樹狀結構對應」
。
在此頁面上,您可以視覺化目的地 IP 分配。另存新檔此搜尋 / 小工具。
使用「連結」瀏覽日誌
-
使用未更新的「連結」功能,將資料與其他資料來源建立關聯。在查詢列中輸入下列項目,然後按一下執行。
提示:按下查詢列中的 Ctrl-I 即可格式化查詢。
'Upload Name' = 'logging-analytics-demo' and 'Log Source' = 'OCI VCN Flow Logs' | eval 'Source Name' = if('Source Port' = 80, HTTP, 'Source Port' = 443, HTTPS, 'Source Port' = 21, FTP, 'Source Port' = 22, SSH, 'Source Port' = 137, NetBIOS, 'Source Port' = 648, RRP, 'Source Port' = 9006, Tomcat, 'Source Port' = 9042, Cassandra, 'Source Port' = 9060, 'Websphere Admin. Console', 'Source Port' = 9100, 'Network Printer', 'Source Port' = 9200, 'Elastic Search', Other) | eval 'Destination Name' = if('Destination Port' = 80, HTTP, 'Destination Port' = 443, HTTPS, 'Destination Port' = 21, SSH, 'Destination Port' = 22, FTP, 'Destination Port' = 137, NetBIOS, 'Destination Port' = 648, RRP, 'Destination Port' = 9006, Tomcat, 'Destination Port' = 9042, Cassandra, 'Destination Port' = 9060, 'Websphere Admin. Console', 'Destination Port' = 9100, 'Network Printer', 'Destination Port' = 9200, 'Elastic Search', Other) | eval Source = 'Source IP' || ':' || 'Source Port' | eval Destination = 'Destination IP' || ':' || 'Destination Port' | link Source, Destination | stats avg('Content Size Out') as 'Transfer Size (bytes)', unique('Source Name') as 'Traffic From', unique('Destination Name') as 'Traffic To' | classify topcount = 300 correlate = -*, Source, Destination 'Start Time', 'Traffic From', 'Transfer Size (bytes)', 'Traffic To' as Network
eval 功能會將連接埠名稱翻譯成應用程式。
查詢的最後一部分會新增更多查詢時間評估欄位,這些欄位會建立每個來源及目的地的唯一資料列,並且計算這些端點之間的平均網路傳輸。此外,您還會將「來源」和「目的地」連接埠的翻譯名稱視為「流量來源」和「流量目標」。
-
瀏覽至分析,按一下建立圖表,然後填入欄位,如下所示:
-
分析叢集並分析指定資料點,建立下方分析:
-
您可以選擇不同的欄位來控制圖表上項目的大小與顏色。
-
將游標暫留在項目上,以查看關於這些項目的詳細資訊。
-
您可以按一下項目以存取其內容。
-
將此儲存為小工具。
瀏覽至選項,然後按一下顯示選項。在面板的「儀表板選項」區段中,取消勾選所有選項,然後只勾選「分析」和「資料表」。按一下儲存變更。然後,瀏覽至動作,然後按一下另存新檔,將此分析儲存為小工具。
建立儀表板
-
瀏覽至日誌記錄分析,然後按一下儀表板。
-
按一下建立。
輸入儀表板名稱、先前建立的區間 (logging-analytics-demo),並使用在右側儀表板中可用的已儲存搜尋。將小工具拖放至畫面上。畫面的大小與移動於畫面上。新增先前建立的其他小工具。儀表板的外觀可能如下:
或者,類似:
深入瞭解
若要持續從企業內部部署實體收集日誌資料,您可以在主機、企業內部部署或雲端基礎架構上安裝管理代理程式。請參閱使用 Oracle Management Agent 底下的詳細資訊。
如需有關用來建立關係之「實體關聯」的詳細資訊,請參閱:
如需其他技術資訊,請參閱記錄日誌分析。
探索 Oracle Learn 上的其他實驗室,或在 Oracle Learning YouTube 通道存取更多免費學習內容。此外,瀏覽 Oracle University 以成為 Oracle Learning Explorer。
其他學習資源
探索 docs.oracle.com/learn 上的其他實驗室,或是存取更多免費學習內容至 Oracle Learning YouTube 通道。此外,瀏覽 education.oracle.com/learning-explorer 以成為 Oracle Learning Explorer。
如需產品文件,請瀏覽 Oracle Help Center。
Analyze Sample Logs with OCI Logging Analytics Tutorial
F50675-01
November 2021
Copyright © 2021, Oracle and/or its affiliates.