備註:

使用 OCI 日誌記錄分析範例日誌

簡介

典型的企業環境中存在大量日誌遙測。您如何得知日誌資料是否具有有趣的日誌事件?如何關聯屬於所有應用系統之特定業務流程的日誌事件?如何找出異常的業務流程?OCI 日誌記錄分析是一項雲端解決方案,可聚總、索引及分析內部部署和多雲環境的各種日誌資料。它可讓您搜尋、探索及關聯此資料、衍生作業洞察分析以及做出明智的決策。日誌記錄分析幾乎可以從任何來源擷取、分析及關聯日誌。相互關聯活動可以運用立即可用的機器學習以及複雜的查詢語言。
在本教學課程中,瞭解如何使用 Oracle Cloud Infrastructure Logging 分析輕鬆執行這類作業,包括極端偵測、事件叢集、日誌關聯以及異常偵測。

目標

瞭解如何運用預先建置的機器學習演算法、情境和互動式儀表板分析日誌檔,快速找出問題,然後使用 OCI 日誌記錄分析識別根本原因。

必要條件

注意:您可以為本教學課程使用試用帳戶,不過,如果您將帳戶轉換成「永遠免費」帳戶,便會從服務外部上線,而且您將無法將它用於此教學課程。

準備您的環境

您必須是 OCI 管理員,並在單一區域內執行這些步驟。

執行一般先決條件組態作業以設定 Oracle Cloud Infrastructure 租用戶並使用 Oracle Logging Analytics。

啟用日誌記錄分析

如果這是第一次在目前的環境中使用日誌記錄分析,您必須執行下列步驟來啟用服務。如果您已啟用日誌記錄分析,請繼續上傳範例日誌區段。

  1. 您可以從最上層 OCI 主控台功能表取得日誌記錄分析服務。瀏覽至可觀察性與管理,然後按一下記錄日誌分析

    影像 0.1

  2. 如果這是您第一次使用此區域的服務,請複查新增頁面,提供您一些高層次的服務詳細資訊,以及「開始使用日誌記錄分析」選項。按一下開始使用日誌記錄分析

    影像 0.2

  3. 複查自動建立的原則。如果日誌群組不存在,就會建立稱為預設的日誌群組。順利啟用日誌記錄分析服務之後,請按一下設定擷取以繼續。

    影像 0.3

  4. 選取在此區域設定 OCI 稽核日誌分析,然後按一下下一步

    影像 0.4

  5. 複查變更之後,請按一下設定擷取

    影像 0.5

  6. 順利啟用 OCI 稽核日誌分析之後,請按一下前往 OCI 稽核日誌儀表板

    影像 0.6

上傳範例日誌

  1. 使用您的租用戶證明資料登入 OCI 主控台。

  2. 確定您是在您的主要區域中。

    影像 1

  3. 按一下「區域」選取器右側的圖示,開啟 Cloud Shell。Cloud Shell 會在您瀏覽器視窗底部開啟,並於數分鐘內提供。

  4. 執行下列指令:

    wget https://objectstorage.us-phoenix-1.oraclecloud.com/p/RHMd3hXQ4v33Bm7YE6IONjSvsNPFBNAf7BkcVgysjr9wgNA3gzZEB5DevHqkMR1t/n/ax1zffkcg1fy/b/oci_quick_start_script_do_not_delete/o/logging-analytics-demo-v1.0.zip
    
    unzip logging-analytics-demo-v1.0.zip
    
    cd logging-analytics-demo
    
    ./setup.sh
    

    ./setup.sh 指令的輸出範例:

    Running demo setup script: Jan-12-2021 
    Checking to see if compartment logging-analytics-demo already exists 
    Does not exist yet, create compartment 
    . . . 
    Create log directories 
    Update Log Record timestamps
    Loading files ...
    Processing source/cisco-asa (convert - I file(s)) - Cisco ASA Logs
    . . .
    Processed in 12 seconds
    Compressing files 
    Uploading Logs 
    . . .
    Uploading oci_api_gw_access.zip
    Uploading oci_api_gw_exec.zip
    

    設定命令檔將設定所有必要的 OCI 資源並載入範例日誌資料。

    注意:設定命令檔會重新執行。如果您之前已上傳相同的檔案,請按一下導覽圖示,按一下可觀測性與管理,瀏覽至記錄日誌分析,然後按一下管理。在資源下方,按一下上傳。請先選取 logging-analytics-demo刪除此上傳,然後再重新執行命令檔。解壓縮時,如果要求「取代」,請回覆「A」([A]ll)。

    設定命令檔也會建立名為 Logging-Analytics-SuperAdmins 的「超級管理員」群組。若要讓其他 OCI 使用者使用日誌記錄分析並分析這些範例日誌,請依下列方式將這些使用者新增至此群組:

    a.從 OCI 主控台功能表,瀏覽至識別 > 使用者

    b.按一下將要使用日誌記錄分析的使用者名稱

    c.在畫面下半部,按一下新增使用者至群組按鈕。

    d.在對話方塊中,選擇「日誌記錄 - 分析 -SuperAdmins」群組,然後按一下新增按鈕儲存變更。

  5. 若要確認已正確上傳範例日誌記錄且您的環境全都已設定,請執行下列步驟:

    按一下導覽圖示來驗證建立的實體,然後按一下可觀測性與管理,瀏覽至記錄日誌分析,然後按一下管理。在資源下,按一下實體。選取 logging-analytics-demo 區間。實體清單應該如下所示:

    影像 2

    瀏覽至記錄日誌分析來驗證上傳,然後按一下管理。在資源下方,按一下上傳。按一下 logging-analytics-demo

    按一下左側功能表中的警告,並確認沒有警告或錯誤。

    接著,瀏覽至上傳的檔案,然後按一下狀態,然後選取依失敗進行篩選。這不應顯示任何記錄。將狀態變更為進行中。這不會顯示記錄,表示已順利上傳所有檔案。

取得熟悉

  1. 按一下「上傳的檔案」頁面左側功能表中的在日誌總管中檢視

  2. 下列影像會顯示本教學課程中使用的使用者介面主要部分。

    1) 查詢列,在列右側有清除搜尋說明執行按鈕。

    2) 時間範圍功能表與動作功能表,您可以在其中找到如開啟儲存另存新檔等動作。

    3) 欄位面板,您可以在其中選取來源和欄位來篩選資料。

    4) 視覺化面板,您可以在其中選取要篩選資料的來源和欄位。

    5) 主要面板,其中視覺化輸出會顯示在查詢結果上方。

  3. 整個教學課程的時間範圍應該維持「自訂」。如果時間範圍無法重設為「自訂」,您可以返回「上傳的檔案」頁面,然後按一下在日誌總管中檢視來重新啟動。

    HINT:如果您遺失步驟,可以使用瀏覽器的上一頁按鈕。不過,請拒絕使用重新整理按鈕。

使用叢集瀏覽日誌

  1. 按一下 OCI VCN 流量日誌即可向下展開至 VCN 流量資料。

  2. 瀏覽至動作,然後按一下另存新檔,將此搜尋儲存為「小工具」。

  3. 完成「儲存搜尋」,然後按一下「儲存」。

    此時,可以直接從這裡新增小工具至儀表板,或稍後從儀表板功能表新增小工具。

  4. 透過檢視其他一些不同的紀錄來建立一些元件 。

    您稍後將會將它們新增至儀表板。

  5. 返回檢視所有日誌資料。

    提示:清除查詢列,然後按一下執行

    您正在使用 74k 筆記錄總計。將資料量視覺化為相關叢集會更加容易。日誌記錄分析 - 叢集 (未支援的 ML) 會使用日誌資料和豐富的網域專業知識來尋找資料中的模式。叢集可針對文字和數字運作,讓大量資料減少到減少偵測異常的模式。按一下視覺化面板中的叢集按鈕。

  6. 深入分析不同的叢集、潛在問題、異常和趨勢。

    日誌記錄分析使用未更新的 ML 尋找資料中的相關叢集。這可即時將 ~74k 日誌減少至 629 個叢集模式。

    注意:您所看到的數目可能會與教學課程中顯示的數字略有不同。

  7. 按一下潛在問題頁籤。

    在 629 個叢集當中,76 個會自動識別為「潛在問題」。

  8. 按一下極端值頁籤。

    這些問題只會發生一次,並表示系統中的異常。

  9. 現在,按一下趨勢頁籤。

    這些是與時間關聯的叢集樣式。按一下「8 個類似趨勢」,從「資料庫警示日誌」查看一組相關日誌。請注意,顯示的趨勢確切數目可能會依選取的時段而有所不同。

  10. 依照您在步驟 3 中上述執行的相同步驟,儲存此搜尋。

  11. 再建立一個視覺化來瞭解網路流量的分布。

    請先將視覺化變更為圓餅圖,然後選取新資料集 OCI VCN Flow Logs

    在「欄位面板」的搜尋方塊中,搜尋 」Source「 字串。然後,將「來源 IP」從「其他」拖放至「視覺化面板」的「群組方式」方塊,然後按一下套用

    您可以從此處查看「來源 IP」的日誌分送。

  12. 使用查詢語言尋找「目的地 IP」的分送。

    在查詢列中輸入下列查詢,然後按一下執行

    'Log Source' = 'OCI VCN Flow Logs’ | stats count('Destination IP') by 'Destination IP' 
    

    顯示含有記錄的圓餅圖 (依預設值設定)。

  13. 從視覺化功能表中選取「樹狀結構對應」,將視覺化變更為樹狀結構對應。

    從視覺化功能表中選取「樹狀結構對應」

    在此頁面上,您可以視覺化目的地 IP 分配。另存新檔此搜尋 / 小工具。

  1. 使用未更新的「連結」功能,將資料與其他資料來源建立關聯。在查詢列中輸入下列項目,然後按一下執行

    提示:按下查詢列中的 Ctrl-I 即可格式化查詢。

    'Upload Name' = 'logging-analytics-demo' and 'Log Source' = 'OCI VCN Flow Logs' 
    | eval 'Source Name' = if('Source Port' = 80,
                           HTTP,
                           'Source Port' = 443,
                           HTTPS,
                           'Source Port' = 21,
                           FTP,
                           'Source Port' = 22,
                           SSH,
                           'Source Port' = 137,
                           NetBIOS,
                           'Source Port' = 648,
                           RRP,
                           'Source Port' = 9006,
                           Tomcat,
                           'Source Port' = 9042,
                           Cassandra,
                           'Source Port' = 9060,
                           'Websphere Admin. Console',
                           'Source Port' = 9100,
                           'Network  Printer',
                           'Source Port' = 9200,
                           'Elastic Search',
                           Other) 
     | eval 'Destination Name' = if('Destination Port' = 80,
                                HTTP,
                                'Destination Port' = 443,
                                HTTPS,
                                'Destination Port' = 21,
                                SSH,
                                'Destination Port' = 22,
                                FTP,
                                'Destination Port' = 137,
                                NetBIOS,
                                'Destination Port' = 648,
                                RRP,
                                'Destination Port' = 9006,
                                Tomcat,
                                'Destination Port' = 9042,
                                Cassandra,
                                'Destination Port' = 9060,
                                'Websphere Admin. Console',
                                'Destination Port' = 9100,
                                'Network  Printer',
                                'Destination Port' = 9200,
                                'Elastic Search',
                                Other) 
     | eval Source = 'Source IP' || ':' || 'Source Port' 
     | eval Destination = 'Destination IP' || ':' || 'Destination Port' 
     | link Source,
        Destination 
     | stats avg('Content Size Out') as 'Transfer Size (bytes)',
        unique('Source Name') as 'Traffic From',
        unique('Destination Name') as 'Traffic To' 
     | classify topcount = 300 correlate = -*,
        Source,
        Destination 'Start Time',
        'Traffic From',
        'Transfer Size (bytes)',
        'Traffic To' as Network                        
    

    eval 功能會將連接埠名稱翻譯成應用程式。

    查詢的最後一部分會新增更多查詢時間評估欄位,這些欄位會建立每個來源及目的地的唯一資料列,並且計算這些端點之間的平均網路傳輸。此外,您還會將「來源」和「目的地」連接埠的翻譯名稱視為「流量來源」和「流量目標」。

  2. 瀏覽至分析,按一下建立圖表,然後填入欄位,如下所示:

  3. 分析叢集並分析指定資料點,建立下方分析:

  4. 您可以選擇不同的欄位來控制圖表上項目的大小與顏色。

  5. 將游標暫留在項目上,以查看關於這些項目的詳細資訊。

  6. 您可以按一下項目以存取其內容。

  7. 將此儲存為小工具。

    瀏覽至選項,然後按一下顯示選項。在面板的「儀表板選項」區段中,取消勾選所有選項,然後勾選「分析」和「資料表」。按一下儲存變更。然後,瀏覽至動作,然後按一下另存新檔,將此分析儲存為小工具。

建立儀表板

  1. 瀏覽至日誌記錄分析,然後按一下儀表板

  2. 按一下建立

    輸入儀表板名稱、先前建立的區間 (logging-analytics-demo),並使用在右側儀表板中可用的已儲存搜尋。將小工具拖放至畫面上。畫面的大小與移動於畫面上。新增先前建立的其他小工具。儀表板的外觀可能如下:

    或者,類似:

深入瞭解

若要持續從企業內部部署實體收集日誌資料,您可以在主機、企業內部部署或雲端基礎架構上安裝管理代理程式。請參閱使用 Oracle Management Agent 底下的詳細資訊。

如需有關用來建立關係之「實體關聯」的詳細資訊,請參閱:

建立個體

設定新來源實體關聯

日誌記錄分析中設定的實體類型

如需其他技術資訊,請參閱記錄日誌分析

探索 Oracle Learn 上的其他實驗室,或在 Oracle Learning YouTube 通道存取更多免費學習內容。此外,瀏覽 Oracle University 以成為 Oracle Learning Explorer。

其他學習資源

探索 docs.oracle.com/learn 上的其他實驗室,或是存取更多免費學習內容至 Oracle Learning YouTube 通道。此外,瀏覽 education.oracle.com/learning-explorer 以成為 Oracle Learning Explorer。

如需產品文件,請瀏覽 Oracle Help Center