ノート:

OCI Logging Analyticsを使用したサンプル・ログの分析

イントロダクション

一般的なエンタープライズ環境には、大量のログ・テレメトリがあります。興味深いログ・データとイベントを発見し、それらをすべてのアプリケーションから特定のビジネス・フローに関連付けたり、異常な動作を特定することは困難な場合があります。OCI Logging Analyticsは、オンプレミスおよびマルチクラウド環境からの様々なログ・データを集計、索引付けおよび分析するクラウド・ソリューションです。このデータを検索、探索し、相互に関連付けて、経営上のインサイトを導き出し、情報に基づいた意思決定を行えます。ログ・アナリティクスは、ほぼすべてのソースからログを取得、分析および関連付けできます。相関アクティビティは、即時利用可能な機械学習と高度な問合せ言語の両方を活用します。
このチュートリアルでは、事前構成済の環境でOCIロギング・アナリティクスを使用して、外れ値の検出、イベント・クラスタリング、ログの相関関係および異常検出などのタスクを簡単に実行する方法を学習します。

目的

組込みの機械学習アルゴリズム、コンテキストおよびインタラクティブなダッシュボードを使用してログ・ファイルを分析し、OCIロギング・アナリティクスを使用して問題を迅速に特定し、根本原因を特定することにより、問題をトラブルシューティングする方法をご紹介します。

前提条件

開始する前に

演習を開始すると、独自のデスクトップが表示されます。ブラウザを使用して、特定のロギング・アナリティクス・タスクを実行するために設計および構成されたOracle Cloud Infrastructure環境にログインします。

OCI管理者ユーザーとしてログインし、1つのリージョン内で演習ステップを実行します。

OCI環境へのログイン

  1. まだ実行していない場合は、デスクトップに移動し、ファイルをダブルクリックして Luna-Lab.htmlファイルを開きます。ダイアログ・ボックスが表示された場合は、デフォルトのブラウザとしてChromeが選択されていることを確認し、統計およびクラッシュ・レポートのGoogleへの送信の選択を解除します。

  2. このファイルの詳細をメモし、下にスクロールしてすべて(OCIへのクイック・リンク、ユーザー名およびパスワード、その他の演習の詳細)を表示します。「OCI CONSOLE」ボタンをクリックします。OCIログイン・インタフェースが別のタブに開きます。「OCIコンソール」ボタンをクリックすると、新しいブラウザ・タブにOCIコンソール・ログインが表示されます。サイト上のCookieに関するメッセージが表示された場合は、「すべてのCookieを受け入れる」ボタンをクリックします。

  3. 最初のタブに移動し、ユーザー名をコピーして、2番目のタブの「ユーザー名」フィールドに貼り付けます。

  4. 前述のステップ3を繰り返し、今度はパスワードをコピーし、「サインイン」をクリックします。ポップアップする他のメッセージを無視する場合は、パスワードを保存します。

    コンパートメントにスーパー管理者グループがあり、そのグループのスーパー管理者であるため、ルート・コンパートメントから、割り当てられた特定のコンパートメントに移動する必要があります。そのため、問合せ結果の取得時にリソース・エラー・メッセージが表示されます。最初の「Luna Lab」タブで下方向にスクロールし、割り当てられているOCIコンパートメント名を書き留めます。

  5. OCIコンソールの左上のナビゲーション・アイコンをクリックし、「監視および管理」をクリックして「ログ・アナリティクス」に移動し、「ログ・エクスプローラ」をクリックします。問合せ結果の取得の後のエラーを無視します。

  6. ログ・エクスプローラの右側にある「フィルタ」アイコンをクリックします。

    次に、最初のブラウザ・タブに移動し、OCIコンパートメント名を見つけて「コピー」をクリックします。OCI環境に戻り、「ログ・グループ・コンパートメント」検索フィールドにコンパートメント名を貼り付け、自分のコンパートメントを選択します。「適用」をクリックします。

  7. 時間ウィンドウ(右上)で、「過去14日間」を選択します。

  8. ログの収集元エンティティがすべて正しく設定されていることを確認するには、左上のメニューに移動し、「管理」を選択します。「管理の概要」ページで、「コンパートメント」フィールドを、前のステップで行ったのと同じ方法で割り当てたものに設定します。赤いエラー・ボックスを閉じ、「エンティティ」をクリックします。エンティティのリストは、次の図のようになります。

    環境には、ここに示した数よりも多くのログがある可能性があり、分析チャートには異なる数が表示される場合があります。事前作成された環境は定期的に拡張されます。ただし、探索ステップは同じです。

    画像2

ログ・アナリティクスを確認する準備ができました。

よく理解していること

  1. 「ログ・エクスプローラ」(左上)に戻ります。

  2. 「ビジュアライゼーション」オプションから、「ヒストグラム付きレコード」を選択します。このチュートリアル全体で使用されるユーザー・インタフェースの主な部分は次のとおりです。

    1) 問合せバー(バーの右端に「クリア」「検索ヘルプ」および「実行」ボタン)。

    2) 「時間範囲」メニューおよび「アクション」メニュー。「開く」「保存」「名前を付けて保存」などのアクションを検索できます。

    3) 「フィールド」パネル。ここで、データをフィルタするソースおよびフィールドを選択できます。

    4) 「視覚化」パネル。検索データをフォームに表示する方法を選択できます。

    5) 「メイン」パネル。問合せの結果の上にビジュアライゼーション出力が表示されます。

  3. チュートリアル全体で時間範囲は「Custom」のままです。時間範囲を「カスタム」にリセットできない場合は、「アップロードしたファイル」ページに戻り、「ログ・エクスプローラで表示」をクリックして再起動できます。

    ヒント:ステップを紛失した場合は、ブラウザの「戻る」ボタンを使用できます。ただし、「リフレッシュ」ボタンは使用しないでください。

クラスタリングを使用したログの調査

  1. チャートで、「OCI VCNフロー・ログ」をクリックしてVCNフロー・データにドリルダウンします。

  2. 「アクション」にナビゲートし、「名前を付けて保存」をクリックして、この検索を「ウィジェット」として保存します。

  3. 「Save Search」を完了して、「Save」をクリックします。

    この時点で、ウィジェットは、ここから直接ダッシュボードに追加することも、後でダッシュボード・メニューから追加することもできます。

  4. その他の様々なログを表示して、ウィジェットをいくつか作成します。

    後でダッシュボードに追加します。

  5. すべてのログ・データの表示に戻ります。

    ヒント:問合せバーをクリアして、「実行」をクリックします。

    合計レコード数は約7万件です。関連するクラスタとして大量のデータを簡単に視覚化できます。ログ・アナリティクス-クラスタリング(監視なしML)では、ログ・データとエンリッチ・ドメインの専門知識を使用して、データのパターンを見つけます。クラスタリングはテキストと数値で機能するため、大量のデータをより少ないパターンに減らして異常検出を行うことができます。ビジュアライゼーション・パネルの「クラスタ」ボタンをクリックします。

  6. 様々なクラスタ、潜在的な問題、外れ値、トレンドにドリルダウンできます。

    ログ・アナリティクスでは、監視なしMLを使用して、データ内の関連クラスタを検索します。これにより、最大74kのログが629のクラスタ・パターンにリアルタイムに削減されます。

    ノート:表示される数値は、チュートリアルに表示されている数とは若干異なる場合があります。

  7. 「潜在的な問題」タブをクリックします。

    629個のクラスタのうち、76個が自動的に潜在的な問題として識別されました。

  8. 「外れ値」タブをクリックします。

    これらの問題は1回だけ発生し、システムの異常を示します。

  9. 次に、「トレンド」タブをクリックします。

    これらは、時間に関連するクラスタ・パターンです。「8つの類似トレンド」をクリックして、データベース・アラート・ログの一連の関連ログを表示します。表示されるトレンドの正確な数は、選択した時間ウィンドウによって異なります。

  10. この検索は、前述の手順3と同じ手順で保存します。

  11. ネットワーク・トラフィックの分散を理解するために、さらに1つのビジュアライゼーションを作成します。

    最初にビジュアライゼーションを「円」に変更し、新しいデータ・セットOCI VCN Flow Logsを選択します。

    フィールド・パネルの検索ボックスで、「Source」という文字列を検索します。次に、「ソースIP」を「その他」から「グループ化」ボックスにドラッグ・アンド・ドロップして、「ビジュアライゼーション」パネルの「適用」をクリックします。

    ここでは、「Source IP」別にログ分散を確認できます。

  12. 問合せ言語を使用して、宛先IPの配布を検索します。

    問合せバーに次の問合せを入力し、「実行」をクリックします。

    ヒント:環境内に貼り付けるために環境外部にコピーされたものはすべて、まず環境のアクション・バーにあるクリップボードに貼り付ける必要があります。

    'Log Source' = 'OCI VCN Flow Logs’ | stats count('Destination IP') by 'Destination IP' 
    

    レコードを含む円グラフ(デフォルトで設定)が表示されます。

  13. ビジュアライゼーション・メニューから「ツリー・マップ」を選択して、ビジュアライゼーションをツリー・マップに変更します。

    ビジュアライゼーション・メニューから「ツリー・マップ」を選択します。

    このページでは、宛先IPの配布を視覚化できます。この検索/ウィジェットを「名前を付けて保存」します。

  1. 監視なしリンク機能を使用して、データを他のデータ・ソースに関連付けます。問合せバーに次の内容を入力し、「実行」をクリックします。「管理」にナビゲートし、「リソース」「アップロード」をクリックします。アップロードの名前を選択してコピーします(Ctrl-C)。ログ・エクスプローラに戻り、問合せバーlogging-analytics-demoでコピーしたアップロード名に置き換えます(logging-analytics-demoを選択して[Ctrl]-[V]を押し、「実行」をクリックします)。

    ヒント:問合せバーの[Ctrl]を押しながら[I]を押して、問合せをフォーマットします。

    'Upload Name' = 'logging-analytics-demo' and 'Log Source' = 'OCI VCN Flow Logs' 
    | eval 'Source Name' = if('Source Port' = 80,
                           HTTP,
                           'Source Port' = 443,
                           HTTPS,
                           'Source Port' = 21,
                           FTP,
                           'Source Port' = 22,
                           SSH,
                           'Source Port' = 137,
                           NetBIOS,
                           'Source Port' = 648,
                           RRP,
                           'Source Port' = 9006,
                           Tomcat,
                           'Source Port' = 9042,
                           Cassandra,
                           'Source Port' = 9060,
                           'Websphere Admin. Console',
                           'Source Port' = 9100,
                           'Network  Printer',
                           'Source Port' = 9200,
                           'Elastic Search',
                           Other) 
     | eval 'Destination Name' = if('Destination Port' = 80,
                                HTTP,
                                'Destination Port' = 443,
                                HTTPS,
                                'Destination Port' = 21,
                                SSH,
                                'Destination Port' = 22,
                                FTP,
                                'Destination Port' = 137,
                                NetBIOS,
                                'Destination Port' = 648,
                                RRP,
                                'Destination Port' = 9006,
                                Tomcat,
                                'Destination Port' = 9042,
                                Cassandra,
                                'Destination Port' = 9060,
                                'Websphere Admin. Console',
                                'Destination Port' = 9100,
                                'Network  Printer',
                                'Destination Port' = 9200,
                                'Elastic Search',
                                Other) 
     | eval Source = 'Source IP' || ':' || 'Source Port' 
     | eval Destination = 'Destination IP' || ':' || 'Destination Port' 
     | link Source,
        Destination 
     | stats avg('Content Size Out') as 'Transfer Size (bytes)',
        unique('Source Name') as 'Traffic From',
        unique('Destination Name') as 'Traffic To' 
     | classify topcount = 300 correlate = -*,
        Source,
        Destination 'Start Time',
        'Traffic From',
        'Transfer Size (bytes)',
        'Traffic To' as Network                        
    

    eval機能は、ポート名をアプリケーションに変換します。

    問合せの最後の部分では、より多くの問合せ時間評価フィールドが追加され、ソースおよび宛先ごとに一意の行が作成され、これらのエンド・ポイント間の平均ネットワーク転送が計算されます。また、ソース・ポートと宛先ポートの翻訳名は、「トラフィック開始」および「トラフィック終了」として取得されます。

  2. 「分析」にナビゲートし、「チャートの作成」をクリックして、次のようにフィールドに入力します。

  3. クラスタを分析し、指定したデータ・ポイントを分析して、次の分析を作成します。

  4. 異なるフィールドを選択して、チャート上のアイテムのサイズと色を制御できます。

  5. アイテムにカーソルを重ねると、アイテムに関する詳細情報が表示されます。

  6. アイテムをクリックすると、そのコンテンツにアクセスできます。

  7. これをウィジェットとして保存します。

    「オプション」にナビゲートし、「表示オプション」をクリックします。パネルの「ダッシュボード・オプション」セクションで、すべてのオプションの選択を解除し、「分析」および「データ表」のみを選択します。「変更を保存」をクリックします。次に、「アクション」にナビゲートし、「名前を付けて保存」をクリックして、この分析をウィジェットとして保存します。

ダッシュボードの作成

  1. 「ログ・アナリティクス」に移動して、「ダッシュボード」をクリックします。

  2. 「作成」をクリックします。

    ダッシュボード名、以前に作成したコンパートメント(logging-analytics-demo)を入力し、右側にあるダッシュボードのウィジェットとして使用可能な保存済検索を使用します。ウィジェットをキャンバスにドラッグ・アンド・ドロップします。パネルのサイズを設定し、キャンバス上で移動できます。前に作成した他のウィジェットを追加します。ダッシュボードは次のようになります。

    または、次のように指定します。

さらに学ぶ

オンプレミス・エンティティからログ・データを継続的に収集するには、管理エージェントをホスト、オンプレミスまたはクラウド・インフラストラクチャにインストールできます。詳細は、「Oracle Management Agentの使用」を参照してください。

関係の作成に使用されるエンティティ関連の詳細は、次を参照してください。

エンティティの作成

新しいソースとエンティティの関連付けの構成

ログ・アナリティクスでモデル化されるエンティティ・タイプ

その他の技術情報は、ログ・アナリティクスを参照してください。

Oracle Learnの他のラボを調べるか、Oracle Learning YouTubeチャネルでさらに無料のラーニング・コンテンツにアクセスします。さらに、Oracle UniversityにアクセスしてOracle Learning Explorerにします。

その他の学習リソース

docs.oracle.com/learnの他のラボを調べるか、Oracle Learning YouTubeチャネルでさらに無料の学習コンテンツにアクセスします。さらに、education.oracle.com/learning-explorerにアクセスしてOracle Learning Explorerにします。

製品ドキュメントは、Oracleヘルプ・センターを参照してください。