ソースの作成

ソースの編集または作成時に「データ・フィルタ」タブを使用して、IPアドレス、ユーザーID、ホスト名およびその他の機密情報を置換文字列でマスクしたり、ログ・エントリから特定のキーワードおよび値を削除したり、ログ・エントリ全体を非表示にしたりできます。

データ・フィルタは、ログ・ソースの作成時または既存のソースの編集時に追加できます。既存のログ・ソースの編集について学習するには、Oracle定義ソースのカスタマイズを参照してください。

オンデマンド・アップロードまたはオブジェクト・ストアからの収集を使用してログ・データがOracle Log Analyticsに送信される場合、データが索引付けされる前にクラウド側でマスキングが発生します。管理エージェントを使用してログを収集する場合、コンテンツがオンプレミスから離れる前にログがマスクされます。

トピック:

• ログ・データのマスキング

• ログ・データのハッシュ・マスキング

• ログ・レコードからの特定のキーワードまたは値の削除

• 特定のキーワードに基づくログ・エントリ全体の削除

ログ・データのマスキング

マスキングとは、既存のテキストのセットを取得し、それを他の静的テキストに置き換えて元のコンテンツを非表示にするプロセスです。

ユーザー名やホスト名などの情報をログ・エントリからマスクする場合:

1. ナビゲーション・メニューを開き、「監視および管理」をクリックします。「Log Analytics」で、「管理」をクリックします。

2. 管理リソースが、左側のナビゲーション・ペインにある「管理」の下にリストされます。「ソース」をクリックします。

3. 編集するソースの名前をクリックします。ソースの詳細ページが開きます。「カスタマイズ」をクリックしてソースを編集します。

4. 「データ・フィルタ」タブをクリックし、「追加」をクリックします。

5. マスクの「名前」を入力し、「タイプ」として「マスク」を選択し、「検出式」の値とそれに関連する「置換式」の値を入力します。

   検出式の値は、プレーン・テキスト検索または標準の正規表現です。検索式と一致するテキストは、ログ・エントリ全体で置換式に置き換えられます。

   名前	検出式	置換式
   マスク・ユーザー名	User=\S	User=confidential
   マスク・ホスト	Host=\S+	Host=mask_host

   ノート
   
   

   置換文字列の構文は、置換対象の文字列の構文と一致する必要があります。たとえば、数値を文字列で置き換えることはできません。123.45.67.89という形式のIPアドレスは、000.000.000.000で置換できますが、000.000では置換できません。構文が一致しない場合、パーサーが中断する可能性があります。

6. 「保存」をクリックします。

こののログ・ソースのマスクされたログ・エントリを表示すると、指定したフィールドの値がOracle Log Analyticsによってマスクされていることがわかります。

• User = confidential

• Host = mask_host

ログ・データのハッシュ・マスキング

前の項の説明に従って、マスクを使用してログ・データをマスクすると、マスクされた情報は、置換式で指定された静的文字列に置き換えられます。たとえば、ユーザー名が文字列confidentialでマスクされる場合、ユーザー名は常に、ログ・レコードで出現するたびに式confidentialに置き換えられます。ハッシュ・マスクを使用すると、検出された値を一意のハッシュでハッシュ処理できます。たとえば、ログ・レコードに複数のユーザー名が含まれている場合、各ユーザー名は、一意の値にハッシュ処理されます。そのため、user1が出現するたびにテキスト・ハッシュebdkromluceaqieに置き換えられれば、ハッシュを使用して、引き続きこれらのログ・エントリが同じユーザーに該当することを識別できます。ただし、実際のユーザー名は表示されません。

関連するリスク: これはハッシュであるため、マスクされた元のテキストの実際の値を回復する方法はありません。ただし、任意の文字列のハッシュを取得すると、毎回同じハッシュが得られます。ログ・データのハッシュ・マスキング時には、このリスクを考慮してください。たとえば、文字列oracleのmd5ハッシュは、a189c633d9995e11bf8607170ec9a4b8です。文字列oracleのmd5を作成しようとするたびに、常に同じ値になります。このmd5ハッシュを使用して逆に戻し、元の文字列oracleを取得することはできませんが、oracleという値を推測してハッシュ処理すると、そのハッシュがログ・エントリ内のものと一致していることがわかります。

ログ・データにハッシュ・マスク・データ・フィルタを適用するには:

1. 「ソースの作成」ページに移動します。ステップは、ソースの作成を参照してください。

2. すでに存在するソースを編集することもできます。「ソースの編集」ページを開くステップは、ソースの編集を参照してください。

3. 「データ・フィルタ」タブをクリックし、「追加」をクリックします。

4. マスクの「名前」を入力し、「タイプ」として「ハッシュ・マスク」を選択し、「検出式」の値とそれに関連する「置換式」の値を入力します。

   名前	検出式	置換式
   マスク・ユーザー名	User=(\S+)s+	テキスト・ハッシュ
   マスク・ポート	Port=(\d+)s+	数値ハッシュ

5. 「保存」をクリックします。

文字列ベースのフィールドでハッシュ・マスクを使用する場合は、テキストまたは数値ハッシュを文字列フィールドとして使用できます。ただし、データ・フィールドが整数、長整数、浮動小数点数などの数値の場合は、数値ハッシュを使用する必要があります。数値ハッシュを使用しないと、置換テキストが原因でこの値に依存する正規表現が数値になるため、中断します。また、値も格納されません。

この置換は、データが解析される前に実行されます。通常、データをマスクする必要がある場合、それが常に数値であるかどうかは明らかではありません。そのため、マスク定義の作成時にハッシュのタイプを決定する必要があります。

前述のハッシュ・マスキングの例の結果では、各ユーザー名は一意のテキスト・ハッシュに置き換えられ、各ポート番号は一意の数値ハッシュに置き換えられます。

ログ・データをフィルタまたは分析する際に、ハッシュ・マスクを使用できます。ハッシュ・マスクによるログのフィルタを参照してください。

ログ・レコードからの特定のキーワードまたは値の削除

Oracle Log Analyticsでは、ログ・レコード内の特定のキーワードまたは値を検索し、そのキーワードはログ・レコードに存在する場合は一致したキーワードまたは値を削除できます。

次のログ・レコードを考えます:

ns5xt_119131: NetScreen device_id=ns5xt_119131  [Root]system-notification-00257(traffic): start_time="2017-02-07 05:00:03" duration=4 policy_id=2 service=smtp proto=6 src zone=Untrust dst zone=mail_servers action=Permit sent=756 rcvd=756 src=192.0.2.1 dst=203.0.113.1 src_port=44796 dst_port=25 src-xlated ip=192.0.2.1 port=44796 dst-xlated ip=203.0.113.1 port=25 session_id=18738

キーワードdevice_idとその値をログ・レコードから非表示にする場合:

1. ナビゲーション・メニューを開き、「監視および管理」をクリックします。「Log Analytics」で、「管理」をクリックします。

2. 管理リソースが、左側のナビゲーション・ペインにある「管理」の下にリストされます。「ソース」をクリックします。

3. 編集するソースの名前をクリックします。ソースの詳細ページが開きます。「カスタマイズ」をクリックしてソースを編集します。

4. 「データ・フィルタ」タブをクリックし、「追加」をクリックします。

5. フィルタの「名前」を入力し、「タイプ」として「文字列の削除」を選択し、「検出式」の値としてdevice_id=\S*などを入力します

6. 「保存」をクリックします。

このソースのログ・レコードを表示すると、指定したキーワードまたは値がOracle Log Analyticsによって削除されたことがわかります。

特定のキーワードに基づくログ・エントリ全体の削除

Oracle Log Analyticsでは、ログ・レコード内の特定のキーワードまたは値を検索し、そのキーワードが存在する場合はログ・レコードのログ・エントリ全体を削除できます。

次のログ・レコードを考えます:

ns5xt_119131: NetScreen device_id=ns5xt_119131  [Root]system-notification-00257(traffic): start_time="2017-02-07 05:00:03" duration=4 policy_id=2 service=smtp proto=6 src zone=Untrust dst zone=mail_servers action=Permit sent=756 rcvd=756 src=198.51.100.1 dst=203.0.113.254 src_port=44796 dst_port=25 src-xlated ip=198.51.100.1 port=44796 dst-xlated ip=203.0.113.254 port=25 session_id=18738

キーワードdevice_idが存在する場合は、ログ・エントリ全体を削除するとします:

1. ナビゲーション・メニューを開き、「監視および管理」をクリックします。「Log Analytics」で、「管理」をクリックします。

2. 管理リソースが、左側のナビゲーション・ペインにある「管理」の下にリストされます。「ソース」をクリックします。

3. 編集するソースの名前をクリックします。ソースの詳細ページが開きます。「カスタマイズ」をクリックしてソースを編集します。

4. 「データ・フィルタ」タブをクリックし、「追加」をクリックします。

5. フィルタの「名前」を入力し、「タイプ」として「ログ・エントリの削除」を選択し、「検出式」の値として.*device_id=.*などを入力します

   正規表現がログ・エントリ全体に一致することが重要です。正規表現の前後に.*を使用すると、ログ・エントリ内の他のすべてのテキストと一致するようになります。

6. 「保存」をクリックします。

こののログ・ソースのログ・エントリを表示すると、文字列device_idを含むすべてのログ・エントリがOracle Log Analyticsによって削除されたことがわかります。

パーサーを作成するのではなく、ソース定義で「時間のみ自動解析」オプションを使用する場合、拡張フィールド定義の作成に使用できるフィールドは、「元のログ・コンテンツ」フィールドのみです(その他のフィールドはパーサーによって移入されないため)。自動時間パーサーの使用を参照してください。

Oracle Log Analyticsによって、目的の拡張フィールドを検索できます。作成方法、ベース・フィールドのタイプ、またはフィールドのサンプル・コンテンツに基づいて検索できます。「検索」フィールドにサンプル・コンテンツを入力するか、検索ダイアログ・ボックスの下矢印をクリックします。検索ダイアログ・ボックスの「作成タイプ」で、目的の拡張フィールドがOracle定義であるかユーザー定義であるかを選択します。「ベース・フィールド」で、使用可能なオプションから選択できます。検索に使用できるサンプル・コンテンツまたは抽出フィールド式を指定することもできます。「フィルタの適用」をクリックします。

トピック:

• ソースでの収集時間参照の使用

• ログをグループ化するための「位置情報」フィールドの使用

• 処理時のログ・エントリへのデータの追加

• フィールド内の式を置換するための置換関数の使用

定義した条件にログ・エントリが一致すると、そのログ・エントリにラベルが移入されます。そのラベルは、ログ・エクスプローラのビジュアライゼーションおよびログ・エントリの検索とフィルタに使用できます。

ソースではOracle定義ラベルまたはユーザー作成ラベルを使用できます。特定のログ・エントリをタグ付けするためのカスタム・ラベルを作成するには、ラベルの作成を参照してください。

1. 既存のソースでラベルを使用するには、そのソースを編集します。「ソースのカスタマイズ」ページを開くステップは、ソース編集を参照してください。

2. 「ラベル」タブをクリックします。

3. 条件付きラベルを追加するには、「条件付きラベルの追加」をクリックします。

   「条件」セクションで、次を実行します:

   1. 「入力フィールド」リストから、条件を適用するログ・フィールドを選択します。

   2. Select the operator from the Operator list Contains, Contains Ignore Case, Contains Regex, Contains one of Regexes, Ends With, Equal, Equal Ignore Case, In, In Ignore Case, Is Null, Not Contains, Not Equal, Not In, Not Null, and Starts With.

   3. 「条件値」フィールドで、ラベルを適用するために一致させる条件の値を指定します。

      ノート
      
      

      ログ・グループを入力フィールドとして追加するには、名前のかわりにその値のOCIDを指定します。

   4. 条件を追加するには、「条件の追加」アイコンをクリックし、ステップ3aから3cを繰り返します。複数の条件に適用する論理操作を選択します。「AND」、「OR」、「NOT AND」または「NOT OR」から選択します。

      条件のグループを追加するには、「グループ条件」アイコンをクリックし、ステップ3aから3cを繰り返して各条件を追加します。条件のグループには複数の条件が必要です。条件グループに適用する論理操作を選択します。「AND」、「OR」、「NOT AND」または「NOT OR」から選択します。

      条件を削除するには、「条件の削除」アイコンをクリックします。

      文の形式で条件のリストを表示するには、「条件サマリーの表示」をクリックします。

4. 「アクション」で、使用可能なOracle定義またはユーザー作成ラベルから選択します。必要に応じて、「ラベルの作成」をクリックして新しいラベルを作成できます。

   「有効」チェック・ボックスを選択します。

5. 「追加」をクリックします。

Oracle Log Analyticsによって、ログ・エクスプローラで探しているラベルを検索できます。ラベルに定義されている任意のパラメータに基づいて検索できます。「検索」フィールドに検索文字列を入力します。検索ダイアログ・ボックスで検索基準を指定できます。「作成タイプ」で、目的のラベルがOracle定義であるかユーザー定義であるかを選択します。「入力フィールド」、「演算子」および「出力フィールド」フィールドで、使用可能なオプションから選択できます。検索に使用できる条件値または出力値を指定することもできます。「フィルタの適用」をクリックします。

これで、作成したラベルに基づいてログ・データを検索できます。ラベルでログをフィルタを参照してください。

条件フィールドを使用したデータ・セットのエンリッチ

オプションで、任意のフィールドを選択してそれに値を書き込む場合、条件付きフィールドを使用できます。条件付きフィールド機能を使用して任意のフィールドに値を移入することは、ルックアップを使用することとよく似ています。ただし、条件付きフィールドを使用すると、一致条件の柔軟性が高まるため、少数の条件の(フィールド移入定義)を処理する場合に使用すると便利です。たとえば、フィールドに移入するための条件が少ない場合、条件フィールドを使用して、ルックアップの作成と管理を回避できます。

条件付きフィールドを追加するステップは、条件付きラベルを追加するための前述のワークフローのステップと似ています。

• ステップ3で、「条件ラベルの追加」をクリックするかわりに、「条件フィールドの追加」をクリックします。条件を選択するステップ3の残りの部分は、前述のワークフローと同じままです。

• 上記のステップ4で、

  1. 「出力フィールド」で、使用可能なOracle定義またはユーザー作成のフィールドをメニューから選択します。必要に応じて、「新規フィールドの作成」をクリックして、新規フィールドを作成できます。

  2. 入力条件がtrueの場合に出力フィールドに書き込む「出力値」を入力します。

     たとえば、ログ・レコードの入力フィールドMethodの値がCONNECTに設定されている場合、Security Category出力フィールドに出力値authentication.loginをアタッチするようにソースを構成できます。

     「有効」チェック・ボックスを選択します。

これは、ログを解析する方法またはログを解析するための正規表現を記述する方法がわからないため、未加工のログ・データを渡して分析を実行する場合に特に役立ちます。通常、パーサーでは、指定したタイプのログ・ファイルのログ・エントリからフィールドを抽出する方法を定義します。ただし、Oracle Log Analyticsの汎用パーサーは次の操作ができます。

• ログ・エントリからタイムスタンプおよびタイムゾーンを検出します。

• ログ・エントリにタイムスタンプが含まれない場合は、現在時刻を使用してタイムスタンプを作成します。

• ログ・エントリが複数行であるか単一行であるかを検出します。

• タイムスタンプ:

  • ログ・エントリにタイムスタンプが含まれない場合、汎用パーサーは、ログ・データが収集された時間に基づいてタイムスタンプを作成および表示します。

  • ログ・レコードにタイムスタンプが含まれるが、タイムゾーンが定義されていない場合、汎用パーサーは、管理エージェントのタイムゾーンを使用します。

    管理エージェントの使用時に、タイムゾーンが正しく検出されない場合、エージェント構成ファイルにタイムゾーンを手動で設定できます。ファイルのタイムゾーンおよび文字エンコーディングの手動指定を参照してください。

    オンデマンド・アップロードを使用してログをアップロードする場合、そのアップロードとともにタイムゾーンを指定して、それを正しく検出できない場合に強制的にタイムゾーンを設定できます。CLIを使用する場合は、コマンドライン・リファレンス: Log Analytics - アップロードを参照してください。REST APIを使用する場合は、Log Analytics API - アップロードを参照してください。

  • ログ・ファイルに複数のタイムゾーンを使用するログ・レコードが含まれる場合、汎用パーサーでは、最大11個のタイムゾーンがサポートされます。

  • ログ・ファイルにタイムゾーンが含まれるログ・エントリと含まれないログ・エントリが表示される場合、汎用パーサーは、タイムゾーンが含まれないものに対して以前検出されたタイムゾーンを使用します。

  • 管理エージェントを使用してログを収集する際に、タイム・ゾーンまたはタイムゾーン・オフセットがログ・レコードに指定されていない場合、Oracle Log Analyticsは、OSの最終変更時間と最後のログ・エントリのタイムスタンプを比較して、適切なタイムゾーンを決定します。

• 複数行: ログ・エントリを複数行にまたがると、汎用パーサーは複数行のコンテンツを正しく取得できます。