デフォルトでは、「パーサーの作成」ページが「ガイド付き」モードで開きます。フィールドの選択後にログ・アナリティクスでログを解析する正規表現を生成する場合は、このモードで続行します。ガイド付きモードについては、 ビデオ: RegExパーサー・ビルダーの使用を参照してください。解析用の正規表現を記述する場合は、「拡張」モードに切り替えて、次のステップを続行します:

1. 「名前」フィールドに、パーサー名を入力します。たとえば、Custom Audit Logsと入力します。

2. オプションで、識別しやすいようにパーサーに適切な説明を入力します。

3. 「サンプルのログ・コンテンツ」フィールドで、次のように解析するログ・ファイルからコンテンツを貼り付けます:

   Jun 20 2020 15:19:29 hostabc rpc.gssd: ERROR: can't open clnt5aa9: No such file or directory
   Jul 29 2020 11:26:28 hostabc kernel: FS-Cache: Loaded
   Jul 29 2020 11:26:28 hostxyz kernel: FS-Cache: Netfs 'nfs' registered for caching
   Aug 8 2020 03:20:01 slc08uvu rsyslogd-2068: could not load module '/lib64/rsyslog/lmnsd_gtls.so', rsyslog error -2078
   [try http://www.rsyslog.com/e/2068 ]
   Aug 8 2020 03:20:36 0064:ff9b:0000:0000:0000:0000:1234:5678 rsyslogd-2066: could not load module '/lib64/rsyslog/lmnsd_gtls.so', dlopen: /lib64/rsyslog/lmnsd_gtls.so: cannot open shared object file: Too many open files
   [try http://www.rsyslog.com/e/2066 ]
   Sep 13 2020 03:36:06 hostnam sendmail: uAD3a6o5009542: from=root, size=263, class=0, nrcpts=1, msgid=<201611130336.uAD3a6o5009542@hostname.example.com>, relay=root@localhost
   Sep 13 2020 03:36:06 hostnam sendmail: uAD3a6o5009542: to=root, ctladdr=root (0/0), delay=00:00:00, xdelay=00:00:00, mailer=relay, pri=30263, relay=[127.0.0.1] [127.0.0.1], dsn=2.0.0, stat=Sent (uAD3a6KW009543 Message accepted for delivery)
   Sep 20 2020 08:11:03 hostnam sendmail: STARTTLS=client, relay=userv0022.example.com, version=TLSv1/SSLv3, verify=FAIL, cipher=DHE-RSA-AES256-GCM-SHA384, bits=256/256]]>

   これは、エントリ4と5が複数の行にまたがっているため、複数行ログ・エントリです。

4. 「正規表現の解析」フィールドに、フィールドを解析する正規表現を入力します。カッコの各ペアは、単一のフィールドに抽出する正規表現句を示します。

   解析式は、各ログ・タイプに固有で、実際のログ・エントリのフォーマットごとに異なります。この例では、次を入力します:

   (\w+)\s+(\d+)\s+(\d+)\s+(\d+):(\d+):(\d+)\s+([^\s]+)\s+([^:]+):\s+(.*)

   ノート
   
   

   • コンテンツの前や後にスペースを含めないでください。

   • 正規表現は、ログ・レコードの完全なテキストと一致する必要があります。

   • 解析式に非表示文字が含まれている場合、「パーサーの作成」インタフェースによって警告メッセージが発行されます:

     パーサー式に非表示の制御文字がいくつかあります。

     このデフォルト・レスポンスを無効にするには、エラー・メッセージが表示されたら、「非表示の制御文字の表示」チェック・ボックスの選択を解除します。

   解析式の作成についてさらに学習するには、サンプルの解析式を参照してください。

5. 適切な「ログ・レコードのスパン」を選択します。

   ログ・エントリは、単一行または複数行のどちらも可能です。複数行を選択した場合は、ログ・レコードの開始式を入力します。

   新しいログ・エントリの開始を正しく識別するために必要な最小限のルールとなるように正規表現を定義する必要があります。この例では、開始式は次のようになります:

   (\w+)\s+(\d+)\s+(\d+)\s+

   これは、新しい行がこのエントリ開始式と一致するテキストで始まるたびに、新しいログ・エントリの開始が発生することを示します。

   オプションで、終了式も入力できます。「終了式」を使用して、ログ・レコードの終わりを示します。ログ・レコードが長期間にわたってファイルに書き込まれており、ログ・エントリ全体が確実に収集されるようにする場合は、終了正規表現を使用します。エージェントは、終了正規表現パターンが一致するまでログ・レコードの収集を待機します。終了式には、「エントリ開始式」のものと同じフォーマット・ルールが適用されます。

   必要に応じて、「ファイル全体を単一ログ・エントリとして処理」チェック・ボックスを選択します。このオプションでは、ログ・ファイル全体を単一のログ・エントリとして解析および格納できます。これは、Java Hotspotダンプ・ログや、パッケージ・ログのRPMリストなどのログ・ソースの解析時に特に役立ちます。ログ・エントリに検索可能にするテキストが多数ある場合は、「このコンテンツにおけるRAWテキスト検索を有効化します」チェック・ボックスの選択を検討してください。このオプションによって、Raw Textフィールドでログ・レコードを検索できます。有効にすると、RAWテキストを含む元のログ・コンテンツを表示できます。

6. 「フィールド」タブで、正規表現から取得された各値を格納する関連フィールドを選択します。

   新しいフィールドを作成するには、アイコンをクリックします。「ユーザー定義フィールドの作成」ダイアログ・ボックスが開きます。「名前」、「データ型」、「説明」の値を入力し、ログに適用できる場合は「複数値フィールド」チェック・ボックスを使用します。入力する値の詳細は、フィールドの作成を参照してください。行の選択済フィールドを削除するには、アイコンをクリックします。

   取得値ごとに、データを格納するフィールドを選択します。この例で最初に取得したフィールドは、次のように入力できます:

   • フィールド名: 月(短縮名)

   • フィールドのデータ型: STRING

   • フィールドの説明: ログ・エントリ時間の月(短縮名)の構成要素(Janなど)

   • フィールド式: (\w{3})

   前述のログの例では、次の順序でフィールドをマップします:

   1. 月(短縮名)
   2. 日
   3. 年(4桁)
   4. ホスト名(サーバー)
   5. サービス
   6. メッセージ

7. 「ファンクション」タブで、「ファンクションの追加」をクリックして、オプションでログ・エントリを前処理するためのファンクションを追加します。ログ・エントリの前処理を参照してください。

8. 「パーサー・テスト」タブをクリックして、新しく作成されたパーサーがログ・コンテンツから値を抽出する方法を表示します。

   前に指定したサンプル・コンテンツのログ・エントリを表示できます。これを使用して、定義したパーサーが正常に機能するかどうかを確認します。

   1つのログ・エントリで正規表現が失敗した場合、一致ステータスには、機能した式の部分が緑色で、失敗した部分が赤色で示されます。これにより、正規表現のどの部分を修正する必要があるかを識別できます。

   パーサー・テストに失敗したイベントのリストおよび失敗の詳細を表示できます。また、正規表現のコストに関する知見を得ることができるステップ数も表示できます。この値は、できるだけ小さいことが理想的です。1000未満であれば許容できますが、よりコストのかかる正規表現が必要な場合もあります。正規表現のステップが多すぎると、エージェント・ホストでのCPU使用率が高くなり、ログの処理が遅くなる可能性があります。これにより、ログ・エクスプローラでのログ・エントリの使用が遅延します。正規表現のコストが高すぎる極端な例では、同じ収集期間に収集されたログ・エントリと他のすべてのエントリの解析がスキップされます。

「保存」をクリックして、作成した新しいパーサーを保存します。

パーサーの作成を中断するには、「取消」をクリックします。「取消」をクリックすると、「正規表現」タイプのパーサーの作成で進行中であった内容はすべて失われます。

JSONパーサーを作成するには:

1. 「パーサー」フィールドに、パーサー名を入力します。たとえば、Custom API Logと入力します。

2. パーサー・タイプを「JSON」として選択します。

3. オプションで、識別しやすいようにパーサーに適切な説明を入力します。

4. 「サンプルのログ・コンテンツ」フィールドで、次のように解析するログ・ファイルからコンテンツを貼り付けます:

   {
     "name": "helloapi",
     "hostname": "banana.local",
     "pid": 40442,
     "level": 30,
     "req": {
       "method": "GET",
   	"url": "/hello?name=paul",
   	"headers": {
   	  "user-agent": "curl/7.19.7 (universal-apple-darwin10.0) libcurl/7.19.7 OpenSSL/0.9.8r zlib/1/2/3",
   	  "host": "0.0.0.0:8080",
   	  "accept": "*/*"
   	},
   	"remoteAddress": "127.0.0.1",
   	"remotePort": 59834
     },
     "msg": "start",
     "time": "2012-03-28T17:39:44.880Z",
     "v": 0
   }

   サンプルのログ・コンテンツに基づいて、次の例のようにフィールドが選択され、「フィールド」タブに表示されます:

   
   
   
   
   
5. 「フィールド」タブで、特定のJSONパスに対して、使用可能な定義済フィールドからフィールド名を選択します。

   新しいフィールドを作成するには、アイコンをクリックします。「ユーザー定義フィールドの作成」ダイアログ・ボックスが開きます。「名前」、「データ型」、「説明」の値を入力し、ログに適用できる場合は「複数値フィールド」チェック・ボックスを使用します。入力する値の詳細は、フィールドの作成を参照してください。行の選択済フィールドを削除するには、アイコンをクリックします。

   選択されるデフォルト・ルート・パスは、$です。JSONルート・パスを変更する場合は、「詳細オプション」セクションを展開して、メニューから「ログ・エントリJSONパス」を選択します。

6. 「ファンクション」タブで、「ファンクションの追加」をクリックして、オプションでヘッダー・パーサー・ファンクションでログ・エントリを前処理するためのファンクションを追加します。ログ・エントリの前処理を参照してください。
7. フィールドを選択したら、「パーサー・テスト」タブに移動して、一致ステータスおよびサンプルのログ・コンテンツから選択されたフィールドを表示します。
8. 「保存」をクリックして、作成した新しいパーサーを保存します。

JSONタイプ・パーサーの作成を中断し、正規表現タイプのパーサーの作成に切り替えるには、「タイプ」で「正規表現」を選択します。

1. 「パーサー」フィールドに、パーサー名を入力します。たとえば、Custom Database Audit Logと入力します。

2. パーサー・タイプを「XML」として選択します。

3. オプションで、識別しやすいようにパーサーに適切な説明を入力します。

4. 「Example Log Content」フィールドで、次のExampleAのように解析するログ・ファイルからコンテンツを貼り付けます:

   <AuditRecord><Audit_Type>1</Audit_Type><Session_ld>201073</Session_ld><Statementid>13</Statementid><Entryld>6</Entryld>
   <Extended_Timestamp>2016-09-09T01:26:07.832814Z</Extended_Timestamp><DB_User>SYSTEM</DB_User><OS_User>UserA</OS_User><Userhost>host1</Userhost>
   <OS_Process>25839</OS_Process><Terminal>pts/4</Terminal><Instance_Number>0</Instance_Number><Object_Schema>HR</Object_Schema>
   <Object_Name>EMPLOYEES</Object_Name><Action>17</Action>
   <Returncode>0</Returncode><Sen>§703187</Sen><AuthPrivileges>--------¥-----</AuthPrivileges>
   <Grantee>SUMON</Grantee>
   <Priv_Used>244</Priv_Used><DBID>2791516383</DBID><Sql_Text>GRANT SELECT ON hr.employees TO sumon</Sql_Text></AuditRecord>

   Oracle Logging Analyticsでは、ログ・コンテンツの例に基づいて、ログ・レコードを表すXML要素のリストが自動的に識別されます。

5. オプションで、「ネームスペースの無視」チェック・ボックスを有効にして、XMLパスのネームスペースを無視します。

6. オプションで、「位置認識の有効化」チェック・ボックスを有効にして、要素の配列の場合と同様に、XMLパスの下にある要素の複数の値を検出します。たとえば、次の例では、ログ・コンテンツExampleBです。

   <ListOfTrackingFields>
       <TrackingField>
           <Name>NameA</Name>
       </TrackingField>
       <TrackingField>
           <Name>NameB</Name>
       </TrackingField>
       <TrackingField>
           <Name>NameC</Name>
       </TrackingField>
       <TrackingField>
           <Name>NameD</Name>
       </TrackingField>
       <TrackingField>
           <Name>NameE</Name>
       </TrackingField>
   </ListOfTrackingFields>

   位置認識が有効になっていない場合は、XMLパス/ListOfTrackingFields/TrackingField/Nameに制限され、Nameの最初の値のみが検出されます。位置認識を有効にすると、要素TrackingFieldの下にあるNameの次の5つの値が検出されます。対応するすべてのXMLパスが構成されている場合は、NameA、NameB、NameC、NameD、NameE。

7. 「ログ・エントリXMLパス」メニューから、目的のログ・レコードに適したXML要素を選択します。前述のサンプルのログ・コンテンツExampleAでは、/AuditRecordを選択します。

   XMLパスの選択に基づいて、フィールドが選択され、「フィールド」タブに表示されます。前述のサンプルのログ・コンテンツでは、強調表示された要素がフィールドとして適格です。例のXMLパス/AuditRecordの場合、フィールドのXMLパスは、/AuditRecord/<highlighted_element>になります(/AuditRecord/Audit_Typeなど)。

8. 「フィールド」タブで、特定のXMLパスに対して、使用可能な定義済フィールドからフィールド名を選択します。

   新しいフィールドを作成するには、アイコンをクリックします。「ユーザー定義フィールドの作成」ダイアログ・ボックスが開きます。「名前」、「データ型」、「説明」の値を入力し、ログに適用できる場合は「複数値フィールド」チェック・ボックスを使用します。入力する値の詳細は、フィールドの作成を参照してください。行の選択済フィールドを削除するには、アイコンをクリックします。

9. フィールドを選択したら、「パーサー・テスト」タブに移動して、一致ステータスを表示します。

   
   
   
   
   

10. 「保存」をクリックして、作成した新しいパーサーを保存します。

XMLタイプ・パーサーの作成を中断し、正規表現タイプのパーサーの作成に切り替えるには、「タイプ」で「正規表現」を選択します。

1. パーサーの名前を入力します。たとえば、Comma Separated Custom App Logと入力します。

2. オプションで、識別しやすいようにパーサーに適切な説明を入力します。

3. パーサー・タイプを「デリミタ付き」として選択します。

4. 「デリミタ」で、「カンマ」、「セミコロン」、「スペース」または「タブ」などのフィールドを区切るためにログで使用するデリミタのタイプを選択します。リストされているオプションと異なる場合は、「その他」を選択し、指定したスペースにデリミタ文字を指定します。

   次のログ・コンテンツの例を考えてみます。

   helloapi,"host,local", 65427, 29, start, 2021-08-28T17:39:44.880Z

   前述の例では、カンマ(,)はデリミタです。

   指定したデリミタ文字が、次に選択したクオリファイアと異なることを確認してください。

5. オプションで、ログ内のフィールドのテキストを折り返すために使用される修飾子を選択します。「二重見積」または「単一見積」を選択します。

   テキスト・クオリファイアは、フィールド・データ内にデリミタが含まれている場合に使用されます。field1の値がhost,localで、デリミタ文字(、)が含まれ、テキスト修飾子が使用されていないシナリオを考えてみます。デリミタ(local)の後に発生するデータは、次のフィールドの値とみなされます。

   前のステップのログ・コンテンツの例では、二重引用符(")が修飾子です。

   ノート
   
   データ型文字列のフィールドの値については、修飾子の前後の空白文字も文字列の一部として考慮されます。文字列値が一致するように、修飾子がデリミタのすぐ横に配置されていることを確認します。たとえば、,"host,local",では、最初のデリミタの後の空白文字が削除されます。また、最後のデリミタの前の空白文字が削除されます。したがって、後からパーサー・テスト結果に表示されるように、一致文字列フィールドの有効な値はhost,localです。

6. オプションで、「ヘッダー」の下にログのヘッダー行を貼り付けます。このヘッダー行は、「フィールド」タブの「ヘッダー列」にマップできます。たとえば、

   name, hostname, pid, level, msg, time

   ヘッダーを指定すると、実際のログのヘッダーと完全に一致するログ行がフィルタで除外されます。

7. 「サンプルのログ・コンテンツ」フィールドで、次のように解析するログ・ファイルからコンテンツを貼り付けます:

   helloapi,"host,local", 65427, 29, start, 2021-08-28T17:39:44.880Z

   サンプルのログ・コンテンツに基づいて、次の例のようにフィールドが選択され、「フィールド」タブに表示されます:

8. 「フィールド」タブのヘッダー列で、使用可能な定義済フィールドからフィールド名を選択します。ただし、任意のヘッダー列のみを選択的にマップでき、すべてのヘッダー列のフィールドをマップする必要はありません。
   
   
   
   

   新しいフィールドを作成するには、アイコンをクリックします。「ユーザー定義フィールドの作成」ダイアログ・ボックスが開きます。「名前」、「データ型」、「説明」の値を入力し、ログに適用できる場合は「複数値フィールド」チェック・ボックスを使用します。入力する値の詳細は、フィールドの作成を参照してください。行の選択済フィールドを削除するには、アイコンをクリックします。

9. フィールドを選択したら、「パーサー・テスト」タブに移動して、一致ステータスおよびサンプルのログ・コンテンツから選択されたフィールドを表示します。
   
   
   
   
10. 「パーサーの作成」をクリックして、作成した新しいパーサーを保存します。

区切りタイプのパーサーの作成を中止し、別のタイプのパーサーの作成に切り替えるには、「タイプ」でそれを選択します。

元のログ・コンテンツが追加情報でラップされている場合は、元のログ・コンテンツを含むベース・フィールドをパーサーにマップし、その元のログ・レコードのフィールドを抽出できます。

元のログ・コンテンツが次のようになっているとします。

####<Feb 01, 2021 10:28:27 AM PST> <Info> <Diagnostics> <soaapps.example.com> <excstg_soa> <[ACTIVE] ExecuteThread: '34' for queue: 'weblogic.kernel.Default (self-tuning)'> <<WLS Kernel>> <> <kernel_version> <123456> <[severity-value:64] [rid: 0] [partition-id: 0] [partition-name: DOMAIN] > <BEA-320145> <Size based data retirement operation completed on archive HarvestedDataArchive. Retired 9,720 records in 11,242 ms.>

同じログ・コンテンツがコネクタ・ハブを介してOCIロギングからOracle Logging Analyticsに送信されると、JSONラッパーが元のログ・コンテンツに追加されます。例:

{
  "data": {
    "Labels": "LogPath:/u01/APPLTOP/instance/wlslogs/FADomain/servers/ServiceServer_1/logs/ServiceServer_1.log;ServiceName:Host;ServiceType:Oracle_Host;LogSet:TEST_POD;HostName:examplehost.oraclecloud.com;IP:192.0.2.1;WLS:NA;Domain:NA;AppName:myApp;Customer:CompanyA, (U.S.) Corp;CustomerType:NonHypercare;PODType:TEST;PODSize:S0;DC:CDC;Version:11.13.20.10.0;",
    "action": "ACTION",
    "msg": "####<Feb 01, 2021 10:28:27 AM PST> <Info> <Diagnostics> <soaapps.example.com> <excstg_soa> <[ACTIVE] ExecuteThread: '34' for queue: 'weblogic.kernel.Default (self-tuning)'> <<WLS Kernel>> <> <kernel_version> <123456> <[severity-value:64] [rid: 0] [partition-id: 0] [partition-name: DOMAIN] > <BEA-320145> <Size based data retirement operation completed on archive HarvestedDataArchive. Retired 9,720 records in 11,242 ms.>"
  },
  "id": "123123123",
  "oracle": {
    "compartmentid": "ocid1.compartment.oc1..aaaaaaaauniqueID",
    "ingestedtime": "2021-02-01T18:32:49.204Z",
    "loggroupid": "ocid1.loggroup.oc1.iad.amaaaaaauniqueID",
    "logid": "ocid1.log.oc1.iad.amaaaaaayuniqueID",
    "tenantid": "ocid1.tenancy.oc1..aaaaaaaaetuniqueID"
  },
  "source": "FA-APPS",
  "specversion": "1.0",
  "time": "2021-02-01T11:48:43.091Z",
  "type": "FA Unified Apps Logs"
}

前述の例では、元のログ・コンテンツがベース・フィールドmsgに存在します。

前述の例では、ログ・コンテンツにJSONラッパーがあることに注意してください。ただし、元のログ・コンテンツとラッパーがサポートされているパーサー形式であり、ログがサポートされている任意の方法で収集されている場合でも、これらのステップを実行できます。

元のログ・コンテンツのフィールドを抽出するには、次のステップに従います。

1. 元のログ・コンテンツのタイプに基づいて、元のログ・コンテンツから関連フィールドを取得するパーサーを識別または作成します。パーサーの作成を参照してください。

   このパーサーは、次に作成するラッパー・パーサー内でマップされたパーサーとして使用されます。

2. ラッパー・コンテンツのタイプに基づいて、パーサーの作成のステップに従って、そのパーサーを作成します。

   このパーサーは、後続のステップでラッパー・パーサーと呼ばれます。

3. ラッパー・パーサーの場合は、元のログ・コンテンツにラッパーがあるログ・コンテンツの例を指定します。

   JSONパーサーの場合、選択したデフォルトのルート・パスは$です。JSONルート・パスを変更する場合は、「詳細オプション」セクションを展開して、メニューから「ログ・エントリJSONパス」を選択します。

4. 元のログ・コンテンツを含むベース・フィールドに対応する「フィールド」タブで、「アクション」メニューをクリックし、「パーサーを介したフィールドのマップ」を選択します。パーサーを選択できるダイアログ・ボックスが開きます。

   前述の例では、マップされたパーサーを追加する必要がある行は$.data.msgです。

   ラッパー・パーサーでは、マップされたパーサーに1つのベース・フィールドのみをマップできます。

5. 「パーサーを介したフィールドのマップ」ダイアログ・ボックスで、ベース・フィールドのフィールドを抽出するパーサーを選択します。「フィールドのマップ」をクリックします。

   「フィールド」タブに、ベース・フィールドが選択したマップ済パーサーおよび抽出されたフィールドのリストにマップされていることが表示されるようになりました。

   選択したマップ済パーサーに、マップ済パーサーが含まれている可能性もあります。Oracle Logging Analyticsでは、ネストされたマップされたパーサーの2つのレベルがサポートされます。たとえば、Wrapper-parserにはmapped-parser-1が含まれ、mapped-parser-2が含まれます。

6. 残りのフィールドを選択したら、「パーサー・テスト」タブで、パーサー・テストを実行して、一致ステータスおよびサンプルのログ・コンテンツから選択されたフィールドを確認します。

Oracle Logging Analyticsには、ログ・エントリを前処理して結果のログ・エントリをエンリッチできる次の関数が用意されています:

• ヘッダー詳細ファンクション

• 検索/置換ファンクション

• 時間オフセット・ファンクション

パーサーの作成中にログ・エントリを前処理するには、「ファンクション」タブをクリックし、「ファンクションの追加」ボタンをクリックします。

表示される「ファンクションの追加」ダイアログ・ボックスで、ファンクションの名前を入力し、必要なファンクションを選択して、関連フィールドの値を指定します。

サンプルのログ・コンテンツにファンクションを適用した結果をテストするには、「テスト」をクリックします。比較結果が表示され、フィールド値の正確さを確認できます。