Logs nach Bedarf hochladen

Wenn Sie Logdateien in Oracle Logging Analytics aufnehmen möchten, ohne sie kontinuierlich mit dem Management Agent zu erfassen, können Sie einen bedarfsgesteuerten Upload ausführen. Sie können beliebig viele On-Demand-Uploads ausführen, um die zu analysierenden Logs hochzuladen.

Features des On-Demand-Uploads:

  • Sie können eine einzelne Raw-Logdatei oder eine beliebige Archivdatei (.zip, .gz, .tgz, .tar) mit mehreren Logdateien hochladen. Die Anzahl der Dateien in einem Archiv muss kleiner als 2000 sein, einschließlich eventueller Verzeichnisse.

  • Die maximale Dateigröße für einen einzelnen Upload (einzelne Datei oder ZIP-Datei) beträgt 1 GB. Die unkomprimierte Größe der Datei muss weniger als 10 GB betragen.

  • Sie können jeden Upload zur einfachen Referenz benennen. Wenn Sie den Namen wiederverwenden, können Sie Dateien zu unterschiedlichen Zeitpunkten in denselben Uploadnamen hochladen.

  • Die Anzahl der zulässigen eindeutigen Uploadnamen pro Mandant in einer Region ist auf 10.000 begrenzt.

  • Mit jedem Logdatensatz können Sie zusätzliche Metadaten anhängen, indem Sie eine Metadatendatei zusammen mit den Logdaten bereitstellen.

  • Die Informationen zur Uploadkonfiguration und der entsprechende Verarbeitungsstatus sind 90 Tage lang verfügbar.

  • Anzahl der in der Konsole angezeigten oder mit der CLI aufgeführten Uploaddateien:

    In der Konsole werden standardmäßig maximal 200 Dateien angezeigt. Sie können im On-Demand-Upload nach einer bestimmten Datei suchen, indem Sie den Dateinamen oder den Loggruppennamen im Filter angeben.

    Mit der CLI können Sie das Listenlimit für eine Seite mit dem folgenden Befehl angeben:

    oci log-analytics upload list-upload-files limit <new_listing_limit> page <page_number>
    • Limit: Maximale Anzahl der aufzulistenden Uploaddateien. Der Standardwert ist 50, und der zulässige Höchstwert ist 200.
    • Seite: Seitentoken, das die Seite darstellt, auf der Ergebnisse abgerufen werden sollen. Dies wird normalerweise von einem vorherigen Listenaufruf abgerufen.

    Siehe CLI-Dokumentation: list-upload-files.

Voraussetzungen: Bevor Sie Logdaten nach Bedarf hochladen, erfassen Sie die folgenden Informationen:

Erforderliche Berechtigung für On-Demand-Upload

Topics:

Erstellen, Abrufen und Auflisten von On-Demand-Uploadvorgängen durch Benutzer zulassen

Sie können Benutzern die Ausführung von On-Demand-Uploadvorgängen Erstellen, Abrufen und Liste ermöglichen, indem Sie selektiv nur die erforderlichen Berechtigungen zum Ausführen dieser On-Demand-Uploadaufgaben erteilen, individuelle Ressourcentypberechtigungen erteilen oder umfassendere Berechtigungen auf Aggregatebene erteilen. Sie können also eine der drei unten angegebenen Policy-Anweisungen auswählen, die für Ihren Anwendungsfall geeignet ist.

Die folgenden IAM-Policy-Anweisungen dienen dazu, der Benutzergruppe die spezifischen Berechtigungen für Vorgänge zum Erstellen, get und list beim On-Demand-Upload bereitzustellen:

allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_UPLOAD_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
allow group <group_name> to {LOG_ANALYTICS_SOURCE_READ} in tenancy
allow group <group_name> to use loganalytics-ondemand-upload in tenancy

Die folgenden IAM-Policy-Anweisungen dienen zur Bereitstellung von Berechtigungen auf der Ebene einzelner Ressourcentypen zur Verwendung von On-Demand-Uploads:

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to use loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-source in tenancy
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>

Auf der anderen Seite dienen die folgenden IAM-Policy-Anweisungen dazu, Berechtigungen auf aggregierter Ressourcenebene von Oracle Logging Analytics für den On-Demand-Upload bereitzustellen:

allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to use loganalytics-resources-family in tenancy/compartment

group_name bezieht sich in allen oben genannten Policy-Anweisungen auf die Benutzergruppe, der die erforderlichen Berechtigungen erteilt werden müssen.

Löschen von On-Demand-Uploads durch Benutzer zulassen

Sie können Benutzern die Ausführung eines On-Demand-Uploadvorgangs zum Löschen ermöglichen, indem Sie selektiv nur die erforderlichen Berechtigungen zum Ausführen der On-Demand-Uploadlöschaufgabe erteilen, einzelnen Ressourcentypberechtigungen erteilen oder umfassendere Berechtigungen auf Aggregatebene erteilen. Sie können also eine der drei unten angegebenen Policy-Anweisungen auswählen, die für Ihren Anwendungsfall geeignet ist.

Die folgenden IAM-Policy-Anweisungen dienen speziell dazu, der Benutzergruppe die Berechtigung für den Löschvorgang zu erteilen:

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_QUERY_VIEW} in tenancy
allow group <group_name> to {COMPARTMENT_QUERY} in tenancy

Die folgenden IAM-Policy-Anweisungen dienen dazu, Berechtigungen auf der Ebene einzelner Ressourcentypen für den Löschvorgang beim On-Demand-Upload bereitzustellen:

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to manage loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-query in tenancy
allow group <group_name> to read compartments in tenancy

Die folgenden IAM-Policy-Anweisungen dienen zur Bereitstellung von Berechtigungen auf Oracle Logging Analytics-Aggregatressourcenebene für den Löschvorgang beim On-Demand-Upload:

allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to manage loganalytics-resources-family in tenancy/compartment
allow group <group_name> to read compartments in tenancy

group_name bezieht sich in allen oben genannten Policy-Anweisungen auf die Benutzergruppe, der die erforderlichen Berechtigungen erteilt werden müssen.

On-Demand-Upload mit Konsole

Sie können Logdateien mit dem Assistenten On-Demand-Upload (ODU) hochladen, der in der Servicekonsole von Oracle Logging Analytics verfügbar ist.

Der ODU-Assistent ist eine einfache und praktische Methode zum Hochladen der Dateien über eine benutzerfreundliche Benutzeroberfläche. Befolgen Sie die intuitiven Schritte im Assistenten, um die Dateien zum Hochladen auszuwählen, die Eigenschaften der Dateien festzulegen und sie vor dem Hochladen zu prüfen.
  1. Öffnen Sie die Seite Uploads von Oracle Logging Analytics:

    Öffnen Sie das Navigationsmenü, und klicken Sie auf Observability and Management. Klicken Sie unter Logging Analytics auf Administration. Die Seite Administration - Überblick wird geöffnet.

    Die Administrationsressourcen werden im linken Navigationsbereich unter Ressourcen aufgeführt. Klicken Sie auf Uploads.

  2. Klicken Sie auf der Seite Uploads auf Dateien hochladen.
    Die Seite "Dateien hochladen" wird geöffnet.
  3. Dateien auswählen:
    • Geben Sie den Uploadnamen ein. Mit diesem Namen können Sie den Status der hochgeladenen Logdateien verfolgen. Sie können mehrere Uploads zu unterschiedlichen Zeiten mit demselben Uploadnamen ausführen, wenn Sie ein Set von Uploads zusammen verwalten möchten.
    • Wählen Sie das Compartment der Loggruppe aus, um den Geltungsbereich der Loggruppe zu definieren.
    • Wählen Sie die Loggruppe aus, in der die Logs gespeichert werden sollen.

      Um eine neue Loggruppe zu erstellen, wählen Sie das Compartment aus, und klicken Sie auf Loggruppe erstellen. Geben Sie im Dialogfeld den Namen und die Beschreibung ein. Klicken Sie auf Erstellen.

    • Klicken Sie auf die Schaltfläche Dateien auswählen, und wählen Sie die hochzuladenden Logdateien aus. Dateitypen wie ZIP, TAR, TGZ und alle Raw-Textdateien werden zum Hochladen akzeptiert. Sie können mehrere Dateien in einem einzelnen Upload auswählen.

    Eine Übersicht über die zum Hochladen ausgewählten Dateien wird angezeigt. Beachten Sie, dass die maximale Größe einer einzelnen Datei 100 MB beträgt. Sie können maximal 25 einzelne Dateien pro Upload hochladen. Eine Datei ohne Inhalt ist ungültig und wird beim Hochladen nicht berücksichtigt, wenn mehrere Dateien ausgewählt sind.

    Klicken Sie auf Weiter.

  4. Eigenschaften festlegen: Auf dieser Seite wird die Liste der im ersten Schritt ausgewählten Dateien angezeigt. Sie müssen die Quelle für die Verarbeitung jeder Datei angeben. Optional können Sie weitere zusätzliche Eigenschaften angeben. Um die Eigenschaften aller Dateien festzulegen, aktivieren Sie das Kontrollkästchen im Header, und klicken Sie auf Eigenschaften festlegen. Um die Eigenschaften einer bestimmten Datei festzulegen, klicken Sie neben dem Dateinamen auf das Menüsymbol "Aktionen" Symbol für Aktionsmenü und dann auf Eigenschaften festlegen. Das Dialogfeld "Eigenschaften festlegen" wird geöffnet.
    1. Wählen Sie im Dropdown-Menü Quelle die Quelle aus, die zur Verarbeitung der Logdateien verwendet werden soll.

      Um einen On-Demand-Upload durchzuführen, muss die Quelle den Typ Systemereignismeldungen (Syslog), Datei oder Oracle Diagnostic Logs (ODL) aufweisen.

    2. Wenn Sie diese hochgeladenen Dateien einer Entity zuordnen möchten, wählen Sie optional das Compartment der Entity im Dropdown-Menü Entity-Compartment aus.
    3. Sie können auch die Entity angeben. Das Dropdown-Menü Entity wird je nach ausgewähltem Entity-Compartment und dem in der ausgewählten Quelle definierten Entitytyp aufgefüllt. Wählen Sie die Entity aus.
    4. Möglicherweise müssen Sie die erweiterten Eigenschaften angeben, wenn die erforderlichen Informationen für die ordnungsgemäße Verarbeitung im Logeintrag nicht verfügbar sind. Blenden Sie den Abschnitt Erweiterte Optionen anzeigen ein. Wählen Sie im Dropdown-Menü die Werte der Parameter Logzeitzone, Zeichencodierung, Datumsformat und Loginhaltsjahr aus. Klicken Sie auf Änderungen speichern.
      • Logzeitzone: Die Zeitzoneninformationen für die Verarbeitung der Logeinträge. Standardmäßig werden die Zeitzoneninformationen im Logeintrag für die Verarbeitung verwendet. Wenn die Informationen im Logeintrag nicht verfügbar sind, wird der im Menü ausgewählte Wert verwendet. Falls der Wert weder aus diesem Menü noch direkt aus dem Logeintrag abgerufen werden kann, wird die Zeitzone der Entity verwendet. Wenn keine Informationen zur Zeitzone verfügbar sind, wird der Standardwert UTC verwendet.
      • Zeichencodierung: Die Zeichencodierung der hochgeladenen Logdateien. Oracle Logging Analytics versucht automatisch, die Zeichencodierung zu ermitteln. In bestimmten Anwendungsfällen müssen Sie diesen Wert jedoch möglicherweise überschreiben.
      • Datumsformat: Das Format für die Datumsinformationen, die in den Logdateien verfügbar sind. Wenn Sie das Makro {TIMEDATE} verwenden, entfernen Sie mit diesem Parameter alle Mehrdeutigkeiten bei der Identifizierung des Datumsformats im angegebenen Logeintrag. Beispiel: Wenn das Datum 12/10 lautet und als 12th October oder 10th December interpretiert werden kann, können Sie DAY_MONTH oder MONTH_DAY verwenden, um Mehrdeutigkeit zu entfernen. Wenn das Datum 12/10/08 lautet, können Sie DAY_MONTH_YEAR, MONTH_DAY_YEAR oder YEAR_MONTH_DAY verwenden.

        Wenn der Parser die Extraktion der Zeitkomponente verwendet, gibt es keine Mehrdeutigkeit. Daher können Sie die Angabe des Datumsformats überspringen.

      • Loginhaltsjahr: Die Jahresinformationen, die für die Verarbeitung der Logeinträge verwendet werden, wenn die Logeinträge keine Jahresinformationen im Zeitstempel enthalten.

      Blenden Sie die Zeile in der Tabelle ein, um die angegebenen Eigenschaften anzuzeigen. Sie können ausgewählte Dateien bei Bedarf aus der Uploadliste entfernen.

      Wählen Sie für jede Uploaddatei eine Quelle aus, bevor Sie mit dem Upload fortfahren.

    5. Klicken Sie auf Weiter.
  5. Prüfen: Prüfen Sie die Eigenschaften der Dateien, die Sie zum Hochladen ausgewählt haben. Um die Eigenschaften zu bestätigen und den Upload zu initiieren, klicken Sie auf Hochladen.

    Oracle Logging Analytics indexiert und verarbeitet die Dateien. Wenn der Upload abgeschlossen ist, klicken Sie auf Schließen, um zur Listenseite der Uploads zu navigieren.

    Wenn der Upload einer Datei nicht erfolgreich verläuft, klicken Sie auf das Symbol Wiederholen neben dem Dateinamen, um die Datei erneut hochzuladen. Wenn der Upload erfolgreich abgeschlossen wurde, klicken Sie auf Schließen, um zur Listenseite der Uploads zu navigieren.

Klicken Sie auf der Seite "Uploads" auf den Namen des Uploads, um die Seite "Uploaddetails" zu öffnen. Dort finden Sie eine Übersicht über den Upload und die zugehörigen Warnungen.

On-Demand-Upload mit CLI

Sie können Logdateien mit der OCI-CLI über eine Befehlszeilenschnittstelle in Oracle Logging Analytics hochladen. Mit dieser einfachen Schnittstelle können Sie Uploads automatisieren, indem Sie die CLI in Ihre Anwendung integrieren.

Informationen zur Verwendung der CLI finden Sie unter Befehlszeilenschnittstelle (CLI).

Eine vollständige Liste der Kennzeichen und Optionen, die für CLI-Befehle verfügbar sind, finden Sie unter Befehlszeilenreferenz: Logging Analytics - Upload.

Führen Sie die folgenden CLI-Befehle aus, um loganalytics-ondemand-upload zu verwalten:

  • Logdatei hochladen:

    oci log-analytics upload upload-log-file --namespace-name <namespace_name> --log-source-name <log-source-name> --upload-name <upload-name> --filename <file_name> --opc-meta-loggrpid <opc-meta-loggrpid> --file <path_to_log_file>

    Beispielantwort des obigen Befehls:

    {
      "data": {
      "name": null,   
      “reference” : “32817130200562135",
      “timeCreated” : “2020-06-01T12:00:00.000Z”,
      "time-earliest-log-entry": null,
      "time-latest-log-entry": null,
      "time-updated": null,
      "warnings-count": null
      }
    }
  • Upload löschen:

    oci log-analytics upload delete --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Uploads auflisten:

    oci log-analytics upload list --namespace-name <namespace_name>
  • Upload abrufen:

    oci log-analytics upload get --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Uploaddateien auflisten:

    oci log-analytics upload list-upload-files --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Uploaddatei löschen:

    oci log-analytics upload delete-upload-file --namespace-name <namespace_name> --upload-reference <upload-reference> --file-reference <file-reference>

On-Demand-Upload mit der Konsole prüfen

Nach Abschluss eines On-Demand-Uploads der Logdaten können Sie die Übersicht über Uploads anzeigen und den Dateistatus prüfen.

  1. Öffnen Sie das Navigationsmenü, und klicken Sie auf Observability and Management. Klicken Sie unter Logging Analytics auf Administration. Die Seite Administration - Überblick wird geöffnet.
  2. Klicken Sie im linken Bereich unter Ressourcen auf Uploads. Dadurch werden die neuesten On-Demand-Uploads angezeigt.
  3. Um die verarbeiteten Daten des Uploads anzuzeigen, klicken Sie auf das Menüsymbol Menüsymbol für den Upload, und wählen Sie In Log Explorer anzeigen aus.
  4. Um die Liste der Dateien im Upload zusammen mit dem jeweiligen Verarbeitungsstatus anzuzeigen, klicken Sie auf den Uploadnamen.

Hochgeladene Logdateien mit der Konsole löschen

Nach Abschluss eines On-Demand-Uploads der Logdaten können Sie die Übersicht über Uploads anzeigen und den Dateistatus prüfen. Wenn der Dateiupload nicht erfolgreich war oder Sie die Dateien für diesen Upload nicht mehr beibehalten möchten, können Sie sie löschen.

  1. Öffnen Sie das Navigationsmenü, und klicken Sie auf Observability and Management. Klicken Sie unter Logging Analytics auf Administration. Die Seite Administration - Überblick wird geöffnet.
  2. Klicken Sie im linken Bereich unter Ressourcen auf Uploads. Dadurch werden die neuesten On-Demand-Uploads angezeigt.
  3. Um einen On-Demand-Upload zu löschen, klicken Sie auf das Menüsymbol Menüsymbol für den Upload, und wählen Sie Löschen aus.
  4. Um eine Datei in einem On-Demand-Upload zu löschen, klicken Sie auf den Uploadnamen, um zur Seite "Uploaddetails" zu gelangen.

    Dadurch wird die Liste der Dateien angezeigt, die im angegebenen Upload enthalten sind. Sie können den Status jeder Datei neben dem Dateinamen anzeigen.

    Klicken Sie zum Löschen einer Datei auf das Menüsymbol Menüsymbol neben dem Dateinamen, und wählen Sie Löschen aus.

Zusätzliche Metadaten zum Upload hinzufügen

Erstellen Sie eine Metadaten-JSON-Datei, und geben Sie ihr den Namen uploads_metadata.json. Beispiel für eine Metadatendatei:

{
    "field1":"value1",
    "field2":"value2"
}

In der obigen Datei sind field1 und field2 von Oracle definierte oder benutzerdefinierte Felder. Siehe Feld erstellen. Alle diese Felder sowie die angegebenen Werte werden jedem geparsten Logdatensatz hinzugefügt.

Erstellen Sie eine ZIP-Archivdatei, die die eigentlichen Logdaten in einem der unterstützten Dateiformate und die Datei uploads_metadata.json enthält. Die Datei uploads_metadata.json muss sich in der obersten Hierarchie der ZIP-Datei befinden.