Logs nach Bedarf hochladen
Wenn Sie Logdateien in Oracle Logging Analytics aufnehmen möchten, ohne sie kontinuierlich mit dem Management Agent zu erfassen, können Sie einen bedarfsgesteuerten Upload ausführen. Sie können beliebig viele On-Demand-Uploads ausführen, um die zu analysierenden Logs hochzuladen.
Features des On-Demand-Uploads:
-
Sie können eine einzelne Raw-Logdatei oder eine beliebige Archivdatei (
.zip
,.gz
,.tgz
,.tar
) mit mehreren Logdateien hochladen. Die Anzahl der Dateien in einem Archiv muss kleiner als 2000 sein, einschließlich eventueller Verzeichnisse. -
Die maximale Dateigröße für einen einzelnen Upload (einzelne Datei oder ZIP-Datei) beträgt 1 GB. Die unkomprimierte Größe der Datei muss weniger als 10 GB betragen.
-
Sie können jeden Upload zur einfachen Referenz benennen. Wenn Sie den Namen wiederverwenden, können Sie Dateien zu unterschiedlichen Zeitpunkten in denselben Uploadnamen hochladen.
-
Die Anzahl der zulässigen eindeutigen Uploadnamen pro Mandant in einer Region ist auf 10.000 begrenzt.
-
Mit jedem Logdatensatz können Sie zusätzliche Metadaten anhängen, indem Sie eine Metadatendatei zusammen mit den Logdaten bereitstellen.
-
Die Informationen zur Uploadkonfiguration und der entsprechende Verarbeitungsstatus sind 90 Tage lang verfügbar.
-
Anzahl der in der Konsole angezeigten oder mit der CLI aufgeführten Uploaddateien:
In der Konsole werden standardmäßig maximal 200 Dateien angezeigt. Sie können im On-Demand-Upload nach einer bestimmten Datei suchen, indem Sie den Dateinamen oder den Loggruppennamen im Filter angeben.
Mit der CLI können Sie das Listenlimit für eine Seite mit dem folgenden Befehl angeben:
oci log-analytics upload list-upload-files limit <new_listing_limit> page <page_number>
- Limit: Maximale Anzahl der aufzulistenden Uploaddateien. Der Standardwert ist 50, und der zulässige Höchstwert ist 200.
- Seite: Seitentoken, das die Seite darstellt, auf der Ergebnisse abgerufen werden sollen. Dies wird normalerweise von einem vorherigen Listenaufruf abgerufen.
Voraussetzungen: Bevor Sie Logdaten nach Bedarf hochladen, erfassen Sie die folgenden Informationen:
- Logquellenname einer neuen Logquelle oder eine von Oracle definierte Logquelle, die Ihrem Logformat entspricht. Siehe Von Oracle definierte Quellen und Quelle erstellen.
Um einen On-Demand-Upload durchzuführen, muss die Quelle den Typ Systemereignismeldungen (Syslog), Datei oder Oracle Diagnostic Logs (ODL) aufweisen.
- OCID der Loggruppe, in der Sie diese Logs speichern, um den Benutzerzugriff auf die Logs zu kontrollieren. Siehe Loggruppen zum Speichern der Logs erstellen.
- Optional die Entity-OCID, wenn Sie die hochgeladenen Logs zuordnen möchten. Siehe Entity zur Darstellung der logausgebenden Ressource erstellen.
Erforderliche Berechtigung für On-Demand-Upload
Topics:
- Erstellen, Abrufen und Auflisten von On-Demand-Uploadvorgängen durch Benutzer zulassen
- Löschen von On-Demand-Uploads durch Benutzer zulassen
Erstellen, Abrufen und Auflisten von On-Demand-Uploadvorgängen durch Benutzer zulassen
Sie können Benutzern die Ausführung von On-Demand-Uploadvorgängen Erstellen, Abrufen und Liste ermöglichen, indem Sie selektiv nur die erforderlichen Berechtigungen zum Ausführen dieser On-Demand-Uploadaufgaben erteilen, individuelle Ressourcentypberechtigungen erteilen oder umfassendere Berechtigungen auf Aggregatebene erteilen. Sie können also eine der drei unten angegebenen Policy-Anweisungen auswählen, die für Ihren Anwendungsfall geeignet ist.
Die folgenden IAM-Policy-Anweisungen dienen dazu, der Benutzergruppe die spezifischen Berechtigungen für Vorgänge zum Erstellen, get und list beim On-Demand-Upload bereitzustellen:
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_UPLOAD_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
allow group <group_name> to {LOG_ANALYTICS_SOURCE_READ} in tenancy
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
Die folgenden IAM-Policy-Anweisungen dienen zur Bereitstellung von Berechtigungen auf der Ebene einzelner Ressourcentypen zur Verwendung von On-Demand-Uploads:
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to use loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-source in tenancy
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
Auf der anderen Seite dienen die folgenden IAM-Policy-Anweisungen dazu, Berechtigungen auf aggregierter Ressourcenebene von Oracle Logging Analytics für den On-Demand-Upload bereitzustellen:
allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to use loganalytics-resources-family in tenancy/compartment
group_name
bezieht sich in allen oben genannten Policy-Anweisungen auf die Benutzergruppe, der die erforderlichen Berechtigungen erteilt werden müssen.
Löschen von On-Demand-Uploads durch Benutzer zulassen
Sie können Benutzern die Ausführung eines On-Demand-Uploadvorgangs zum Löschen ermöglichen, indem Sie selektiv nur die erforderlichen Berechtigungen zum Ausführen der On-Demand-Uploadlöschaufgabe erteilen, einzelnen Ressourcentypberechtigungen erteilen oder umfassendere Berechtigungen auf Aggregatebene erteilen. Sie können also eine der drei unten angegebenen Policy-Anweisungen auswählen, die für Ihren Anwendungsfall geeignet ist.
Die folgenden IAM-Policy-Anweisungen dienen speziell dazu, der Benutzergruppe die Berechtigung für den Löschvorgang zu erteilen:
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_QUERY_VIEW} in tenancy
allow group <group_name> to {COMPARTMENT_QUERY} in tenancy
Die folgenden IAM-Policy-Anweisungen dienen dazu, Berechtigungen auf der Ebene einzelner Ressourcentypen für den Löschvorgang beim On-Demand-Upload bereitzustellen:
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to manage loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-query in tenancy
allow group <group_name> to read compartments in tenancy
Die folgenden IAM-Policy-Anweisungen dienen zur Bereitstellung von Berechtigungen auf Oracle Logging Analytics-Aggregatressourcenebene für den Löschvorgang beim On-Demand-Upload:
allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to manage loganalytics-resources-family in tenancy/compartment
allow group <group_name> to read compartments in tenancy
group_name
bezieht sich in allen oben genannten Policy-Anweisungen auf die Benutzergruppe, der die erforderlichen Berechtigungen erteilt werden müssen.
On-Demand-Upload mit Konsole
Sie können Logdateien mit dem Assistenten On-Demand-Upload (ODU) hochladen, der in der Servicekonsole von Oracle Logging Analytics verfügbar ist.
On-Demand-Upload mit CLI
Sie können Logdateien mit der OCI-CLI über eine Befehlszeilenschnittstelle in Oracle Logging Analytics hochladen. Mit dieser einfachen Schnittstelle können Sie Uploads automatisieren, indem Sie die CLI in Ihre Anwendung integrieren.
Informationen zur Verwendung der CLI finden Sie unter Befehlszeilenschnittstelle (CLI).
Eine vollständige Liste der Kennzeichen und Optionen, die für CLI-Befehle verfügbar sind, finden Sie unter Befehlszeilenreferenz: Logging Analytics - Upload.
Führen Sie die folgenden CLI-Befehle aus, um loganalytics-ondemand-upload zu verwalten:
-
Logdatei hochladen:
oci log-analytics upload upload-log-file --namespace-name <namespace_name> --log-source-name <log-source-name> --upload-name <upload-name> --filename <file_name> --opc-meta-loggrpid <opc-meta-loggrpid> --file <path_to_log_file>
Beispielantwort des obigen Befehls:
{ "data": { "name": null, “reference” : “32817130200562135", “timeCreated” : “2020-06-01T12:00:00.000Z”, "time-earliest-log-entry": null, "time-latest-log-entry": null, "time-updated": null, "warnings-count": null } }
-
Upload löschen:
oci log-analytics upload delete --namespace-name <namespace_name> --upload-reference <upload-reference>
-
Uploads auflisten:
oci log-analytics upload list --namespace-name <namespace_name>
-
Upload abrufen:
oci log-analytics upload get --namespace-name <namespace_name> --upload-reference <upload-reference>
-
Uploaddateien auflisten:
oci log-analytics upload list-upload-files --namespace-name <namespace_name> --upload-reference <upload-reference>
-
Uploaddatei löschen:
oci log-analytics upload delete-upload-file --namespace-name <namespace_name> --upload-reference <upload-reference> --file-reference <file-reference>
On-Demand-Upload mit der Konsole prüfen
Nach Abschluss eines On-Demand-Uploads der Logdaten können Sie die Übersicht über Uploads anzeigen und den Dateistatus prüfen.
- Öffnen Sie das Navigationsmenü, und klicken Sie auf Observability and Management. Klicken Sie unter Logging Analytics auf Administration. Die Seite Administration - Überblick wird geöffnet.
- Klicken Sie im linken Bereich unter Ressourcen auf Uploads. Dadurch werden die neuesten On-Demand-Uploads angezeigt.
- Um die verarbeiteten Daten des Uploads anzuzeigen, klicken Sie auf das Menüsymbol
für den Upload, und wählen Sie In Log Explorer anzeigen aus.
- Um die Liste der Dateien im Upload zusammen mit dem jeweiligen Verarbeitungsstatus anzuzeigen, klicken Sie auf den Uploadnamen.
Hochgeladene Logdateien mit der Konsole löschen
Nach Abschluss eines On-Demand-Uploads der Logdaten können Sie die Übersicht über Uploads anzeigen und den Dateistatus prüfen. Wenn der Dateiupload nicht erfolgreich war oder Sie die Dateien für diesen Upload nicht mehr beibehalten möchten, können Sie sie löschen.
Zusätzliche Metadaten zum Upload hinzufügen
Erstellen Sie eine Metadaten-JSON-Datei, und geben Sie ihr den Namen uploads_metadata.json
. Beispiel für eine Metadatendatei:
{
"field1":"value1",
"field2":"value2"
}
In der obigen Datei sind field1 und field2 von Oracle definierte oder benutzerdefinierte Felder. Siehe Feld erstellen. Alle diese Felder sowie die angegebenen Werte werden jedem geparsten Logdatensatz hinzugefügt.
Erstellen Sie eine ZIP-Archivdatei, die die eigentlichen Logdaten in einem der unterstützten Dateiformate und die Datei uploads_metadata.json
enthält. Die Datei uploads_metadata.json
muss sich in der obersten Hierarchie der ZIP-Datei befinden.