Carga de logs bajo demanda

Si desea realizar la ingesta de archivos log en Oracle Logging Analytics sin recopilarlos continuamente mediante Management Agent, puede realizar una carga bajo demanda. Puede realizar tantas cargas bajo demanda como sea necesario para cargar los logs que desee analizar.

Las siguientes son funciones de la carga bajo demanda:

  • Puede cargar un único archivo log raw o cualquier archivo de almacenamiento (.zip, .gz, .tgz, .tar) que contenga varios archivos log. El número de archivos dentro de un archivo debe ser menor de 2000, incluidos los directorios, si los hay.

  • El tamaño máximo de archivo para una sola carga (archivo único o archivo ZIP) es de 1 GB. El tamaño descomprimido del archivo debe ser inferior a 10 GB.

  • Puede asignar un nombre a cada carga para facilitar la referencia. Si vuelve a utilizar el nombre, puede cargar archivos en diferentes momentos con el mismo nombre de carga.

  • Hay un límite de 10000 en el número de nombres de carga únicos permitidos por arrendamiento en una región.

  • Se pueden adjuntar metadatos adicionales a cada registro de log proporcionando un archivo de metadatos junto con los datos de log.

  • La información de configuración de carga y su estado de procesamiento correspondiente están disponibles durante 90 días.

  • Número de archivos de carga que se muestran en la consola o que se muestran mediante CLI:

    En la consola, se muestra un máximo de 200 archivos de forma predeterminada. Puede buscar un archivo específico en la carga bajo demanda proporcionando el nombre del archivo o el nombre del grupo de logs en el filtro.

    Con la CLI, puede especificar el límite de lista para una página con el siguiente comando:

    oci log-analytics upload list-upload-files limit <new_listing_limit> page <page_number>
    • límite: número máximo de archivos de carga para mostrar. El valor predeterminado es 50 y el valor máximo permitido es 200.
    • página: token de página que representa la página en la que se van a empezar a recuperar resultados. Normalmente se recupera de una llamada de lista anterior.

    Consulte la documentación de la CLI: list-upload-files.

Requisitos: antes de empezar a cargar datos de log bajo demanda, asegúrese de recopilar la siguiente información:

Permiso necesario para la carga bajo demanda

Topics:

Permitir a los usuarios realizar operaciones de creación, obtención y lista de cargas bajo demanda

Puede permitir a los usuarios realizar operaciones de creación, obtención y lista de carga bajo demanda otorgando selectivamente solo los permisos necesarios para realizar esas tareas de carga bajo demanda, otorgando permisos de tipo de recurso individual o otorgando permisos de nivel agregado más amplios. Por lo tanto, puede seleccionar cualquiera de los tres juegos de sentencias de política que se proporcionan a continuación, según sea adecuado para su caso de uso.

Las siguientes sentencias de política de IAM se utilizan para proporcionar los permisos específicos al grupo de usuarios para las operaciones create, get y list durante la carga bajo demanda:

allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_UPLOAD_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
allow group <group_name> to {LOG_ANALYTICS_SOURCE_READ} in tenancy
allow group <group_name> to use loganalytics-ondemand-upload in tenancy

Las siguientes sentencias de política de IAM se utilizan para proporcionar permisos en el nivel de tipos de recursos individuales para utilizar la carga bajo demanda:

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to use loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-source in tenancy
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>

Por otro lado, las siguientes sentencias de política de IAM se utilizan para proporcionar permisos en el nivel de recursos agregados de Oracle Logging Analytics para utilizar la carga bajo demanda:

allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to use loganalytics-resources-family in tenancy/compartment

group_name en todas las sentencias de política anteriores hace referencia al grupo de usuarios al que se deben otorgar los permisos necesarios.

Permitir a los usuarios realizar la operación de supresión de carga bajo demanda

Puede permitir a los usuarios realizar la operación Suprimir de carga bajo demanda otorgando de forma selectiva solo los permisos necesarios para realizar la tarea de supresión de carga bajo demanda, otorgando permisos de tipo de recurso individual o otorgando permisos de nivel agregado más amplios. Por lo tanto, puede seleccionar cualquiera de los tres juegos de sentencias de política que se proporcionan a continuación, según sea adecuado para su caso de uso.

Las siguientes sentencias de política de IAM se utilizan específicamente para proporcionar el permiso al grupo de usuarios para la operación de supresión:

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_QUERY_VIEW} in tenancy
allow group <group_name> to {COMPARTMENT_QUERY} in tenancy

Las siguientes sentencias de políticas de IAM se utilizan para proporcionar permisos en el nivel de tipos de recursos individuales para la operación de supresión de carga bajo demanda:

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to manage loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-query in tenancy
allow group <group_name> to read compartments in tenancy

Las siguientes sentencias de políticas de IAM se utilizan para proporcionar permisos en el nivel de recursos agregados de Oracle Logging Analytics para la operación de supresión de carga bajo demanda:

allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to manage loganalytics-resources-family in tenancy/compartment
allow group <group_name> to read compartments in tenancy

group_name en todas las sentencias de política anteriores hace referencia al grupo de usuarios al que se deben otorgar los permisos necesarios.

Carga bajo demanda con la consola

Puede cargar los archivos log mediante el asistente de carga bajo demanda (ODU) que está disponible en la consola de servicio de Oracle Logging Analytics.

El asistente de ODU es un método sencillo y práctico para cargar los archivos a través de una sencilla interfaz de usuario. Siga los pasos intuitivos que solicite el asistente para seleccionar los archivos que se van a cargar, definir las propiedades de los archivos y revisarlos antes de cargarlos.
  1. Acceda a la página Cargas de Oracle Logging Analytics:

    Abra el menú de navegación y haga clic en Observación y gestión. En Logging Analytics, haga clic en Administración. Se abre la página Visión general de administración.

    Los recursos de administración se muestran en el panel de navegación de la izquierda en Recursos. Haga clic en Cargas.

  2. En la página Cargas, haga clic en Cargar archivos.
    Se abre la página Archivos de carga.
  3. Seleccionar Archivos:
    • Introduzca el nombre de carga. Este es el nombre con el que puede realizar un seguimiento del estado de los archivos log cargados. Puede realizar varias cargas en diferentes momentos utilizando el mismo nombre de carga si desea mantener un juego de cargas juntas.
    • Seleccione el compartimento de grupos de logs para definir el ámbito en el que se encuentra el grupo de logs.
    • Seleccione el grupo de logs donde se deben almacenar los logs.

      Para crear un nuevo grupo de logs, seleccione el compartimento y haga clic en Crear grupo de logs. En el cuadro de diálogo, introduzca el nombre y la descripción. Haga clic en Crear.

    • Haga clic en el botón Seleccionar archivos y elija los archivos log que desea cargar. Tipos de archivos como zip, tar, tgz y cualquier archivo de texto sin formato se aceptan para la carga. Puede seleccionar varios archivos en una sola carga.

    Se muestra un resumen de los archivos seleccionados para la carga. Tenga en cuenta que el tamaño de archivo individual máximo es de 100 MB. Puede cargar un máximo de 25 archivos individuales por carga. Un archivo sin contenido no es válido y no se tiene en cuenta para cargar cuando se seleccionan varios archivos.

    Haga clic en Siguiente.

  4. Definir propiedades: en la página se muestra la lista de archivos seleccionados en el primer paso. Es obligatorio especificar el origen que se utilizará para procesar cada uno de los archivos. Opcionalmente, puede proporcionar otras propiedades adicionales. Para definir las propiedades de todos los archivos, active la casilla de control de la cabecera y haga clic en Definir propiedades. Para definir las propiedades de un archivo específico, haga clic en el icono de menú Acciones icono de menú de acciones junto al nombre de archivo > haga clic en Definir propiedades. Se abrirá el cuadro de diálogo Definir propiedades.
    1. Seleccione el origen que se debe utilizar para procesar los archivos log en el menú desplegable Origen.

      Para realizar una carga bajo demanda, el origen debe ser del tipo Mensajes de eventos del sistema (Syslog), Archivo o Logs de diagnóstico de Oracle (ODL).

    2. Opcionalmente, si desea asignar estos archivos cargados a una entidad, seleccione el compartimento en el que se encuentra la entidad en el menú desplegable Compartimento de entidad.
    3. También puede especificar la entidad. Según el compartimento de entidad seleccionado y el tipo de entidad definido en el origen seleccionado, se rellena el menú desplegable Entidad. Seleccione la entidad.
    4. Opcionalmente, podría tener que especificar las propiedades avanzadas cuando la información necesaria no está disponible en la entrada de log para un procesamiento adecuado. Amplíe la sección Mostrar opciones avanzadas. En el menú desplegable, seleccione los valores de los parámetros Zona horaria del log, Codificación de caracteres, Formato de fecha y Año del contenido del log. Haga clic en Guardar cambios.
      • Zona horaria del log: información de zona horaria que se utilizará para procesar las entradas de log. Por defecto, la información de zona horaria de la entrada de log se utiliza para el procesamiento. Cuando la información no está disponible en la entrada del log, se tiene en cuenta el valor seleccionado en el menú. En ese caso, el valor no está disponible en este menú o directamente en la entrada del log, se tendrá en cuenta la zona horaria de la entidad. Cuando no haya información disponible en la zona horaria, el valor por defecto considerado es UTC.
      • Codificación de caracteres: codificación de caracteres de los archivos log que se están cargando. Oracle Logging Analytics intenta detectar automáticamente la codificación de caracteres, pero en casos de uso específicos puede que necesite sustituir este valor.
      • Formato de fecha: formato de la información de fecha disponible en los archivos log. Al utilizar la macro {TIMEDATE}, utilice este parámetro para eliminar cualquier ambigüedad en la identificación del formato de la fecha en la entrada de log especificada. Por ejemplo, si la fecha es 12/10, donde se puede interpretar como 12th October o 10th December, puede utilizar DAY_MONTH o MONTH_DAY para eliminar la ambigüedad. En caso de que la fecha sea 12/10/08, puede utilizar DAY_MONTH_YEAR, MONTH_DAY_YEAR o YEAR_MONTH_DAY.

        Si el analizador utiliza la extracción del componente de tiempo, no hay ambigüedad y, por lo tanto, puede omitir la especificación del formato de fecha.

      • Año del contenido del log: información del año que se utilizará para procesar las entradas del log cuando estas no tengan la información del año en el registro de hora.

      Amplíe la fila de la tabla para ver las propiedades especificadas. Si es necesario, puede eliminar los archivos seleccionados de la lista de carga.

      Asegúrese de seleccionar un origen para cada archivo de carga antes de continuar con la carga.

    5. Haga clic en Siguiente.
  5. Revisar: revise las propiedades de los archivos que ha seleccionado para la carga. Para confirmar las propiedades e iniciar la carga, haga clic en Cargar.

    Oracle Logging Analytics indexa y procesa los archivos. Una vez finalizada la carga, haga clic en Cerrar para navegar a la página con el listado de las cargas.

    Si la carga de un archivo falla, haga clic en el icono Reintentar junto al nombre de archivo para volver a cargar el archivo. Una vez que la carga se haya realizado correctamente, haga clic en Cerrar para navegar a la página del listado de cargas.

En la página Cargas, haga clic en el nombre de la carga para acceder a la página Detalles de carga, donde puede ver un resumen de la carga y las advertencias asociadas a ella.

Carga bajo demanda con la CLI

Puede utilizar la CLI de OCI para cargar los archivos log en Oracle Logging Analytics mediante una interfaz de línea de comandos. Esta sencilla interfaz permite automatizar las cargas mediante la integración de la CLI en la aplicación.

Para obtener información sobre el uso de la CLI, consulte Interfaz de línea de comandos (CLI).

Para obtener una lista completa de los indicadores y las opciones disponibles para los comandos de la CLI, consulte Referencia de la línea de comandos: Logging Analytics - Carga.

Ejecute los siguientes comandos de la CLI para gestionar loganalytics-ondemand-upload:

  • Carga de archivo log:

    oci log-analytics upload upload-log-file --namespace-name <namespace_name> --log-source-name <log-source-name> --upload-name <upload-name> --filename <file_name> --opc-meta-loggrpid <opc-meta-loggrpid> --file <path_to_log_file>

    Respuesta de ejemplo del comando anterior:

    {
      "data": {
      "name": null,   
      “reference” : “32817130200562135",
      “timeCreated” : “2020-06-01T12:00:00.000Z”,
      "time-earliest-log-entry": null,
      "time-latest-log-entry": null,
      "time-updated": null,
      "warnings-count": null
      }
    }
  • Suprimir carga:

    oci log-analytics upload delete --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Mostrar cargas:

    oci log-analytics upload list --namespace-name <namespace_name>
  • Obtener carga:

    oci log-analytics upload get --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Mostrar archivos de carga:

    oci log-analytics upload list-upload-files --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Suprimir archivo de carga:

    oci log-analytics upload delete-upload-file --namespace-name <namespace_name> --upload-reference <upload-reference> --file-reference <file-reference>

Verificación de una carga bajo demanda con la consola

Al completar una carga bajo demanda de los datos de log, puede ver el resumen de las cargas y verificar el estado del archivo.

  1. Abra el menú de navegación y haga clic en Observación y gestión. En Logging Analytics, haga clic en Administración. Se abre la página Visión general de administración.
  2. En el panel izquierdo, en Recursos, haga clic en Cargas. De esta forma se muestran las últimas cargas bajo demanda.
  3. Para ver los datos procesados de la carga, haga clic en el icono de menú icono de menú correspondiente a la carga > seleccione Ver en explorador de logs.
  4. Para ver la lista de archivos de la carga junto con su estado de procesamiento, haga clic en el nombre de la carga.

Supresión de archivos log cargados mediante la consola

Al completar una carga bajo demanda de los datos de log, puede ver el resumen de las cargas y verificar el estado del archivo. Si, en caso de que observe que se ha producido un fallo en la carga del archivo o que ya no desee mantener los archivos para esta carga, puede suprimirlos.

  1. Abra el menú de navegación y haga clic en Observación y gestión. En Logging Analytics, haga clic en Administración. Se abre la página Visión general de administración.
  2. En el panel izquierdo, en Recursos, haga clic en Cargas. De esta forma se muestran las últimas cargas bajo demanda.
  3. Para suprimir una carga bajo demanda, haga clic en el icono de menú icono de menú correspondiente a la carga > seleccione Suprimir.
  4. Para suprimir un archivo en una carga bajo demanda, haga clic en el nombre de la carga para ir a la página de detalles de carga.

    Muestra la lista de archivos incluidos en la carga especificada. Puede ver el estado de cada archivo junto al nombre de archivo.

    Para suprimir un archivo, haga clic en el icono de menú icono de menú junto al nombre del archivo y seleccione Suprimir.

Adición de metadatos adicionales a la carga

Cree un archivo json de metadatos y asígnele el nombre uploads_metadata.json. A continuación se muestra un ejemplo de archivo de metadatos:

{
    "field1":"value1",
    "field2":"value2"
}

En el archivo anterior, field1 y field2 son campos definidos por Oracle o definidos por el usuario. Consulte Crear un campo. Todos estos campos junto con los valores proporcionados se agregarán a cada registro de log analizado.

Cree un archivo de almacenamiento zip con los datos de log reales en uno de los formatos de archivo soportados y en el archivo uploads_metadata.json. El archivo uploads_metadata.json debe estar en la jerarquía superior del zip.