Nota:

Análisis de logs de ejemplo con OCI Logging Analytics

Introducción

Hay grandes volúmenes de telemetría de logs en un entorno empresarial típico. ¿Cómo averigua si los datos de log tienen eventos de log interesantes? ¿Cómo correlaciona los eventos de log que pertenecen a un flujo de negocio específico desde todas sus aplicaciones? ¿Cómo se identifica qué flujos de negocio se comportan de forma anormal? OCI Logging Analytics es una solución en la nube que agrega, indexa y analiza una variedad de datos de log de entornos locales y multinube. Permite buscar, explorar y correlacionar estos datos, obtener estadísticas operativas y tomar decisiones informadas. Logging Analytics puede ingerir, analizar y correlacionar logs desde prácticamente cualquier origen. Las actividades de correlación aprovechan tanto el aprendizaje automático aplicado listo para usar como un lenguaje de consulta sofisticado.
En este tutorial, aprenderá a utilizar Oracle Cloud Infrastructure Logging Analytics para realizar fácilmente esas tareas, incluida la detección de valores atípicos, los clusters de eventos, la correlación de logs y la detección de anomalías.

Objetivos

Descubra cómo solucionar problemas mediante el análisis de archivos log, aprovechando algoritmos de aprendizaje automático incorporados, paneles de control interactivos y en contexto para detectar rápidamente problemas e identificar las causas raíz mediante OCI Logging Analytics.

Requisitos

Nota: Puede utilizar una cuenta de prueba para este tutorial. Sin embargo, si convierte la cuenta en "siempre gratis", se desvinculará del servicio y no podrá utilizarla para este tutorial.

Preparación del Entorno

Debe ser administrador de OCI y realizar estos pasos en una sola región.

Realizar tareas genéricas de configuración de requisitos previos para configurar el arrendamiento de Oracle Cloud Infrastructure y utilizar Oracle Logging Analytics.

Activar Logging Analytics

Si es la primera vez que utiliza Logging Analytics en el entorno actual, debe activar el servicio realizando los siguientes pasos. Si ha activado Logging Analytics, continúe con la sección Cargar logs de muestra.

  1. El servicio Logging Analytics está disponible en el menú de la consola de OCI de nivel superior. Vaya a Observabilidad y gestión y haga clic en Logging Analytics.

    imagen 0.1

  2. Si es la primera vez que utiliza el servicio en esta región, revise la página de incorporación que le proporcionará algunos detalles de alto nivel del servicio y una opción para empezar a utilizar Logging Analytics. Haga clic en Iniciar uso de Logging Analytics.

    imagen 0.2

  3. Revise las políticas que se crean automáticamente. Se crea un grupo de logs denominado Por defecto si no existe. Después de activar correctamente el servicio Logging Analytics, haga clic en Configurar ingestión para continuar.

    imagen 0.3

  4. Seleccione Configurar análisis de log de auditoría de OCI en esta región y haga clic en Siguiente.

    imagen 0.4

  5. Después de revisar los cambios, haga clic en Configurar ingestión.

    imagen 0.5

  6. Una vez que el análisis de logs de auditoría de OCI se haya activado correctamente, haga clic en Ir al panel de control de logs de auditoría de OCI.

    imagen 0.6

Cargar logs de muestra

  1. Conéctese a la consola de OCI con sus credenciales de arrendamiento.

  2. Asegúrese de que está en su región principal.

    imagen 1

  3. Abra Cloud Shell haciendo clic en el icono situado a la derecha del selector de región. Cloud Shell se abrirá en la parte inferior de la ventana del explorador y estará disponible en unos minutos.

  4. Ejecute los siguientes comandos:

    wget https://objectstorage.us-phoenix-1.oraclecloud.com/p/RHMd3hXQ4v33Bm7YE6IONjSvsNPFBNAf7BkcVgysjr9wgNA3gzZEB5DevHqkMR1t/n/ax1zffkcg1fy/b/oci_quick_start_script_do_not_delete/o/logging-analytics-demo-v1.0.zip

    unzip logging-analytics-demo-v1.0.zip

    cd logging-analytics-demo

    ./setup.sh

    Salida de ejemplo para el comando ./setup.sh:

    Running demo setup script: Jan-12-2021 
Checking to see if compartment logging-analytics-demo already exists 
Does not exist yet, create compartment 
. . . 
Create log directories 
Update Log Record timestamps
Loading files ...
Processing source/cisco-asa (convert - I file(s)) - Cisco ASA Logs
. . .
Processed in 12 seconds
Compressing files 
Uploading Logs 
. . .
Uploading oci_api_gw_access.zip
Uploading oci_api_gw_exec.zip

    El script de configuración configurará todos los recursos de OCI necesarios y cargará los datos del log de ejemplo.

    Nota: el script de configuración se puede volver a ejecutar. Si ha cargado los mismos archivos antes, haga clic en el icono de navegación, haga clic en Observabilidad y gestión, vaya a Logging Analytics y haga clic en Administración. En Recursos, haga clic en Cargas. Seleccione logging-analytics-demo y suprimir esta carga antes de volver a ejecutar el script. Al descomprimir, si se le pide que reemplace, responda con "A" ([A]ll).

    El script de configuración también crea un grupo de superadministradores denominado Logging-Analytics-SuperAdmins. Para permitir que otros usuarios de OCI utilicen Logging Analytics y analicen estos logs de ejemplo, agregue estos usuarios a este grupo de la siguiente manera:

    a. En el menú de la consola de OCI, vaya a Identidad > Usuarios.

    b. Haga clic en el nombre del usuario que utilizará Logging Analytics

    c. En la mitad inferior de la pantalla, haga clic en el botón Agregar usuario a grupo.

    d. En el cuadro de diálogo, seleccione el grupo Logging-Analytics-SuperAdmins y haga clic en el botón Agregar para guardar los cambios.

  5. Para verificar que los registros de log de ejemplo se han cargado correctamente y que su entorno está configurado, realice los siguientes pasos:

    Verifique la creación de las entidades haciendo clic en el icono de navegación, haga clic en Observabilidad y gestión, vaya a Logging Analytics y haga clic en Administración. En Recursos, haga clic en Entidades. Seleccione el compartimento logging-analytics-demo. La lista de entidades se debe parecer a la siguiente:

    imagen 2

    Verifique la carga navegando a Logging Analytics y haga clic en Administración. En Recursos, haga clic en Cargas. Haga clic en logging-analytics-demo.

    Haga clic en Advertencias en el menú de la izquierda y confirme que no hay advertencias ni errores.

    A continuación, navegue hasta Archivos cargados, haga clic en Estado y seleccione para filtrar por Fallo. Esto no debe mostrar ningún registro. Cambie el estado a En curso. Esto no debería mostrar ningún registro, lo que indica que todos los archivos se cargaron correctamente.

Familiarización

  1. Haga clic en Ver en explorador de logs en el menú izquierdo de la página Archivos cargados.

  2. En la siguiente imagen se presentan las partes principales de la interfaz de usuario que se utilizarán en este tutorial.

    1) Barra de consulta, con los botones Borrar, Buscar ayuda y Ejecutar en el extremo derecho de la barra.

    2) Menú Rango temporal y menú Acciones, donde puede encontrar acciones como, por ejemplo, Abrir, Guardar y Guardar como.

    3) Panel Campos, donde puede seleccionar orígenes y campos para filtrar los datos.

    4) Panel de visualización, donde puede seleccionar orígenes y campos para filtrar los datos.

    5) Panel principal, donde las salidas de visualización aparecen encima de los resultados de la consulta.

  3. El rango temporal debe permanecer "Personalizado" durante todo el tutorial. Si el rango temporal no se puede restablecer en "Personalizado", puede reiniciar volviendo a la página "Archivos cargados" y haciendo clic en Ver en el explorador de logs.

    INTRODUCCIÓN: si pierde un paso, puede utilizar el botón Atrás del explorador. Sin embargo, no utilice el botón de refrescamiento.

Exploración de logs mediante clusters

  1. Haga clic en Logs de flujo de VCN de OCI para profundizar en los datos de flujo de VCN.

  2. Navegue hasta Acciones y haga clic en Guardar como para guardar esta búsqueda como un "Widget".

  3. Complete la opción "Save Search" y haga clic en Save.

    En este momento, el widget se puede agregar a un panel de control directamente desde aquí o después desde el menú del panel de control.

  4. Cree un par de widgets más visualizando los distintos logs del resto.

    Posteriormente los agregará a un panel de control.

  5. Vuelva a ver todos los datos de los logs.

    Indicación: borre la barra de consulta y haga clic en Ejecutar.

    Está trabajando con un total de registros de aproximadamente 74k. Es más fácil visualizar un gran volumen de datos como clusters relacionados. Logging Analytics - Clustering (no supervisado ML) utiliza los datos de log y la experiencia de dominio enriquecida para buscar patrones en los datos. La agrupación en clusters funciona tanto en texto como en números, lo que permite reducir un gran volumen de datos a menos patrones para la detección de anomalías. Haga clic en el botón Cluster (Cluster) en el panel de visualización.

  6. Aumente detalle en diferentes clusters, posibles problemas, valores atípicos y tendencias.

    Logging Analytics utiliza un AA sin supervisión para buscar clusters relacionados en los datos. Esto reduce los logs de aproximadamente 74 k a patrones de cluster de 629, en tiempo real.

    Nota: los números que ve pueden ser ligeramente diferentes a los que se muestran en el tutorial.

  7. Haga clic en el separador Incidencias potenciales.

    De los 629 clusters, 76 se identificaron automáticamente como problemas potenciales.

  8. Haga clic en el separador Valores atípicos.

    Estos problemas se produjeron una sola vez e indican una anomalía en el sistema.

  9. Ahora, haga clic en el separador Tendencias.

    Estos son patrones de cluster que se correlacionan en el tiempo. Haga clic en 8 tendencias similares para ver un juego de logs relacionados desde los logs de alertas de la base de datos. Tenga en cuenta que el número exacto de tendencias mostradas puede variar en función de la ventana de tiempo seleccionada.

  10. Guarde esta búsqueda siguiendo los mismos pasos que ha realizado anteriormente en el paso 3.

  11. Cree una visualización más para comprender la distribución del tráfico de red.

    Primero cambie la visualización a Gráfico circular y seleccione un nuevo juego de datos, OCI VCN Flow Logs.

    En el cuadro de búsqueda del panel Campos, busque la cadena "Source". A continuación, arrastre y suelte "IP de origen" del cuadro "Otro" en el cuadro "Agrupar por" del panel de visualización y haga clic en Aplicar.

    Aquí, puede ver la distribución de logs por "IP de origen".

  12. Busque la distribución de "IP de destino" mediante el lenguaje de consulta.

    Introduzca la siguiente consulta en la barra de consultas y haga clic en Ejecutar.

    'Log Source' = 'OCI VCN Flow Logs’ | stats count('Destination IP') by 'Destination IP'

    Se muestra un gráfico circular (según se define por defecto) con registros.

  13. Cambie la visualización a un mapa de árbol seleccionando "Tree map" en el menú de visualización.

    Seleccione "Tree map" en el menú de visualización.

    En esta página puede visualizar la distribución de IP de destino. Guardar como esta búsqueda/widget.

  1. Correlacione datos con otros orígenes de datos mediante la función Enlace no supervisado. Introduzca lo siguiente en la barra de consultas y haga clic en Ejecutar.

    Indicación: Pulse Ctrl-I en la barra de consulta para formatear la consulta.

    'Upload Name' = 'logging-analytics-demo' and 'Log Source' = 'OCI VCN Flow Logs' 
| eval 'Source Name' = if('Source Port' = 80,
                       HTTP,
                       'Source Port' = 443,
                       HTTPS,
                       'Source Port' = 21,
                       FTP,
                       'Source Port' = 22,
                       SSH,
                       'Source Port' = 137,
                       NetBIOS,
                       'Source Port' = 648,
                       RRP,
                       'Source Port' = 9006,
                       Tomcat,
                       'Source Port' = 9042,
                       Cassandra,
                       'Source Port' = 9060,
                       'Websphere Admin. Console',
                       'Source Port' = 9100,
                       'Network  Printer',
                       'Source Port' = 9200,
                       'Elastic Search',
                       Other) 
 | eval 'Destination Name' = if('Destination Port' = 80,
                            HTTP,
                            'Destination Port' = 443,
                            HTTPS,
                            'Destination Port' = 21,
                            SSH,
                            'Destination Port' = 22,
                            FTP,
                            'Destination Port' = 137,
                            NetBIOS,
                            'Destination Port' = 648,
                            RRP,
                            'Destination Port' = 9006,
                            Tomcat,
                            'Destination Port' = 9042,
                            Cassandra,
                            'Destination Port' = 9060,
                            'Websphere Admin. Console',
                            'Destination Port' = 9100,
                            'Network  Printer',
                            'Destination Port' = 9200,
                            'Elastic Search',
                            Other) 
 | eval Source = 'Source IP' || ':' || 'Source Port' 
 | eval Destination = 'Destination IP' || ':' || 'Destination Port' 
 | link Source,
    Destination 
 | stats avg('Content Size Out') as 'Transfer Size (bytes)',
    unique('Source Name') as 'Traffic From',
    unique('Destination Name') as 'Traffic To' 
 | classify topcount = 300 correlate = -*,
    Source,
    Destination 'Start Time',
    'Traffic From',
    'Transfer Size (bytes)',
    'Traffic To' as Network

    La funcionalidad eval traduce los nombres de puerto a las aplicaciones.

    La última parte de la consulta agrega más campos de evaluación de tiempo de consulta, que crean una fila única para cada origen y destino, y calculan la transferencia media de red entre estos puntos finales. Además, también obtiene un nombre traducido para los puertos de origen y de destino como 'Tráfico desde' y 'Tráfico hasta'.

  2. Vaya a Analizar, haga clic en Crear gráfico y rellene los campos como se muestra a continuación:

  3. Analizar clusters y analizar los puntos de datos especificados, creando el siguiente análisis:

  4. Puede seleccionar diferentes campos para controlar el tamaño y los colores de los elementos del gráfico.

  5. Pase el cursor sobre los elementos para ver información detallada sobre ellos.

  6. Puede hacer clic en los elementos para tener acceso a su contenido.

  7. Guárdelo como widget.

    Navegue hasta Opciones y haga clic en Opciones de Visualización. En la sección "Opciones de panel de control" del panel, desactive todas las opciones y marque solo "Analizar" y "Tabla de datos". Haga clic en Guardar Cambios. A continuación, vaya a Acciones y haga clic en Guardar como para guardar este análisis como widget.

Crear paneles

  1. Navegue hasta Logging Analytics y haga clic en Paneles de control.

  2. Haga clic en Crear.

    Introduzca un nombre de panel de control, el compartimento creado previamente (logging-analytics-demo) y utilice las búsquedas guardadas disponibles como widgets para el panel de control en el lado derecho. Arrastre y suelte un widget en el lienzo. Los paneles se pueden dimensionar y mover en el lienzo. Agregar otros widgets creados anteriormente. El panel de control puede tener un aspecto similar a este:

    O, como esto:

Más información

Para recopilar datos de log continuamente de las entidades locales, puede instalar Management Agents en sus hosts, ubicaciones locales o en una infraestructura en la nube. Consulte los detalles en Uso de Oracle Management Agents.

Para obtener más información sobre las asociaciones de entidad utilizadas para crear relaciones, consulte:

Creación de Entidades

Configurar nueva asociación origen-entidad

Tipos de entidad modelados en Logging Analytics

Para obtener más información técnica, consulte Logging Analytics.

Explore otras prácticas en Oracle Learn o acceda a contenido de aprendizaje más gratuito en el canal YouTube de Oracle Learning. Además, visite Oracle University para convertirse en un explorador de formación de Oracle.

Más recursos de aprendizaje

Explore otras prácticas en docs.oracle.com/learn o acceda a contenido de aprendizaje más gratuito en el canal YouTube de Oracle Learning. Además, visite education.oracle.com/learning-explorer para convertirse en un explorador de formación de Oracle.

Para obtener documentación sobre los productos, visite Oracle Help Center.