Note:

Integración de Oracle Cloud Infrastructure y Datadog con pipelines de observación de Datadog

Introducción

Oracle Cloud Infrastructure (OCI) es una infraestructura como servicio (IaaS) y una plataforma como servicio (PaaS) en las que confían las empresas a gran escala. Ofrece una amplia gama de servicios gestionados que incluyen alojamiento, almacenamiento, redes, bases de datos, etc.

Oracle Cloud Observability and Management Platform está diseñada para ajustarse a las preferencias de nuestros clientes. Muchos han adoptado prácticas operativas establecidas utilizando herramientas de observabilidad de terceros. Nuestro objetivo es garantizar una integración perfecta con estas herramientas, lo que permite a nuestros clientes aprovechar sus inversiones existentes junto con OCI.

Según Datadog, sus pipelines de observabilidad le permiten recopilar, procesar y enrutar logs de cualquier origen a cualquier destino de la infraestructura que posee o gestiona.

Pipelines de observación de Datadog

Observability Pipelines Worker es el software que se ejecuta en la infraestructura. Agrega y procesa y enruta de forma centralizada los datos. Para ingerir logs de OCI en Datadog, el software Observability Pipelines Worker se ejecuta en una instancia informática de OCI. Más específicamente, el trabajador de pipelines de observabilidad:

Representación de alto nivel de la arquitectura de la solución, como se muestra en la siguiente imagen.

Diagrama de arquitectura

Objetivos

Requisitos

Tarea 1: Configuración de los Logs para Capturar

El servicio Oracle Cloud Infrastructure Logging es un panel único altamente escalable y totalmente gestionado para todos los logs del arrendamiento. OCI Logging proporciona acceso a los logs desde los recursos de Oracle Cloud Infrastructure. Un log es un recurso de primera clase de Oracle Cloud Infrastructure que almacena y captura eventos de log recopilados en un contexto determinado. Un grupo de logs es una recopilación de logs almacenados en un compartimento. Los grupos de logs son contenedores lógicos de logs. Utilice grupos de logs para organizar y optimizar la gestión de logs mediante la aplicación de la política de Oracle Cloud Infrastructure Identity and Access Management (OCI IAM) o la agrupación de logs para el análisis.

Para empezar, active un log para un recurso. Los servicios proporcionan categorías de log para los diferentes tipos de logs disponibles para los recursos. Por ejemplo, el servicio OCI Object Storage soporta las siguientes categorías de log para cubos de almacenamiento: eventos de acceso de lectura y escritura. Los eventos de acceso de lectura capturan eventos de descarga, mientras que los eventos de acceso de escritura capturan eventos de escritura. Cada servicio puede tener diferentes categorías de log para los recursos.

  1. Conéctese a la consola de OCI, vaya a Observability & Management, Logging y Log Groups.

  2. Seleccione el compartimento, haga clic en Crear grupo de logs e introduzca la siguiente información.

    • Nombre: introduzca Datadog_log_group.
    • Descripción (Opcional): introduzca la descripción.
    • Etiquetas (Opcional): introduzca las etiquetas.

  3. Haga clic en Crear para crear un nuevo grupo de logs.

  4. En Recursos, haga clic en Logs.

  5. Haga clic en Crear log personalizado o en Activar log de servicio como desee.

    Por ejemplo, para activar los logs de escritura para un cubo de OCI Object Storage, siga estos pasos:

    1. Haga clic en Activar log de servicio.

    2. Seleccione el compartimento de recursos e introduzca Object Storage en Buscar servicios.

    3. Haga clic en Activar logs y seleccione el nombre del cubo de OCI Object Storage en el recurso.

    4. Seleccione el grupo de logs (Datadog_log_group) creado en la tarea 1.2 y Escribir eventos de acceso en la categoría de log. Opcionalmente, introduzca Datadog_bucket_write como Nombre de log.

    5. Haga clic en Activar para crear el nuevo log de OCI.

Tarea 2: Creación de un flujo mediante OCI Streaming

El servicio Oracle Cloud Infrastructure (OCI) Streaming es una plataforma de transmisión de eventos en tiempo real, sin servidor y compatible con Apache Kafka para desarrolladores y científicos de datos. Proporciona una solución duradera, escalable y totalmente gestionada para ingerir y consumir flujos de datos de gran volumen en tiempo real, como logs. Podemos utilizar OCI Streaming para cualquier caso de uso en el que se produzcan y procesen datos de forma continua y secuencial en un modelo de mensajería de publicación-suscripción.

  1. Vaya a la consola de OCI, vaya a Análisis e IA, Mensajería y Streaming.

  2. Haga clic en Crear flujo para crear el flujo.

  3. Introduzca la siguiente información y haga clic en Crear.

    • Nombre: introduzca el nombre del flujo. Para este tutorial, es Datadog_Stream.
    • Pool de flujos: seleccione el pool de flujos existente o cree uno nuevo con punto final público.
    • Retención (en horas): introduzca el número de horas de retención de los mensajes en este flujo.
    • No de particiones: introduzca el número de particiones para el flujo.
    • Ratio total de escrituras y Ratio total de lecturas: introduzca el valor en función de la cantidad de datos que necesita procesar.

    Puede comenzar con valores por defecto para la prueba. Para obtener más información, consulte Partición de un flujo.

Tarea 3: Configuración de un hub de conector de OCI

OCI Connector Hub organiza el movimiento de datos entre servicios en Oracle Cloud Infrastructure. OCI Connector Hub proporciona un lugar central para describir, ejecutar y supervisar los movimientos de datos entre servicios, como OCI Logging, OCI Object Storage, OCI Streaming, OCI Logging Analytics y OCI Monitoring. También puede activar OCI Functions para el procesamiento de datos ligero y OCI Notifications para configurar alertas.

  1. Vaya a la consola de OCI, vaya a Observación y gestión, Registro y Conectores.

  2. Haga clic en Crear conector para crear el conector.

  3. Introduzca la siguiente información.

    • Nombre: introduzca Datadog_SC.
    • Descripción (Opcional): introduzca la descripción.
    • Compartment: seleccione el compartimento.
    • Origen: seleccione Logging.
    • Destino: seleccione Streaming.

  4. En Configurar conexión de origen, seleccione un nombre de compartimento, un grupo de logs y un log (grupo de logs y log creados en la tarea 1).

  5. Si también desea enviar Logs de auditoría, haga clic en Log +Another y seleccione el mismo compartimento al sustituir _Audit como grupo de logs.

  6. En Configurar destino, seleccione un compartimento y un flujo (flujo creado en la tarea 2).

  7. Para aceptar políticas por defecto, haga clic en el enlace Crear proporcionado para cada política por defecto. Las políticas por defecto se ofrecen para cualquier autorización necesaria para que este conector acceda a los servicios de origen, tarea y destino.

  8. Haga clic en Crear.

Tarea 4: Control de acceso para recuperar logs

Para acceder a los datos del flujo de OCI mediante el pipeline de observación de Datadog, cree un usuario y otorgue permisos de extracción de flujo para recuperar logs.

  1. Crear un usuario de OCI. Para obtener más información, consulte Gestión de usuarios.

  2. Cree un grupo de OCI (Datadog_User_Group) y agregue el usuario de OCI al grupo. Para obtener más información, consulte Gestión de Grupos.

  3. Cree la siguiente política de OCI IAM.

    Allow group <Datadog_User_Group> to use stream-pull in compartment <compartment_of_stream>

    Nota: Utilice estos detalles de usuario para extraer logs del flujo en la configuración de pipeline de observación de Datadog pipeline.yaml.

Tarea 5: Configuración del pipeline de observación de Datadog

  1. Conéctese al portal de Datadog y haga clic en Integraciones, Pipelines de Observación.

    Pieza de observación de Datadog

  2. Haga clic en Introducción si utiliza pipelines por primera vez o haga clic en Nuevo pipeline. Introduzca el nombre de pipeline y haga clic en siguiente.

    Crear pieza

  3. Seleccione la plantilla de pipeline QuickStart y una plataforma.

    Plantilla y plataforma de línea de piezas

  4. Seleccione una clave de API existente o cree una nueva y copie el comando de instalación. Las claves de API son exclusivas de su organización. El agente de Datadog necesita una clave de API para enviar métricas y eventos a Datadog.

    Instalar el trabajador

  5. Conéctese a la instancia informática designada como trabajador de pipeline de observabilidad en OCI y ejecute el siguiente comando para instalar el trabajador.

    Instalar el trabajador

    La ejecución del script iniciará la instalación de la parte worker.As de los pipelines de observación de Datadog del proceso de instalación. Se creará un archivo denominado observability-pipelines-worker en el directorio /etc/default/ con las variables DD_API_KEY, DD_OP_PIPELINE_ID y DD_SITE.

    Instalar el trabajador

  6. Puesto que no se permite especificar la contraseña directamente en el archivo de configuración pipeline.yaml, agregue la contraseña para acceder a los flujos de OCI (token de autenticación del usuario creado en la tarea 4) como otra variable (DD_KAFKA_PW) en el archivo /etc/default/observability-pipelines-worker.

    Contraseña de OCI Streams

  7. Cree un archivo denominado pipeline.yaml en /etc/observability-pipelines-worker/ con la siguiente configuración.

    Sustituya username, topics y bootstrap_servers por los valores.

    sinks:
   Datadog_OCI_Logs:
      default_api_key: ${DD_API_KEY}
      inputs:
         - OCI_LOGS
      site: ${DD_SITE}
      type: datadog_logs
sources:
   OCI_LOGS:
      bootstrap_servers: <Bootstrap Servers>
      group_id: datadog
      sasl:
         enabled: true
         mechanism: PLAIN
         password: ${DD_KAFKA_PW}
         username: <username>
      tls:
         enabled: true
      topics:
         - <OCI_Stream_name>
      type: kafka

    Nota: Se puede hacer referencia a los parámetros anteriores desde Configuración de conexión de Kafka. En la página de detalles del pool de flujos, vaya a Recursos y haga clic en Configuración de conexión de Kafka.

  8. Para iniciar el trabajador, ejecute el siguiente comando.

    sudo systemctl restart observability-pipelines-worker

  9. Compruebe el estado del trabajador de pipelines de observabilidad. Debería estar funcionando.

    sudo systemctl status observability-pipelines-worker

    Nota: Si el trabajador de pipeline de Observability no se inicia, compruebe si hay errores en los mensajes de /var/log/messages.

  10. En este paso, debe tener un Observability Pipelines Worker iniciado con datos que fluyen desde el origen en la consola de Datadog. Si el trabajador de pipelines de Observability está activo y en ejecución, puede hacer clic en Ver pipeline para acceder al pipeline.

    Si OCI Connector Hub, la configuración de OCI Streaming está configurada en OCI, puede ver logs que fluyen a Datadog.

    Mapa de pipeline de observabilidad

  11. Haga clic en los logs para ver los logs ingeridos desde OCI.

    Logs de OCI

    Logs de OCI

Pasos Siguientes

En este tutorial se ha demostrado el proceso de integración de Oracle Cloud Infrastructure (OCI) y Datadog. En el lado de la información de seguridad y la gestión de eventos (SIEM), es esencial definir paneles de control para capturar métricas críticas y configurar alertas para que se disparen cuando se superen los umbrales predefinidos. Además, la definición de consultas específicas es crucial para detectar actividades maliciosas e identificar patrones dentro de tu arrendamiento de OCI. Estas acciones mejorarán aún más su estrategia de seguridad y permitirán un control proactivo de su entorno en la nube.

Agradecimientos

Más recursos de aprendizaje

Explore otros laboratorios en docs.oracle.com/learn o acceda a más contenido de aprendizaje gratuito en el canal YouTube de Oracle Learning. Además, visite education.oracle.com/learning-explorer para convertirse en Oracle Learning Explorer.

Para obtener documentación sobre el producto, visite Oracle Help Center.