Nota

Integra Oracle Cloud Infrastructure e Datadog utilizzando Datadog Observability Pipelines

Introduzione

Oracle Cloud Infrastructure (OCI) è un Infrastructure-as-a-Service (IaaS) e Platform-as-a-Service (PaaS) di cui le grandi aziende si fidano. Offre una gamma completa di servizi gestiti che comprendono hosting, storage, networking, database e così via.

Oracle Cloud Observability and Management Platform è progettata per allinearsi alle preferenze dei nostri clienti. Molti hanno adottato pratiche operative consolidate utilizzando strumenti di osservabilità di terze parti. Il nostro obiettivo è garantire una perfetta integrazione con questi strumenti, consentendo ai nostri clienti di sfruttare i loro investimenti esistenti insieme a OCI.

Secondo Datadog, le loro pipeline di osservabilità ti consentono di raccogliere, elaborare e instradare i log da qualsiasi origine a qualsiasi destinazione nell'infrastruttura che possiedi o gestisci.

Pipeline di osservabilità Datadog

Observability Pipelines Worker è il software che viene eseguito nell'infrastruttura. Aggrega ed elabora e instrada centralmente i dati. Per includere i log OCI in Datadog, il software Observability Pipelines Worker viene eseguito su un'istanza di computazione in OCI. Più specificamente, il lavoratore dei gasdotti di osservabilità:

Rappresentazione di alto livello dell'architettura della soluzione come mostrato nella seguente immagine.

Diagramma dell'architettura

Obiettivi

Prerequisiti

Task 1: configurare i log da acquisire

Il servizio Oracle Cloud Infrastructure Logging è un unico pannello di controllo altamente scalabile e completamente gestito per tutti i log della tenancy. OCI Logging fornisce l'accesso ai log dalle risorse di Oracle Cloud Infrastructure. Un log è una risorsa Oracle Cloud Infrastructure di prima classe che memorizza e acquisisce gli eventi di log raccolti in un determinato contesto. Un gruppo di log è una raccolta di log memorizzati in un compartimento. I gruppi di log sono contenitori logici per i log. Utilizza i gruppi di log per organizzare e semplificare la gestione dei log applicando i criteri Oracle Cloud Infrastructure Identity and Access Management (OCI IAM) o i log di raggruppamento per l'analisi.

Per iniziare, abilitare un log per una risorsa. I servizi forniscono categorie di log per i diversi tipi di log disponibili per le risorse. Ad esempio, il servizio di storage degli oggetti OCI supporta le seguenti categorie di log per i bucket di storage: eventi di accesso in lettura e scrittura. Gli eventi di accesso in lettura acquisiscono gli eventi di download, mentre gli eventi di accesso in scrittura acquisiscono gli eventi di scrittura. Ogni servizio può avere categorie di log diverse per le risorse.

  1. Eseguire il login a OCI Console, passare a Osservabilità e gestione, Log e Gruppi di log.

  2. Selezionare il compartimento, fare clic su Crea gruppo di log e immettere le informazioni riportate di seguito.

    • Nome: immettere Datadog_log_group.
    • Descrizione (Facoltativo): immettere la descrizione.
    • Tag (Facoltativo): immettere le tag.

  3. Fare clic su Crea per creare un nuovo gruppo di log.

  4. In Risorse, fare clic su Log.

  5. Fare clic sul log Crea log personalizzato o Abilita servizio in base alle esigenze.

    Ad esempio, per abilitare i log di scrittura per un bucket di storage degli oggetti OCI, attenersi alla procedura riportata di seguito.

    1. Fare clic su Abilita log servizio.

    2. Selezionare il compartimento delle risorse e immettere Storage degli oggetti nei servizi di ricerca.

    3. Fare clic su Abilita log e selezionare il nome del bucket di storage degli oggetti OCI nella risorsa.

    4. Selezionare il gruppo di log (Datadog_log_group) creato nel task 1.2 e Scrivi eventi di accesso nella categoria di log. Se si desidera, immettere Datadog_bucket_write come nome log.

    5. Fare clic su Abilita per creare il nuovo log OCI.

Task 2: Creare un flusso utilizzando OCI Streaming

Il servizio di streaming di Oracle Cloud Infrastructure (OCI) è una piattaforma di streaming di eventi compatibile con Apache Kafka in tempo reale e serverless per sviluppatori e data scientist. Fornisce una soluzione completamente gestita, scalabile e duratura per l'inclusione e il consumo di flussi di dati ad alto volume in tempo reale, ad esempio i log. Possiamo utilizzare lo streaming OCI per qualsiasi caso d'uso in cui i dati vengono prodotti ed elaborati in modo continuo e sequenziale in un modello di messaggistica di pubblicazione/sottoscrizione.

  1. Andare alla console OCI, andare a Analytics e AI, Messaggistica e Streaming.

  2. Fare clic su Crea flusso per creare il flusso.

  3. Immettere le informazioni seguenti e fare clic su Crea.

    • Nome: immettere il nome del flusso. Per questo tutorial, è Datadog_Stream.
    • Pool di streaming: selezionare un pool di flussi esistente o crearne uno nuovo con un endpoint pubblico.
    • Conservazione (in ore): immettere il numero di ore di conservazione dei messaggi in questo flusso.
    • Numero di partizioni: immettere il numero di partizioni per il flusso.
    • Tasso di scrittura totale e Tasso di lettura totale: immettere il valore in base alla quantità di dati da elaborare.

    È possibile iniziare con i valori predefiniti per i test. Per ulteriori informazioni, vedere Partizionamento di un flusso.

Task 3: impostare un hub connettore OCI

OCI Connector Hub orchestra lo spostamento dei dati tra i servizi in Oracle Cloud Infrastructure. OCI Connector Hub offre un luogo centrale per descrivere, eseguire e monitorare gli spostamenti di dati tra servizi, come OCI Logging, OCI Object Storage, OCI Streaming, OCI Logging Analytics e OCI Monitoring. Può anche attivare OCI Functions per un'elaborazione più leggera dei dati e OCI Notifications per impostare gli avvisi.

  1. Andare alla console OCI, andare a Osservabilità e gestione, Log e Connettori.

  2. Fare clic su Crea connettore per creare il connettore.

  3. Immettere le informazioni riportate di seguito.

    • Nome: immettere Datadog_SC.
    • Descrizione (Facoltativo): immettere la descrizione.
    • Compartimento: selezionare il compartimento.
    • Origine: selezionare Log.
    • Destinazione: selezionare Streaming.

  4. In Configura connessione di origine, selezionare un nome compartimento, un gruppo di log e un log (gruppo di log e log creati nel task 1).

  5. Se si desidera anche inviare i log di audit, fare clic su +Another log e selezionare lo stesso compartimento durante la sostituzione di _Audit del gruppo di log.

  6. In Configura destinazione, selezionare un compartimento e Via (flusso creato nel task 2).

  7. Per accettare criteri predefiniti, fare clic sul collegamento Crea fornito per ogni criterio predefinito. I criteri predefiniti vengono offerti per consentire a questo connettore di accedere ai servizi di origine, task e destinazione.

  8. Fare clic su Crea.

Task 4: Controllo dell'accesso per il recupero dei log

Per accedere ai dati dal flusso OCI tramite la pipeline di osservabilità del datadog, creare un utente e concedere autorizzazioni stream-pull per il recupero dei log.

  1. Creare un utente OCI. Per ulteriori informazioni, vedere Gestione degli utenti.

  2. Creare un gruppo OCI (Datadog_User_Group) e aggiungere l'utente OCI al gruppo. Per ulteriori informazioni, vedere Gestione dei gruppi.

  3. Creare il criterio IAM OCI seguente.

    Allow group <Datadog_User_Group> to use stream-pull in compartment <compartment_of_stream>

    Nota: utilizzare questi dettagli utente per estrarre i log dal flusso nella configurazione della pipeline di osservabilità Datadog pipeline.yaml.

Task 5: Configura pipeline osservabilità datadog

  1. Eseguire il login al portale Datadog e fare clic su Integrazioni, Pipeline di osservabilità.

    Pipeline osservabilità datadog

  2. Fare clic su Inizia se si utilizzano le pipeline per la prima volta o fare clic su Nuova pipeline. Immettere il nome della pipeline e fare clic su successivo.

    Crea pipeline

  3. Selezionare il modello di pipeline QuickStart e una piattaforma.

    Modello e piattaforma pipeline

  4. Selezionare una chiave API esistente o creare una nuova chiave API e copiare il comando di installazione. Le API key sono univoche per l'organizzazione. L'agente Datadog richiede una chiave API per sottomettere metriche ed eventi al Datadog.

    Installare il lavoratore

  5. Eseguire il login all'istanza di computazione designata come Lavoratore pipeline osservabilità su OCI ed eseguire il comando riportato di seguito per installare il Lavoratore.

    Installare il lavoratore

    L'esecuzione dello script avvierà l'installazione delle pipeline Datadog Observability worker.As parte del processo di installazione, un file denominato observability-pipelines-worker verrà creato sotto la directory /etc/default/ con le variabili DD_API_KEY, DD_OP_PIPELINE_ID e DD_SITE.

    Installare il lavoratore

  6. Poiché non è consentito specificare la password direttamente nel file di configurazione pipeline.yaml, aggiungere la password per accedere ai flussi OCI (token di autenticazione dell'utente creato nel task 4) come un'altra variabile (DD_KAFKA_PW) nel file /etc/default/observability-pipelines-worker.

    Password Streams OCI

  7. Creare un file denominato pipeline.yaml in /etc/observability-pipelines-worker/ con la configurazione seguente.

    Sostituire username, topics e bootstrap_servers con i valori.

    sinks:
   Datadog_OCI_Logs:
      default_api_key: ${DD_API_KEY}
      inputs:
         - OCI_LOGS
      site: ${DD_SITE}
      type: datadog_logs
sources:
   OCI_LOGS:
      bootstrap_servers: <Bootstrap Servers>
      group_id: datadog
      sasl:
         enabled: true
         mechanism: PLAIN
         password: ${DD_KAFKA_PW}
         username: <username>
      tls:
         enabled: true
      topics:
         - <OCI_Stream_name>
      type: kafka

    Nota: è possibile fare riferimento ai parametri precedenti da Impostazioni di connessione Kafka. Nella pagina dei dettagli del pool di flussi, andare a Risorse e fare clic su Impostazioni connessione Kafka.

  8. Per avviare il lavoratore, eseguire il comando seguente.

    sudo systemctl restart observability-pipelines-worker

  9. Controllare lo stato del lavoratore delle pipeline osservabilità. Dovrebbe essere in esecuzione.

    sudo systemctl status observability-pipelines-worker

    Nota: se l'avvio di Observability Pipeline Worker non riesce, verificare la presenza di errori nei messaggi in /var/log/messages.

  10. In questo passo, è necessario eseguire il boot di un worker delle pipeline di osservabilità con i dati che fluiscono dall'origine nella console Datadog. Se il processo Pipeline osservabilità è attivo e in esecuzione, è possibile fare clic su Visualizza pipeline per passare alla pipeline.

    Se OCI Connector Hub, la configurazione di OCI Streaming è impostata in OCI, puoi vedere i log che fluiscono in Datadog.

    MAP pipeline osservabilità

  11. Fare clic sui log per visualizzare i log inclusi da OCI.

    Log OCI

    Log OCI

Passi successivi

Questa esercitazione ha dimostrato il processo di integrazione di Oracle Cloud Infrastructure (OCI) e Datadog. Sul lato Security Information and Event Management (SIEM), è essenziale definire i dashboard per acquisire le metriche critiche e configurare gli avvisi da attivare quando vengono superate le soglie predefinite. Inoltre, la definizione di query specifiche è fondamentale per rilevare attività dannose e identificare i pattern all'interno della tenancy OCI. Queste azioni miglioreranno ulteriormente il livello di sicurezza e consentiranno il monitoraggio proattivo dell'ambiente cloud.

Conferme

Altre risorse di apprendimento

Esplora altri laboratori su docs.oracle.com/learn o accedi a più contenuti gratuiti sulla formazione su Oracle Learning YouTube channel. Inoltre, visita education.oracle.com/learning-explorer per diventare un Oracle Learning Explorer.

Per la documentazione del prodotto, visita l'Oracle Help Center.