Streaming dei dati in un Autonomous Database in tempo reale
Architettura
Questa architettura mostra come implementare dati in streaming in tempo reale con i servizi gestiti dell'hub connettore servizio Oracle Cloud Infrastructure.
Di seguito sono riportati alcuni casi d'uso per lo streaming dei dati in tempo reale.
- Analitica: per le organizzazioni che utilizzano vari strumenti, come Data Dog e Splunk, per l'elaborazione dei dati in eccesso e l'esecuzione dell'analitica ora è possibile grazie al supporto di strumenti di terze parti.
- Archiviazione dei dati: molte organizzazioni devono memorizzare log, metriche e messaggi di flusso per la conformità e l'utilizzo futuro. L'hub connettore servizio Oracle Cloud Infrastructure aiuta a memorizzare questi dati in modo economico a lungo termine.
- Notifiche di log: per l'affidabilità del sito e del database, è possibile impostare avvisi e notifiche per determinati errori, ad esempio 500 errori. Questi allarmi possono essere integrati con il servizio di monitoraggio.
- Dati processo: impostare i trigger per Oracle Functions in modo che i dati siano preelaborati in integrazione con l'hub connettore servizio. In questo modo, i tecnici dei dati potranno lavorare direttamente sui dati elaborati per l'analisi dei dati.
- Notifiche di modifica delle risorse cloud: l'hub connettore servizio può essere integrato per l'invio di notifiche tramite e-mail, PagerDuty, Slack, Webhook personalizzati.
- Visibilità completa sullo spostamento dei dati: l'hub connettore servizio offre un'unica destinazione dalla quale gli amministratori possono gestire e monitorare i dati.
Il diagramma riportato di seguito illustra questa architettura di riferimento.
Descrizione dell'illustrazione stream-data-adb-real-time.png
L'architettura prevede i componenti elencati di seguito.
- Area
Un'area Oracle Cloud Infrastructure è un'area geografica localizzata contenente uno o più data center, denominati domini di disponibilità. Le regioni sono indipendenti da altre regioni e le grandi distanze possono separarle (tra paesi o addirittura continenti).
- Domini di disponibilità
I domini di disponibilità sono data center indipendenti e standalone all'interno di un'area geografica. Le risorse fisiche presenti in ciascun dominio di disponibilità sono isolate dalle risorse presenti negli altri domini di disponibilità, il che garantisce la tolleranza agli errori. I domini di disponibilità non condividono l'infrastruttura, ad esempio l'alimentazione o il raffreddamento, né la rete interna del dominio di disponibilità. Pertanto, è improbabile che un errore di un dominio di disponibilità influisca sugli altri domini di disponibilità nell'area.
- Gateway di instradamento dinamico (DRG)
Il gateway DRG è un router virtuale che fornisce un percorso per il traffico di rete privato tra una VCN e una rete esterna all'area geografica, ad esempio una VCN in un'altra area Oracle Cloud Infrastructure, una rete on premise o una rete in un altro provider cloud.
- Gateway di servizi
Il gateway di servizi fornisce l'accesso da una VCN ad altri servizi, ad esempio Oracle Cloud Infrastructure Object Storage. Il traffico dalla rete VCN al servizio Oracle si sposta attraverso il fabric di rete Oracle e non pubblica mai Internet.
- Rete cloud virtuale (VCN) e subnet
Una VCN è una rete personalizzabile e definita dal software impostata dall'utente in un'area Oracle Cloud Infrastructure. Come le reti di data center tradizionali, le VCN offrono il controllo completo sull'ambiente di rete. Una VCN può avere più blocchi CIDR non sovrapposti che è possibile modificare dopo aver creato la VCN. È possibile segmentare una VCN in subnet, che può essere definita in un'area o in un dominio di disponibilità. Ogni subnet è costituita da un intervallo contiguo di indirizzi che non si sovrappongono con le altre subnet nella VCN. Puoi modificare la dimensione di una subnet dopo la creazione. Una subnet può essere pubblica o privata.
- Connettori servizio
L'hub connettore servizio Oracle Cloud Infrastructure è una piattaforma bus di messaggi cloud che orchestra lo spostamento dei dati tra i servizi in OCI. Puoi utilizzarlo per spostare i dati tra i servizi in Oracle Cloud Infrastructure. I dati vengono spostati mediante connettori servizio. Un connettore servizio specifica il servizio di origine contenente i dati da spostare, i task da eseguire sui dati e il servizio di destinazione a cui devono essere consegnati i dati al termine dei task specificati.
È possibile utilizzare l'hub connettore servizio Oracle Cloud Infrastructure per creare rapidamente una struttura di aggregazione del log per i sistemi SIEM. Un task facoltativo può essere un task funzione per elaborare i dati dall'origine o un task filtro di log per filtrare i dati di log dall'origine.
- Streaming
Il streaming di Oracle Cloud Infrastructure offre una soluzione di storage completamente gestita, scalabile e duratura dedicata all'inclusione di flussi di dati continui e a elevato volume che puoi utilizzare ed elaborare in tempo reale. Puoi utilizzare la funzionalità di streaming per l'inclusione di dati a elevato volume, come log dell'applicazione, telemetria operativa, dati di clic sul Web o per altri casi d'uso in cui i dati vengono prodotti e elaborati in maniera continua e sequenziale in un modello di messaggistica di pubblicazione/sottoscrizione.
- Funzioni
Oracle Functions è una piattaforma completamente gestita, multi-tenant, altamente scalabile, su richiesta, Functions-as-a-Service (FaaS). È alimentato dal motore open source Fn Project. Le funzioni consentono di distribuire il codice e di chiamarlo direttamente o attivarlo in risposta agli eventi. Oracle Functions utilizza i container Docker ospitati in Oracle Cloud Infrastructure Registry.
- Autonomous Database
I database autonomi Oracle Cloud Infrastructure sono ambienti di database completamente gestiti e preconfigurati che è possibile utilizzare per carichi di lavoro di elaborazione delle transazioni e di data warehousing. Non è necessario configurare né gestire alcun hardware o installare software. Oracle Cloud Infrastructure gestisce la creazione del database e il backup, l'applicazione di patch, l'aggiornamento e il tuning del database.
- Gestione delle identità e degli accessi (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) ti consente di controllare chi può accedere alle tue risorse in Oracle Cloud Infrastructure e le operazioni che possono eseguire su tali risorse.
- Servizio di audit
- Log di audit: log correlati agli eventi emessi dal servizio di audit.
- Log dei servizi: log generati dai singoli servizi, come gateway API, eventi, funzioni, bilanciamento del carico, storage degli oggetti e log di flusso VCN.
- Log personalizzati: log che contengono informazioni di diagnostica da applicazioni personalizzate, altri provider cloud o un ambiente in locale.
Suggerimenti
- VCN
Quando crei una VCN, determina il numero di blocchi CIDR necessari e la dimensione di ogni blocco in base al numero di risorse che intendi collegare alle subnet nella VCN. Utilizzare i blocchi CIDR che si trovano all'interno dello spazio di indirizzi IP privati standard.
Selezionare i blocchi CIDR che non si sovrappongono a qualsiasi altra rete (in Oracle Cloud Infrastructure, il data center on premise o un altro provider cloud) a cui si intende impostare connessioni private.
Dopo aver creato una VCN, è possibile modificare, aggiungere e rimuovere i relativi blocchi CIDR.
Durante la progettazione delle subnet, prendi in considerazione i requisiti di flusso del traffico e sicurezza. Associare tutte le risorse all'interno di un livello o ruolo specifico alla stessa subnet, che può fungere da limite di sicurezza.
- Cloud Guard
Duplica e personalizza le ricette predefinite fornite da Oracle per creare ricette di rilevamento e rispondenti personalizzate. Queste ricette consentono di specificare il tipo di violazioni della sicurezza che generano un'avvertenza e le azioni che possono essere eseguite su di esse. Ad esempio, potresti voler rilevare i bucket di storage degli oggetti con visibilità impostata su pubblico.
Applicare Cloud Guard a livello di tenancy per coprire l'ambito più ampio e ridurre il carico amministrativo derivante dalla gestione di più configurazioni.
È inoltre possibile utilizzare la funzione Lista gestita per applicare determinate configurazioni ai rilevatori.
- Zone di sicurezza
Per le risorse che richiedono la massima sicurezza, Oracle consiglia di utilizzare le zone di sicurezza. Una zona di sicurezza è un compartimento associato a una ricetta definita da Oracle di criteri di sicurezza basati sulle migliori prassi. Ad esempio, le risorse in una zona di sicurezza non devono essere accessibili dalla rete Internet pubblica e devono essere cifrate utilizzando chiavi gestite dal cliente. Quando si creano e si aggiornano le risorse in un'area di sicurezza, Oracle Cloud Infrastructure convalida le operazioni rispetto ai criteri nella ricetta dell'area di sicurezza e nega le operazioni che violano qualsiasi criterio.
- Modello di avvio rapido zona di destinazione OCI CIS
Questo modello distribuisce un ambiente standardizzato in una tenancy Oracle Cloud Infrastructure (OCI) che consente alle organizzazioni di garantire la conformità con il benchmark CIS OCI Foundations v1.1.