Streamen von Daten zu einer Autonomous Database in Echtzeit
Architektur
Diese Architektur zeigt, wie Sie Echtzeit-Streamingdaten mit Managed Services von Oracle Cloud Infrastructure Service Connector Hub implementieren können.
Im Folgenden sind einige Anwendungsfälle für das Echtzeit-Daten-Streaming aufgeführt:
- Analysen: Für Organisationen, die verschiedene Tools wie Data Dog und Splunk für die zusätzliche Datenverarbeitung und Analyseausführung verwenden, ist jetzt die Integration mit Unterstützung von Drittanbietertools möglich.
- Daten archivieren: In vielen Organisationen müssen Logs, Metriken und Streammeldungen für Compliance und zukünftige Verwendung gespeichert werden. Mit Oracle Cloud Infrastructure Service Connector Hub können diese Daten langfristig kostengünstig gespeichert werden.
- Logbenachrichtigungen: Für die Zuverlässigkeit von Site und Datenbank können Sie Alarme und Benachrichtigungen für bestimmte Fehler einrichten, wie 500 Fehler. Diese Alarme können in den Überwachungsdienst integriert werden.
- Daten verarbeiten: Legen Sie Trigger für Oracle Functions fest, damit Daten in Integration mit Service Connector Hub vorverarbeitet werden. Dies erleichtert Dateningenieuren die direkte Bearbeitung der verarbeiteten Daten für die Datenanalyse.
- Benachrichtigungen bei Cloud-Ressourcen ändern: Service Connector Hub kann integriert werden, um Benachrichtigungen per E-Mail, PagerDuty, Slack und benutzerdefinierten Webhooks zu senden.
- Vollständige Sichtbarkeit der Datenverschiebung: Service Connector Hub bietet ein Ziel, von dem Administratoren Daten verwalten und überwachen können.
Das folgende Diagramm veranschaulicht diese Referenzarchitektur.
Beschreibung der Abbildung stream-data-adb-real-time.png
Die Architektur umfasst folgende Komponenten:
- Region
Eine Oracle Cloud Infrastructure-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Center, sogenannte Availability-Domains, enthält. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können sie (über Länder oder sogar Kontinente) trennen.
- Availability-Domains
Availability-Domains sind eigenständige, unabhängige Data Center in einer Region. Die physischen Ressourcen in jeder Availability-Domain sind von den Ressourcen in den anderen Availability-Domains isoliert, was eine Fehlertoleranz bietet. Availability-Domains haben keine gemeinsame Infrastruktur wie Stromversorgung oder Kühlung oder das interne Availability-Domainnetzwerk. Daher ist es wahrscheinlich, dass sich ein Fehler in einer Availability-Domain auf die anderen Availability-Domains in der Region auswirkt.
- Dynamisches Routinggateway (DRG)
Das DRG ist ein virtueller Router, der einen Pfad für privaten Netzwerktraffic zwischen einem VCN und einem Netzwerk außerhalb der Region bereitstellt, wie z.B. ein VCN in einer anderen Oracle Cloud Infrastructure-Region, ein On-Premise-Netzwerk oder ein Netzwerk in einem anderen Cloudprovider.
- Servicegateway
Das Servicegateway bietet Zugriff von einem VCN auf andere Services, wie Oracle Cloud Infrastructure Object Storage. Der Traffic vom VCN zu dem Oracle-Service durchläuft das Oracle-Fabric und durchläuft nie das Internet.
- Virtuelles Cloud-Netzwerk (VCN) und Subnetze
Ein VCN ist ein anpassbares, softwaredefiniertes Netzwerk, das Sie in einer Oracle Cloud Infrastructure-Region einrichten. Wie bei herkömmlichen Data Center-Netzwerken erhalten VCNs vollständige Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere nicht überlappende CIDR-Blöcke haben, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die für eine Region oder eine Availability-Domain gelten können. Jedes Subnetz besteht aus einem fortlaufenden Adressbereich, der sich nicht mit den anderen Subnetzen im VCN überschneidet. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.
- Servicekonnektoren
Oracle Cloud Infrastructure Service Connector Hub ist eine Cloud-Nachrichtenbusplattform, die die Datenverschiebung zwischen Services in OCI orchestriert. Sie können damit Daten zwischen Services in Oracle Cloud Infrastructure verschieben. Daten werden mit Service-Connectors verschoben. Ein Service-Connector gibt den Quellservice an, der die zu verschiebenden Daten enthält, die Aufgaben für die Daten und den Zielservice, an den die Daten zugestellt werden müssen, wenn die angegebenen Aufgaben abgeschlossen sind.
Mit Oracle Cloud Infrastructure Service Connector Hub können Sie schnell ein Loggingaggregations-Framework für SIEM-Systeme erstellen. Eine optionale Aufgabe kann eine Funktionsaufgabe sein, um Daten aus der Quelle zu verarbeiten, oder eine Logfilteraufgabe, um Logdaten aus der Quelle zu filtern.
- Streaming
Oracle Cloud Infrastructure Streaming bietet eine komplett verwaltete, skalierbare und dauerhafte Storage-Lösung, mit der Sie fortlaufende und hochvolumige Datenstreams aufnehmen können, die Sie in Echtzeit verwenden und verarbeiten können. Sie können Streaming für die Aufnahme großer Datenmengen verwenden, z.B. Anwendungslogs, betriebliche Telemetrie, Clickstream-Webdaten oder für andere Anwendungsfälle, bei denen kontinuierlich und sequenziell Daten in einem Messagingmodell für das Veröffentlichen/Abonnieren erzeugt und verarbeitet werden.
- Funktionen
Oracle Functions ist eine vollständig verwaltete, mehrmandantenfähige, hoch skalierbare, On-Demand-Plattform für Functions-as-a-Service (FaaS). Sie basiert auf der Open-Source-Engine Fn Project. Mit Funktionen können Sie den Code bereitstellen und entweder direkt aufrufen oder als Reaktion auf Ereignisse auslösen. Oracle Functions verwendet Docker-Container, die in Oracle Cloud Infrastructure Registry gehostet werden.
- Autonomous Database
Oracle Cloud Infrastructure autonome Datenbanken sind vollständig verwaltete, vorkonfigurierte Datenbankumgebungen, die Sie für die Transaktionsverarbeitung und Data Warehousing-Workloads verwenden können. Sie müssen keine Hardware konfigurieren oder verwalten und keine Software installieren. Oracle Cloud Infrastructure behandelt das Erstellen der Datenbank sowie das Backup, Patching, Upgrade und Tuning der Datenbank.
- Identitäts- und Zugriffsverwaltung (IAM)
Mit Oracle Cloud Infrastructure Identity and Access Management (IAM) können Sie kontrollieren, wer auf Ihre Ressourcen in Oracle Cloud Infrastructure und die Vorgänge zugreifen kann, die mit diesen Ressourcen ausgeführt werden können.
- Audit-Service
- Auditlogs: Protokolle für Ereignisse, die vom Audit-Service ausgegeben werden.
- Servicelogs: Von einzelnen Services ausgegebene Logs, wie API-Gateway, Ereignisse, Funktionen, Load Balancing, Object Storage und VCN-Flowlogs.
- Benutzerdefinierte Logs: Logs, die Diagnoseinformationen aus benutzerdefinierten Anwendungen, anderen Cloud-Providern oder einer On-Premise-Umgebung enthalten.
Empfehlungen
- VCN
Bestimmen Sie beim Erstellen eines VCN die Anzahl der erforderlichen CIDR-Blöcke und die Größe jedes Blocks basierend auf der Anzahl der Ressourcen, die Sie an Subnetze im VCN anhängen möchten. Verwenden Sie CIDR-Blöcke, die sich im standardmäßigen privaten IP-Adressbereich befinden.
Wählen Sie CIDR-Blöcke, die sich nicht mit einem anderen Netzwerk überschneiden (in Oracle Cloud Infrastructure, Ihrem On-Premise-Data Center oder einem anderen Cloud-Provider), in dem Sie private Verbindungen einrichten möchten.
Nachdem Sie ein VCN erstellt haben, können Sie die zugehörigen CIDR-Blöcke ändern, hinzufügen und entfernen.
Berücksichtigen Sie beim Entwerfen der Subnetze den Verkehrsfluss und die Sicherheitsanforderungen. Hängen Sie alle Ressourcen innerhalb einer bestimmten Ebene oder Rolle an dasselbe Subnetz an, das als Sicherheitsgrenze dienen kann.
- Cloud Guard
Klonen und anpassen Sie die von Oracle bereitgestellten Standardrezepte, um benutzerdefinierte Detektor- und Responderrezepte zu erstellen. Mit diesen Rezepten können Sie angeben, welche Art von Sicherheitsverletzungen eine Warnung generiert und welche Aktionen für sie durchgeführt werden dürfen. Beispiel: Sie möchten Object Storage-Buckets ermitteln, für die die Sichtbarkeit auf "Öffentlich" gesetzt ist.
Wenden Sie Cloud Guard auf Mandantenebene an, um den breitesten Geltungsbereich abzudecken und den Verwaltungsaufwand bei der Verwaltung mehrerer Konfigurationen zu reduzieren.
Mit der Funktion "Verwaltete Liste" können Sie auch bestimmte Konfigurationen auf Detektoren anwenden.
- Sicherheitszonen
Für Ressourcen, für die eine maximale Sicherheit erforderlich ist, empfiehlt Oracle, Sicherheitszonen zu verwenden. Eine Sicherheitszone ist ein Compartment, das mit einem von Oracle definierten Rezept von Sicherheits-Policys verknüpft ist, die auf Best Practices basieren. Beispiel: Die Ressourcen in einer Sicherheitszone dürfen nicht aus dem öffentlichen Internet zugänglich sein und müssen mit vom Kunden verwalteten Schlüsseln verschlüsselt werden. Wenn Sie Ressourcen in einer Sicherheitszone erstellen und aktualisieren, validiert Oracle Cloud Infrastructure die Vorgänge anhand der Policys im Rezept der Sicherheitszone und verweigert Vorgänge, die eine der Policys verletzen.
- CIS OCI Landing Zone - Schnellstartvorlage
Diese Vorlage stellt eine standardisierte Umgebung in einem Oracle Cloud Infrastructure-(OCI-)Mandanten bereit, mit der Organisationen die CIS OCI Foundations Benchmark v1.1 einhalten können.