Diese Architektur zeigt, wie mit einem Data Lakehouse Oracle Cloud Infrastructure (OCI) eine moderne Datenplattform zum Erfassen, Verarbeiten, Speichern, Bereitstellen und Visualisieren von Daten aus strukturierten und unstrukturierten Quellen erstellt wird.
Architekturkomponenten werden in 4 Phasen unterteilt und als funktionaler Datenfluss dargestellt:
- Data Producer: Streaming-Datenproduzenten umfassen Kafka-Produzenten für Preis- und Wechselkursdaten und Event-Producer für Trades-Daten. Unstrukturierte Daten werden direkt in den Objektspeicher ("Bronze"-Data Lake) übertragen. Geplante oder ereignisausgelöste Data Producer umfassen Batchdaten aus Dateispeicher und Referenzdaten aus Datenbanksystemen.
- Aufnahme/Laden: Persistente Streamingdaten werden an den "Bronze"-Objektspeicher übergeben. Streamingdaten werden auch als anomale Handelsdaten und Insights in Echtzeit zu Fonds verarbeitet. Geplante oder ereignisausgelöste Daten werden von Data Integration verarbeitet und an den "Bronze"-Objektspeicher übergeben.
- Beibehalten/Transformieren/Berechnen:
- Streamingdaten werden von Kafka Connect verarbeitet, um Insights zu Finanzmitteln und Streaminganalysen in Echtzeit zu erhalten. Service Connector Hub koordiniert anomale Handelsdaten und Benutzereinblicke mit Oracle Cloud Infrastructure Notifications.
- Oracle Cloud Infrastructure Events, Oracle Functions und OCI Vision bieten OCR- und Textextraktion für Faximages aus Bronze-Objektspeicher und übergeben die daraus resultierenden Daten an "Silber"-Objektspeicher.
- In dem Data Lakehouse bereinigt Oracle Cloud Infrastructure Data Flow Daten aus Bronze-Objektspeicher und übergibt sie an den Silberobjektspeicher. Data Flow verarbeitet auch Daten aus Silberobjektspeicher und übergibt sie an den "Gold"-Objektspeicher. Oracle Autonomous Data Warehouse (ADW) und Oracle Cloud Infrastructure Data Catalog stellen "Golddaten" für Endbenutzer und Analysen bereit.
- Serve/Visualize: Endbenutzer können auf anomale Streamingdaten zugreifen oder OpenSearch für Echtzeitanalysen und -einblicke verwenden. Benutzer können mit Oracle Analytics Cloud- oder Drittanbieteranalysen Daten aus dem Data Lakehouse nutzen. Data Scientists können die Daten aus dem Data Lakehouse auch mit Oracle Cloud Infrastructure Data Science nutzen.