SailGP: Deployment der Echtzeit-Streamanalyseplattform in Oracle Cloud

In weniger als 5 Sekunden erfasst und analysiert SailGP über 30,000 Datenpunkte und Streams-Rennmetriken in Echtzeit, um seinen Teams die Navigation in ihren F50-Schiffen zu erleichtern und weltweit eine Verbindung zu den Milliarden Fans des Teams herzustellen.

Um die Dominanz während der Off-Saison aufrechtzuerhalten, erstellt SailGP einen Schulungssimulator mit Streaminganalysen, maschinellem Lernen, einem autonomen Data Warehouse und Visualisierungstechnologien von Oracle, die auf Oracle Cloud Infrastructure ausgeführt werden.

Kundenbericht

Erfahren Sie mehr über die Migration von SailGP zu Oracle Cloud:

Architektur

Da SailGPs F50 füllende Katamarane über eine Saison von mehreren Enkeln auf der ganzen Welt konkurrieren, erfassen In-Hull-Sensoren ca. 30,000 eindeutige Datenpunkte und streamen mit 70 kbps pro Boot.

Zu den Datenpunkten zählen Bootslage, Geschwindigkeit, Pitch, Wasser und Windbedingungen sowie Seemannsbiometrie. Die Metriken jedes Teams werden an die Medienpartner von SailGP übertragen, die über die App des Teams geteilt werden. Die Milliarden von Fans des Teams, die an der Aktion interessiert sind. Daten von den F50-Schiffen werden über Satellitenverbindungen zu einem Oracle Autonomous Data Warehouse (ADW) übertragen, das auf Oracle Cloud Infrastructure mit einem dedizierten 1Gbit/s FastConnect ausgeführt wird. Je nach Standort eines Rennens ist der FastConnect-Service möglicherweise nicht verfügbar. In diesen Fällen werden IPSec-/VPN-Verbindungen ersetzt.

Der Gesamtfluss umfasst das Sammeln von Daten aus F50 Yachten, die mit mehr als 100 Sensoren ausgestattet sind. Einige der F50s erfassen einfache Daten von Drucksensoren, während andere komplexere Daten aus Gyroskopen und GPSs erfassen. Nach der Erfassung werden die Daten für die Vorverarbeitung auf dem Media Data System Server (MDSS) und dem PI-Server an Compute-Instanzen verteilt. Daten werden dann von einem proprietären Format in ein JSON-Format transformiert und dann an Oracle Stream Analytics gesendet, das die Daten verarbeitet und relevante Ereignisse ermittelt. Die Daten werden dann an Oracle Autonomous Data Warehouse gesendet, das komplexe Analysen ausführt und Medienpartnern diese Daten über Oracle REST Data Services zur Verfügung stellt.

Oracle Autonomous Data Warehouse wird auch verwendet, um Daten vom MySQL-Server von SailGP ( hauptsächlich für Legacy-Anwendungen und -Daten verwendet) zur Replikation mit Oracle Cloud Infrastructure GoldenGate zu speisen.

Die Cloud-Architektur SailGPs umfasst die folgenden Komponenten:

Sensoren, die auf SailGP F50s eingehängt sind, sammeln Daten lokal und streamen eine Teilmenge dessen, was während des Rennens für die Analyse und Anzeige in Echtzeit erforderlich ist.
Ein PI-Server, der eine benutzerdefinierte SailGP-Anwendung ausführt, empfängt von den Sensoren 1Hz, 5Hz und 10Hz Telemetriesignale, sendet diese an die Oracle Stream Analytics-Engine und lädt die Daten in Oracle Autonomous Data Warehouse. Der PI-Server wird während des Rennens sowohl für Streaming-Daten als auch für die Batchverarbeitung ausgelagerter Daten nach dem Rennen verwendet. Das Volumen der Batchdaten ist 10 Mal höher als das Volumen der Streamingdaten und wird in Oracle Cloud Infrastructure Object Storage geladen und dann in Oracle Autonomous Data Warehouse verarbeitet.
Media Data System Server (MDSS), der eine weitere benutzerdefinierte SailGP-Anwendung ausführt, empfängt 1Hz Telemetriesignale von den Sensoren, verarbeitet diese Daten mit einem MySQL-Server und lädt die verarbeiteten Daten schließlich in Oracle Autonomous Data Warehouse. Alle Nachrichten vom und zum MDSS-Server verwenden TCP/IP-Protokoll und ein proprietäres Format, das dann in das JSON-Format konvertiert wird.
Ein dritter Anwendungsserver, der eine benutzerdefinierte SailGP-Anwendung ausführt, wird zur Berechnung von Statistiken zu Zeitreihendaten verwendet, wie Datenaggregate.
Ein Oracle Stream Analytics-Server, der auf einem Oracle Cloud Marketplace-Image basiert, sammelt die ausgeladenen Daten aus dem Streaming-Service für Oracle Autonomous Data Warehouse. Die Anzahl der Themen wurde auf ca. 60 Partitionen angepasst. Die Durchsatzgrenzwerte wurden ebenfalls auf 1 Mbps zum Schreiben und 2 Mbps zum Lesen angepasst.
Jede Sekunde wird ein Oracle MySQL-Server verwendet, um eingehende Daten von Oracle Cloud Infrastructure in ein Oracle Autonomous Data Warehouse zu verarbeiten und zu replizieren.
Mit dem Oracle REST Data Services-Server, auch von einem Oracle Cloud Marketplace-Image, werden Daten aus Oracle Autonomous Data Warehouse den Medienpartnern von SailGP bereitgestellt.
Medienpartner verwenden dann Oracle REST Data Services über einen Oracle Flexible Load Balancer zur Anzeige in ihrem Broadcast. Beim Factoring in der Latenz dauert es etwa 3 Sekunden, bis die Daten vom SailGP-System zu seinen Medienpartnern abgerufen werden.
SailGP verwendet Oracle Flexible Load Balancer mit einem Bandbreitebereich von 10 Mbps - 400 Mbps und verwendet zusätzlich zu den Oracle Cloud Marketplace-Images E3 und E4 Flex-VM-Ausprägungen zur Bereitstellung verschiedener Komponenten.
Notifications- und Logging-Services helfen SailGP, zu wissen, wann die CPU- und RAM-Ressourcen der virtuellen Maschine (VM) skaliert werden sollen.
Aus Sicherheitsgründen verwendet SailGP Oracle Identity and Access Management-Policys, föderierten Zugriff mit Oracle Identity Cloud Service und Oracle Cloud Guard, um die Sicherheitsempfehlungen zu bewerten, die generiert werden, um die allgemeine Sicherheitslage von SailGP zu verbessern. Eine Oracle Network Security Group (NSG) stellt eine virtuelle Firewall für einige virtuelle Maschinen (VMs) bereit, um die Sicherheit noch besser zu erhöhen. Administratoren und andere autorisierte Benutzer können VMs öffnen, um bei Bedarf eine Verbindung zum Produktionssystem von SailGP herzustellen.
Das gesamte Deployment von SailGP verwendet ein Compartment mit einem Oracle Flexible Load Balancer in einem öffentlichen Subnetz, während die restlichen Komponenten in einem privaten Subnetz leben.
Zukünftige Pläne zum Erweitern des SailGP-Footprint auf Oracle Cloud Infrastructure gehören die Integration von Grafana 8, maschinellem Lernen, APEX und Vorhersageanalyseservices für Sensorfehler und Anomalien beim Anhängen.

Das folgende Diagramm veranschaulicht diese Referenzarchitektur.

Beschreibung der Abbildung Segelgp-oci.png

segp-oci-oracle.zip

Die Architektur umfasst folgende Komponenten:

Region
Eine Oracle Cloud Infrastructure-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Center, sogenannte Availability-Domains, enthält. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können sie (über Länder oder sogar Kontinente) trennen.

Alle Ressourcen in dieser Architektur werden in einer einzelnen Region bereitgestellt.
Mandant
Ein Mandant ist eine sichere und isolierte Partition, die Oracle bei der Registrierung für Oracle Cloud Infrastructure in Oracle Cloud einrichtet. Sie können Ihre Ressourcen in Oracle Cloud innerhalb Ihres Mandanten erstellen, organisieren und verwalten.
Availability-Domains
Availability-Domains sind eigenständige, unabhängige Data Center in einer Region. Die physischen Ressourcen in jeder Availability-Domain sind von den Ressourcen in den anderen Availability-Domains isoliert, was eine Fehlertoleranz bietet. Availability-Domains haben keine gemeinsame Infrastruktur wie Stromversorgung oder Kühlung oder das interne Availability-Domainnetzwerk. Daher ist es wahrscheinlich, dass sich ein Fehler in einer Availability-Domain auf die anderen Availability-Domains in der Region auswirkt.

Alle Ressourcen in dieser Architektur werden in einer einzelnen Availability-Domain bereitgestellt.
Faultdomain
Eine Fehlerdomain ist eine Gruppierung aus Hardware und Infrastruktur innerhalb einer Availability-Domain. Jede Availability-Domain hat drei Faultdomains mit unabhängiger Stromversorgung und Hardware. Wenn Sie Ressourcen auf mehrere Faultdomains verteilen, können Ihre Anwendungen physische Serverfehler, Systemwartung und Stromausfälle innerhalb einer Faultdomain tolerieren.
Compartment
Compartments sind regionsübergreifende logische Partitionen in einem Oracle Cloud Infrastructure-Mandanten. Mit Compartments können Sie Ihre Ressourcen in Oracle Cloud organisieren, den Zugriff auf die Ressourcen kontrollieren und Nutzungsquoten festlegen. Um den Zugriff auf die Ressourcen in einem bestimmten Compartment zu kontrollieren, definieren Sie Policys, die angeben, wer auf die Ressourcen zugreifen kann und welche Aktionen sie ausführen können.
Virtuelles Cloud-Netzwerk (VCN) und Subnetze
Ein VCN ist ein anpassbares, softwaredefiniertes Netzwerk, das Sie in einer Oracle Cloud Infrastructure-Region einrichten. Wie bei herkömmlichen Data Center-Netzwerken erhalten VCNs vollständige Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere nicht überlappende CIDR-Blöcke haben, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die für eine Region oder eine Availability-Domain gelten können. Jedes Subnetz besteht aus einem fortlaufenden Adressbereich, der sich nicht mit den anderen Subnetzen im VCN überschneidet. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.
Sicherheitsliste
Für jedes Subnetz können Sie Sicherheitsregeln erstellen, die Quelle, Ziel und Typ des Traffics angeben, der im Subnetz und aus dem Subnetz zugelassen werden muss.
Cloud Guard
Mit Oracle Cloud Guard können Sie die Sicherheit Ihrer Ressourcen in Oracle Cloud Infrastructure überwachen und verwalten. Cloud Guard verwendet Rezepte, die Sie definieren können, um Ihre Ressourcen auf Sicherheitsschwächen zu untersuchen und Operatoren und Benutzer auf riskante Aktivitäten zu überwachen. Wenn eine fehlerhafte oder unsichere Aktivität ermittelt wird, empfiehlt Cloud Guard Korrekturmaßnahmen und unterstützt die Ausführung dieser Aktionen auf der Grundlage der Responderrezepte, die Sie definieren können.
Dynamisches Routinggateway (DRG)
Das DRG ist ein virtueller Router, der einen Pfad für privaten Netzwerktraffic zwischen einem VCN und einem Netzwerk außerhalb der Region bereitstellt, wie z.B. ein VCN in einer anderen Oracle Cloud Infrastructure-Region, ein On-Premise-Netzwerk oder ein Netzwerk in einem anderen Cloudprovider.
Internetgateway
Das Internetgateway ermöglicht Traffic zwischen den öffentlichen Subnetzen in einem VCN und dem öffentlichen Internet.
FastConnect
Oracle Cloud Infrastructure FastConnect bietet eine einfache Möglichkeit, eine dedizierte, private Verbindung zwischen Ihrem Data Center und Oracle Cloud Infrastructure zu erstellen. FastConnect bietet im Vergleich zu internetbasierten Verbindungen eine höhere Bandbreite an Optionen und eine zuverlässigere Netzwerkerfahrung.
Load Balancer
Der Oracle Cloud Infrastructure Load Balancing-Service ermöglicht automatisierte Trafficverteilung von einem einzelnen Einstiegspunkt auf mehrere Server im Backend.
Objektspeicher
Object Storage bietet schnellen Zugriff auf große Mengen strukturierter und unstrukturierter Daten eines beliebigen Inhaltstyps, einschließlich Datenbankbackups, Analysedaten und umfangreicher Inhalte wie Bilder und Videos. Sie können Daten sicher speichern und dann direkt aus dem Internet oder aus der Cloud-Plattform abrufen. Sie können den Speicher nahtlos skalieren, ohne dass es zu einer Beeinträchtigung der Performance oder Servicezuverlässigkeit kommt. Verwenden Sie den Standardspeicher für "heiße" Speicher, auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "kalten" Speicher, den Sie über lange Zeiträume beibehalten und selten oder nur selten zugreifen.
Berechnen
Mit dem Oracle Cloud Infrastructure Compute-Service können Sie Compute-Hosts in der Cloud bereitstellen und verwalten. Sie können Compute-Instanzen mit Ausprägungen starten, die Ihren Ressourcenanforderungen für CPU, Arbeitsspeicher, Netzwerkbandbreite und Speicher entsprechen. Nachdem Sie eine Compute-Instanz erstellt haben, können Sie sicher darauf zugreifen, sie neu starten, Volumes anhängen und trennen und bei Bedarf beenden.
GoldenGate
Oracle Cloud Infrastructure GoldenGate ist ein vollständig verwalteter Service, mit dem Daten von Quellen, die sich vor Ort oder in jeder Cloud befinden, erfasst werden können. Dabei wird die GoldenGate CDC-Technologie für eine nicht aufdringliche und effiziente Erfassung von Daten und die Bereitstellung an Oracle Autonomous Data Warehouse in Echtzeit und skalierbar genutzt, um den Verbrauchern relevante Informationen so schnell wie möglich zur Verfügung zu stellen.
Autonomous Data Warehouse
Oracle Autonomous Data Warehouse ist ein selbststeuernder, selbstsichernder, selbstreparierender Datenbankservice, der für Data Warehousing-Workloads optimiert ist. Sie müssen keine Hardware konfigurieren oder verwalten und keine Software installieren. Oracle Cloud Infrastructure behandelt das Erstellen der Datenbank sowie das Backup, Patching, Upgrade und Tuning der Datenbank.

Mehr anzeigen

Erfahren Sie mehr über die Features dieser Architektur.