SailGP: despliegue de la plataforma de análisis de flujo en tiempo real en Oracle Cloud
En menos de 5 segundos, SailGP recopila y analiza más de 30,000 puntos de datos y flujos de métricas de carreras en tiempo real para ayudar a sus tripulaciones a navegar de manera defectuosa sus buques F50, y para conectarse con los miles de millones de fans del equipo en todo el mundo.
Para ayudar a mantener su dominio durante la temporada baja, SailGP está creando un simulador de formación con análisis de transmisión, aprendizaje automático, un almacén de datos autónomo y tecnologías de visualización de Oracle que se ejecutan en Oracle Cloud Infrastructure.
Arquitectura
A medida que los catamaranes de foiling F50 de SailGP compiten a lo largo de una temporada de múltiples grandios en todo el mundo, los sensores en casco capturan aproximadamente 30,000 puntos de datos únicos, transmitiendo a 70 kbps por barco.
Algunos de los puntos de datos incluyen la actitud del barco, la velocidad, el paso, el agua y las condiciones del viento, y la biometría del marinero. Las métricas de cada equipo se transmiten a los socios de medios de SailGP, se comparten a través de la aplicación del equipo, y disfrutan de los miles de millones de fans del equipo que desean acercarse a la acción. Los datos de los buques F50 se transfieren mediante conexiones por satélite a un Oracle Autonomous Data Warehouse (ADW) que se ejecuta en Oracle Cloud Infrastructure mediante un FastConnect dedicado con 1Gbps. Según la ubicación de una carrera, puede que el servicio FastConnect no esté disponible. En estos casos, las conexiones IPSec/VPN se sustituyen.
El flujo general incluye la recopilación de datos de yates F50 equipados con más de 100 sensores. Algunos de los F50s recopilan datos simples de sensores de presión, mientras que otros recopilan datos más complejos de giroscopios y GPS. Una vez recopilados, los datos se distribuyen a instancias informáticas para el procesamiento previo en el servidor del sistema de datos de medios (MDSS) y el servidor PI. A continuación, los datos se transforman de un formato propietario a un formato JSON y, a continuación, se envían a Oracle Stream Analytics, que procesa los datos y detecta los eventos relevantes. A continuación, los datos se envían a Oracle Autonomous Data Warehouse, que realiza análisis complejos y los pone a disposición de los partners de medios a través de Oracle REST Data Services.
Oracle Autonomous Data Warehouse también se utiliza para proporcionar datos del servidor MySQL de SailGP (principalmente se utiliza para aplicaciones y datos antiguos) con Oracle Cloud Infrastructure GoldenGate para replicación.
La arquitectura en la nube SailGPs incluye los siguientes componentes:
- Los sensores montados en F50s de SailGP recopilan datos localmente y transmiten un subconjunto de lo necesario para el análisis y la visualización en tiempo real durante la carrera.
- Un servidor PI, que ejecuta una aplicación personalizada SailGP, recibe señales de telemetría de 1Hz, 5Hz y 10Hz de los sensores, las envía al motor de Oracle Stream Analytics y carga los datos en Oracle Autonomous Data Warehouse. El servidor PI se utiliza para los datos de transmisión durante la carrera y el procesamiento por lotes de datos descargados después de la carrera. El volumen de datos por lotes es 10 veces superior al volumen de datos de transmisión y se carga en Oracle Cloud Infrastructure Object Storage y, a continuación, se procesa en Oracle Autonomous Data Warehouse.
- El servidor del sistema de datos de medios (MDSS), que ejecuta otra aplicación personalizada SailGP, recibe señales de telemetría de 1Hz de los sensores, procesa los datos mediante un servidor MySQL y, por último, carga los datos procesados en Oracle Autonomous Data Warehouse. Todos los mensajes del servidor MDSS utilizan el protocolo TCP/IP y un formato propietario que, a continuación, se convierte en formato JSON.
- Un tercer servidor de aplicaciones que ejecuta una aplicación personalizada SailGP se utiliza para calcular estadísticas sobre datos de series temporales, como agregados de datos.
- Un servidor de Oracle Stream Analytics, que se basa en una imagen de Oracle Cloud Marketplace, recopila los datos descargados del servicio de flujo para Oracle Autonomous Data Warehouse. El número de temas se ajustó a ~60 particiones. Los límites de rendimiento también se ajustaron a 1 Mbps para escritura y 2 Mbps para lectura.
- Cada segundo servidor de Oracle MySQL se utiliza para procesar y replicar datos entrantes de Oracle Cloud Infrastructure en un Oracle Autonomous Data Warehouse.
- El servidor de Oracle REST Data Services, también de una imagen de Oracle Cloud Marketplace, se utiliza para exponer los datos de Oracle Autonomous Data Warehouse a los partners de medios de SailGP.
- Los partners de medios usan Oracle REST Data Services a través de un equilibrador de carga flexible de Oracle para su visualización en su difusión. Factorización en la latencia, los datos tardan aproximadamente 3 segundos en llegar del sistema de SailGP a sus partners de medios.
- SailGP utiliza el equilibrador de carga flexible de Oracle con un rango de ancho de banda de 10 Mbps - 400 Mbps y utiliza unidades de computación de máquina virtual flexibles E3 y E4 además de las imágenes de Oracle Cloud Marketplace para desplegar diferentes componentes.
- Los servicios de notificaciones y registro ayudan a SailGP a saber cuándo escalar los recursos de CPU y RAM de su máquina virtual (VM).
- Por motivos de seguridad, SailGP utiliza políticas de Oracle Identity and Access Management, acceso federado con Oracle Identity Cloud Service y Oracle Cloud Guard para evaluar las recomendaciones de seguridad generadas para mejorar la postura de seguridad general de SailGP. Un grupo de seguridad de Oracle Network (NSG) proporciona un firewall virtual para algunas máquinas virtuales (VM) para proporcionar una seguridad aún mayor. Los administradores y otros usuarios autorizados pueden abrir máquinas virtuales para conectarse al sistema de producción de SailGP cuando sea necesario.
- Todo el despliegue de SailGP utiliza un compartimento con un equilibrador de carga flexible de Oracle en una subred pública, mientras que los demás componentes residen en una subred privada.
- Los planes futuros para ampliar la huella de SailGP en Oracle Cloud Infrastructure incluyen la integración de Grafana 8, aprendizaje automático, APEX y servicios de análisis predictivo para fallos de sensores y anomalías de agregación.
El siguiente diagrama ilustra esta arquitectura de referencia.
La arquitectura tiene los siguientes componentes:
- Región
Una región de Oracle Cloud Infrastructure es un área geográfica localizada que contiene uno o más centros de datos, denominados dominios de disponibilidad. Las regiones son independientes de otras regiones y las grandes distancias pueden separarlas (entre países e incluso continentes).
Todos los recursos de esta arquitectura se despliegan en una sola región.
- arrendamiento
Un arrendamiento es una partición segura y aislada que Oracle configura en Oracle Cloud al conectarse a Oracle Cloud Infrastructure. Puede crear, organizar y administrar sus recursos en Oracle Cloud en su arrendamiento.
- Dominios de disponibilidad
Los dominios de disponibilidad son centros de datos independientes e independientes dentro de una región. Los recursos físicos de cada dominio de disponibilidad están aislados de los recursos de los otros dominios de disponibilidad, lo que proporciona tolerancia a fallos. Los dominios de disponibilidad no comparten infraestructura, como alimentación o refrigeración, ni la red interna del dominio de disponibilidad. Por lo tanto, un fallo en un dominio de disponibilidad es poco probable que afecte a los otros dominios de disponibilidad de la región.
Todos los recursos de esta arquitectura se despliegan en un único dominio de disponibilidad.
- Dominio de errores
Un dominio de errores es una agrupación de hardware e infraestructura dentro de un dominio de disponibilidad. Cada dominio de disponibilidad tiene tres dominios de errores con alimentación y hardware independientes. Cuando distribuye recursos en varios dominios de errores, las aplicaciones pueden tolerar fallos del servidor físico, mantenimiento del sistema y fallos de alimentación dentro de un dominio de errores.
- Compartimento
Los compartimentos son particiones lógicas entre regiones dentro de un arrendamiento de Oracle Cloud Infrastructure. Utilice compartimentos para organizar los recursos en Oracle Cloud, controlar el acceso a los recursos y definir cuotas de uso. Para controlar el acceso a los recursos de un compartimento determinado, defina políticas que especifiquen quién puede acceder a los recursos y qué acciones puede realizar.
- Red virtual en la nube (VCN) y subredes
Una VCN es una red personalizable y definida por software que se configura en una región de Oracle Cloud Infrastructure. Al igual que las redes del centro de datos tradicionales, las VCN le proporcionan un control total de su entorno de red. Una VCN puede tener varios bloques CIDR no solapados que puede cambiar después de crear la VCN. Puede segmentar una VCN en subredes, que se pueden acotar a una región o a un dominio de disponibilidad. Cada subred consta de un rango de direcciones contiguas que no se solapan con las otras subredes de VCN. Puede cambiar el tamaño de una subred después de la creación. Una subred puede ser pública o privada.
- Lista de seguridad
Para cada subred, puede crear reglas de seguridad que especifiquen el origen, el destino y el tipo de tráfico que se debe permitir dentro y fuera de la subred.
- Cloud Guard
Puede utilizar Oracle Cloud Guard para supervisar y mantener la seguridad de los recursos en Oracle Cloud Infrastructure. Cloud Guard utiliza recetas de detector que puede definir para examinar los recursos en busca de puntos débiles de seguridad y para supervisar operadores y usuarios en busca de actividades de riesgo. Cuando se detecta cualquier configuración incorrecta o actividad insegura, Cloud Guard recomienda acciones correctivas y ayuda a realizar esas acciones, en función de las recetas de respuesta que puede definir.
- Gateway de enrutamiento dinámico (DRG)
El DRG es un enrutador virtual que proporciona una ruta de acceso para el tráfico de red privada entre una VCN y una red fuera de la región, como una VCN en otra región de Oracle Cloud Infrastructure, una red local o una red en otro proveedor de nube.
- Gateway de internet
El gateway de Internet permite el tráfico entre las subredes públicas de una VCN y la red pública de Internet.
- FastConnect
Oracle Cloud Infrastructure FastConnect proporciona una forma sencilla de crear una conexión privada dedicada entre el centro de datos y Oracle Cloud Infrastructure. FastConnect ofrece opciones de ancho de banda superior y una experiencia de red más fiable en comparación con las conexiones basadas en Internet.
- Equilibrador de carga
El servicio Oracle Cloud Infrastructure Load Balancing proporciona una distribución automatizada de tráfico desde un único punto de entrada a varios servidores del backend.
- Almacenamiento de objetos
El almacenamiento de objetos proporciona acceso rápido a grandes cantidades de datos estructurados y no estructurados de cualquier tipo de contenido, incluidas copias de seguridad de bases de datos, datos analíticos y contenido enriquecido, como imágenes y vídeos. Puede almacenar y, a continuación, recuperar los datos de manera segura directamente desde Internet o desde la plataforma en la nube. Puede escalar el almacenamiento sin problemas sin experimentar ninguna degradación en el rendimiento o la fiabilidad del servicio. Utilice el almacenamiento estándar para el almacenamiento "caliente" al que necesita acceder de forma rápida, inmediata y frecuente. Utilice el almacenamiento de archivos para el almacenamiento "en frío" que conserva durante largos períodos de tiempo y que rara vez tiene acceso.
- Recursos informáticos
El servicio Oracle Cloud Infrastructure Compute permite aprovisionar y gestionar hosts de recursos informáticos en la nube. Puede iniciar instancias informáticas con unidades que cumplan los requisitos de recursos para CPU, memoria, ancho de banda de red y almacenamiento. Después de crear una instancia informática, puede acceder a ella de forma segura, reiniciarla, asociar y desconectar volúmenes y finalizarla cuando ya no sea necesario.
- GoldenGate
Oracle Cloud Infrastructure GoldenGate es un servicio totalmente gestionado que permite la ingestión de datos de orígenes que residen on-premises o en cualquier nube, mediante la tecnología CDC GoldenGate para una captura no intrusiva y eficiente de datos y entrega a Oracle Autonomous Data Warehouse en tiempo real y a escala con el fin de poner la información relevante a disposición de los consumidores lo antes posible.
- Autonomous Data Warehouse
Oracle Autonomous Data Warehouse es un servicio de base de datos de autogestión, autoprotección y autorreparación que se optimiza para las cargas de trabajo de almacenes de datos. No es necesario configurar ni gestionar ningún hardware, o instalar ningún software. Oracle Cloud Infrastructure gestiona la creación de la base de datos, así como la copia de seguridad, la aplicación de parches, la actualización y el ajuste de la base de datos.