Permita el análisis del sector de servicios financieros con DataSynapse GridServer en Oracle Cloud Infrastructure
Los bancos y las organizaciones de servicios financieros están recurriendo rápidamente a la nube para desplegar sus análisis financieros esenciales, lo que a menudo requiere recursos informáticos de alto rendimiento (HPC) que no están disponibles internamente. El aumento de la competencia y las regulaciones están provocando que más empresas busquen la nube para sus crecientes cargas de trabajo de análisis financieros.
Oracle Cloud Infrastructure (OCI) proporciona una completa infraestructura en la nube de segunda generación que permite a los bancos y las organizaciones de servicios financieros desplegar rápidamente la nube para realizar análisis financieros. Oracle tiene una amplia experiencia en la gestión y el análisis de datos de clientes, lo que les permite proporcionar estos recursos en su infraestructura en la nube.
DataSynapse GridServer, un producto de software de TIBCO, es una infraestructura de software altamente escalable que permite que los servicios de aplicaciones funcionen de manera virtualizada, sin asociar estos servicios a ningún recurso de hardware específico. GridServer aprovisiona dinámicamente las solicitudes de servicio a los recursos de hardware disponibles de forma altamente escalable mediante la capacidad de procesar fácilmente varias solicitudes.
Arquitectura
GridServer se ha probado en una variedad de clusters de HPC en OCI, formados por varias unidades de instancia informática, incluidas las máquinas virtuales (VM) y con hardware dedicado. Estos clusters se han instanciado mediante una pila de HPC en el gestor de recursos de OCI, que utiliza una plantilla de terraform que contiene las partes que convierten una recopilación de instancias en un cluster de HPC funcional. La pila puede agregar volúmenes de recursos compartidos de archivos de red (NFS), volúmenes en bloque adicionales u otro sistema de archivos (como el servicio OCI File Storage). Después de crear los clusters de HPC de prueba, se instaló GridServer siguiendo las instrucciones de instalación del software.
Los clusters probados se basan en la siguiente arquitectura.
datasynapse-gridserver-oci-architecture.zip
La arquitectura tiene los siguientes componentes:
- Región
Una región de Oracle Cloud Infrastructure es un área geográfica localizada que contiene uno o más centros de datos, denominados dominios de disponibilidad. Las regiones son independientes de otras regiones, y las grandes distancias pueden separarlas (entre países e incluso continentes).
- dominios de disponibilidad
Los dominios de disponibilidad son centros de datos independientes dentro de una región. Los recursos físicos de cada dominio de disponibilidad están aislados de los recursos de los otros dominios de disponibilidad, lo que proporciona tolerancia a fallos. Los dominios de disponibilidad no comparten infraestructura, como la alimentación o la refrigeración, ni la red interna del dominio de disponibilidad. Por lo tanto, es improbable que un fallo en un dominio de disponibilidad afecte a los otros dominios de la región.
- Red virtual en la nube (VCN) y subredes
Una VCN es una red definida por software y personalizable que se configura en una región de Oracle Cloud Infrastructure. Al igual que las redes de los centros de datos tradicionales, las redes virtuales le proporcionan un control completo de su entorno de red. Una VCN puede tener varios bloques de CIDR no superpuestos que puede cambiar después de crear la VCN. Puede segmentar una VCN en subredes, las cuales se pueden acotar a una región o a un dominio de disponibilidad. Cada subred está formada por un rango contiguo de direcciones que no se solapan con las demás subredes de la VCN. Puede cambiar el tamaño de una subred después de la creación. Una subred puede ser pública o privada.
- Gateway de enrutamiento dinámico (DRG)
El DRG es un enrutador virtual que proporciona una ruta para el tráfico de red privada entre las redes virtuales de la misma región, entre una VCN y una red fuera de la región, como una VCN de otra región de Oracle Cloud Infrastructure, una red local o una red de otro proveedor en la nube.
- VPN de sitio a sitio
La VPN de sitio a sitio proporciona conectividad VPN IPSec entre la red local y las redes virtuales en Oracle Cloud Infrastructure. El conjunto de protocolos IPSec cifra el tráfico IP antes de transferir los paquetes del origen al destino y descifra el tráfico cuando llega.
- Red local
Esta red es la red local que utiliza su organización. Es uno de los radios de la topología.
- Host bastión
El host bastión es una instancia informática que sirve como punto de entrada seguro y controlado a la topología desde fuera de la nube. El host de bastión se aprovisiona, por ejemplo, en una zona desmilitarizada (DMZ). Le permite proteger los recursos sensibles, colocándolos en redes privadas a las que no se puede acceder directamente desde fuera de la nube. La topología tiene un único punto de entrada conocido que puede supervisar y auditar con regularidad. Por lo tanto, puede evitar exponer los componentes más sensibles de la topología sin comprometer el acceso.
- Tabla de ruta
Las tablas de rutas virtuales contienen reglas para enrutar el tráfico desde subredes hasta destinos fuera de una VCN, normalmente a través de gateways.
- Lista de Seguridad
Para cada subred, puede crear reglas de seguridad que especifiquen el origen, el destino y el tipo de tráfico que se debe permitir dentro y fuera de la subred.
- Volumen en bloque
Con los volúmenes de almacenamiento en bloque, puede crear, asociar, conectar y mover los volúmenes de almacenamiento, así como cambiar el rendimiento de los mismos para que se ajusten a los requisitos de almacenamiento, rendimiento y aplicación. Después de asociar y conectar un volumen a una instancia, puede utilizar el volumen como si se tratara de una unidad de disco duro normal. También puede conectar un volumen y asociarlo a otra instancia sin perder datos.
- Identity and Access Management (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) es el plano de control de acceso para Oracle Cloud Infrastructure (OCI) y Oracle Cloud Applications. La API de IAM y la interfaz de usuario le permiten gestionar los dominios de identidad y los recursos del dominio de identidad. Cada dominio de identidad de OCI IAM representa una solución de gestión de identidad y acceso independiente o un grupo de usuarios diferente.
- Object Storage
El almacenamiento de objetos proporciona acceso rápido a grandes cantidades de datos estructurados y no estructurados de cualquier tipo de contenido, incluidas copias de seguridad de base de datos, datos analíticos y contenido enriquecido, como imágenes y vídeos. Puede almacenar datos de forma segura y, a continuación, recuperarlos directamente desde Internet o desde la plataforma en la nube. Puede ampliar el almacenamiento sin problemas sin experimentar ninguna degradación del rendimiento ni de la fiabilidad del servicio. Utilice el almacenamiento estándar para el almacenamiento de acceso rápido al que debe acceder de forma rápida, inmediata y frecuente. Utilice el almacenamiento de archivo para el almacenamiento en frío que conserva durante largos períodos de tiempo y a los que rara vez accede.
Después de crear los clusters GridServer, las referencias se realizaron utilizando un caso de los ejemplos de Stata de la biblioteca OpenGamma. Las pruebas iniciales indicaron que la mejor combinación de rendimiento y precio de rendimiento se obtuvo colocando al director GridServer, intermediario(s) y cliente(s) en una única instancia orientada al público, con motores en instancias informáticas independientes. Tanto las unidades BM como las de máquina virtual se han probado para la instancia de director, agente y cliente de GridServer sin diferencias de rendimiento observadas. En la siguiente tabla se proporciona una descripción de los clusters probados.
| Unidad de motor | Motores por nodo | Nodos del motor | Total de Sistemas |
|---|---|---|---|
| BM.Optimized3.36 | 36,72* | 4-64 | 4608 |
| BM.Standard.E4.128 | 256* | 4-8 | 2048 |
| BM.Standard2.52 | 52* | 4-8 | 416 |
| VM.Standard.E4.Flex | 128* | 4-8 | 1024 |
El hyperthreading se activó o desactivó en algunos de los sistemas durante las pruebas. Los resultados obtenidos con Hyperthreading activado se indican con un asterisco (*). En OCI, un núcleo físico se designa como OCPU. Por defecto, GridServer configura un único motor por núcleo. Cuando Hyperthreading está activado, GridServer asigna un motor a cada uno de los dos threads del núcleo, duplicando el número de motores disponibles por nodo. La unidad de máquina virtual, VM.Standard.E4.Flex, se puede configurar con un número variable de OCPU. Para nuestras pruebas, configuramos cada una de las unidades con 64 OCPU (128 motores en total con Hyperthreading activado).
Nuestras pruebas utilizaron GridServer para realizar 25.000 análisis únicos de OpenGamma, simulando una prueba de referencia típica de Monte Carlo. Hemos obtenido el tiempo transcurrido para cada una de las pruebas del resumen de trabajos de la consola GridServer. Realizamos las pruebas en cada uno de los grupos comenzando con el uso de cuatro motores para la simulación, luego duplicando el número de motores por prueba hasta que todos los nodos que ejecutan motores en el grupo se estaban utilizando. El siguiente gráfico muestra los resultados de la prueba en el cluster según varias instancias de unidades.
Aquí los resultados se muestran en evaluaciones por segundo, la velocidad en la que el cluster es capaz de realizar las evaluaciones de simulación Monte Carlo. Para cada referencia, este valor era simplemente el número total de simulaciones (25.000) dividido por el tiempo transcurrido de la simulación en segundos. En general, para cada uno de los clusters probados, el rendimiento se escaló casi linealmente con el número de motores utilizados. En términos de rendimiento relativo observado para lasdiversas formas de instancia, hubo una fuerte correlación entre elrendimiento del nodo y los números de núcleos por forma,indicando que el rendimiento del motor por núcleo era algo invariablea la forma. El cluster con unidades BM.Optmized3.36 se ha probado con Hyperthreading activado y desactivado. Las pruebas con otras formas mostraron el mismo efecto, prefiriéndose Hyperthreading y estos datos se dejaron fuera del gráfico para mayor claridad.
Si bien el rendimiento es un factor crítico en los análisis Monte Carlo a gran escala, el costo también es un factor. Hemos examinado esto para ver las pruebas anteriores representando el costo total de OCI en el gráfico siguiente (utilizando los precios publicados en el sitio web de Oracle).
Lo ideal es que el costo total de la simulación no varíe con el tamaño del cluster, pero las ineficiencias paralelas tienden a aumentar con el tamaño del cluster, lo que hace que aumente el costo de la simulación. Existe una suposición general para todas las prácticas comerciales de que hay una compensación en el precio a medida que el rendimiento mejora, y esto no es diferente. Nuestras pruebas OpenGamma muestran las unidades basadas en AMD EPYC (BM.Standard.E4.128, VM.Standard.E4.Flex) que ofrecen tanto el mejor rendimiento de nodo como el mejor rendimiento de precio. Animamos a los clientes a probar sus modelos financieros en OCI con una prueba gratuita de 30 días, ya que diferentes modelos pueden ser más adecuados para otras formas de HPC.