Implante una arquitectura de análisis de datos multinube en tiempo real en todas las regiones

Las organizaciones suelen querer aprovechar las plataformas de análisis existentes para todos sus requisitos de análisis de datos en lo que respecta a la nube.

Esta solución multinube describe una arquitectura de análisis de datos basada en el cliente con la aplicación Oracle E-Business Suite en Oracle Cloud Infrastructure (OCI) en EE. UU., mientras que los datos de Oracle E-Business Suite se replican en Microsoft Azure in Europe for Azure Synapse Analytics casi en tiempo real.

Las herramientas de análisis y los orígenes de datos están conectados por una red privada dedicada para proporcionar una baja latencia y un gran ancho de banda para la replicación de datos. Oracle Cloud Infrastructure GoldenGate (OCI GoldenGate) se utiliza para la replicación de datos. Los requisitos de los clientes se abordaron con una solución de análisis de datos multinube mediante:

  • Migración de Oracle Database local a Oracle Base Database Service, que ofrece las ventajas de un tiempo de actividad, rendimiento, escalabilidad, seguridad y productividad máximos de la base de datos.
  • Mantener la pila de análisis en Microsoft Azure, por lo que se elimina la necesidad de realizar cambios significativos en las configuraciones/integraciones para los consumidores descendentes.
  • Uso de OCI GoldenGate para replicar los datos de cambio de Oracle Database a Azure Data Lake Gen2 y Azure Synapse en tiempo real.

Arquitectura

Esta arquitectura de referencia muestra cómo puede activar la conectividad privada de baja latencia entre las herramientas de análisis de datos en una región de Microsoft Azure y el recurso de datos en una región de OCI remota.

Un partner FastConnect conecta Azure ExpressRoute y Oracle Cloud Infrastructure FastConnect para unirse a las dos redes remotas en la nube. La red virtual (VNet) en el tráfico de Microsoft Azure atraviesa la interconexión privada a la red virtual en la nube (VCN) en OCI.

La base de datos de producción de Oracle E-Business Suite se despliega en Oracle Base Database Service como ejemplo. La solución se aplica a Oracle Autonomous Database y Exadata Database Service como base de datos backend.

Como el origen es Oracle Database y el destino es Azure Synapse/Azure Data Lake Storage Gen 2, la replicación de OCI GoldenGate se despliega en una subred independiente con los dos despliegues siguientes:
  1. Despliegue de Oracle para capturar datos de la base de datos de Oracle E-Business Suite.
  2. Despliegue de Big Data para aplicar los datos capturados de la base de datos de Oracle E-Business Suite a Azure Synapse.
OCI GoldenGate captura datos de Oracle Database y los replica en Azure Data Lake Gen2 y Azure Synapse casi en tiempo real a través de FastConnect. La replicación GoldenGate de OCI a Synapse utiliza el flujo de datos de fusión y etapa. Los datos de cambio se almacenan en una ubicación temporal, es decir, Azure Data Lake Storage Gen 2 en microlotes y, finalmente, se fusionan en la tabla de destino de sinapsis.

En el siguiente diagrama se ilustra esta arquitectura de referencia.



oci-multicloud-db-analytics-azure-arch-oracle.zip

La arquitectura tiene los siguientes componentes:

Componentes de Oracle Cloud Infrastructure

  • Autonomous Transaction Processing

    Oracle Autonomous Transaction Processing es un servicio de base de datos autogestionado, autoprotegido y autoreparable que está optimizado para las cargas de trabajo de procesamiento de transacciones. No necesita configurar ni gestionar ningún hardware, ni instalar ningún software. Oracle Cloud Infrastructure gestiona la creación de la base de datos, así como la realización de copias de seguridad, la aplicación de parches, la actualización y el ajuste de la base de datos.

  • FastConnect

    Oracle Cloud Infrastructure FastConnect proporciona una forma sencilla de crear una conexión dedicada y privada entre el centro de datos y Oracle Cloud Infrastructure. FastConnect proporciona opciones de mayor ancho de banda y una experiencia de red más fiable en comparación con las conexiones basadas en Internet.

  • Dominio de disponibilidad

    Los dominios de disponibilidad son centros de datos independientes dentro de una región. Los recursos físicos de cada dominio de disponibilidad están aislados de los recursos de los otros dominios de disponibilidad, lo que proporciona tolerancia a fallos. Los dominios de disponibilidad no comparten infraestructura, como la alimentación o la refrigeración, ni la red interna del dominio de disponibilidad. Por lo tanto, es improbable que un fallo en un dominio de disponibilidad afecte a los otros dominios de la región.

  • Red virtual en la nube (VCN) y subred

    Una VCN es una red definida por software y personalizable que se configura en una región de Oracle Cloud Infrastructure. Al igual que las redes de los centros de datos tradicionales, las redes virtuales le proporcionan un control completo de su entorno de red. Una VCN puede tener varios bloques de CIDR no superpuestos que puede cambiar después de crear la VCN. Puede segmentar una VCN en subredes, las cuales se pueden acotar a una región o a un dominio de disponibilidad. Cada subred está formada por un rango contiguo de direcciones que no se solapan con las demás subredes de la VCN. Puede cambiar el tamaño de una subred después de la creación. Una subred puede ser pública o privada.

  • Lista de Seguridad

    Para cada subred, puede crear reglas de seguridad que especifiquen el origen, el destino y el tipo de tráfico que se debe permitir dentro y fuera de la subred.

  • Tabla de ruta

    Las tablas de rutas virtuales contienen reglas para enrutar el tráfico desde subredes hasta destinos fuera de una VCN, normalmente a través de gateways.

  • Gateway de enrutamiento dinámico (DRG)

    El DRG es un enrutador virtual que proporciona una ruta para el tráfico de red privada entre las redes virtuales de la misma región, entre una VCN y una red fuera de la región, como una VCN de otra región de Oracle Cloud Infrastructure, una red local o una red de otro proveedor en la nube.

  • Oracle Cloud Infrastructure GoldenGate

    Oracle Cloud Infrastructure GoldenGate es un servicio totalmente gestionado que permite la ingestión de datos desde orígenes que residen on-premises o en cualquier nube, aprovechando la tecnología CDC GoldenGate para una captura de datos y entrega no intrusiva y eficiente a Oracle Autonomous Data Warehouse en tiempo real y a escala para que la información relevante esté disponible para los consumidores lo más rápido posible.

Componentes de Microsoft Azure
  • Red virtual (VNet) y subred

    Una VNet es una red virtual que se define en Azure. Un VNet puede tener varias subredes de bloques CIDR no superpuestas que puede agregar después de crear el VNet. Puede segmentar VNet en subredes, que se puede acotar a una región o a una zona de disponibilidad. Cada subred consta de un rango contiguo de direcciones que no se solapan con las demás subredes de VNet. Utilice VNet para aislar los recursos de Microsoft Azure lógicamente en el nivel de red.

  • ExpressRoute

    Azure ExpressRoute le permite configurar una conexión privada entre VNet y otra red, como su red local o una red en otro proveedor de nube. ExpressRoute es una alternativa más fiable y rápida a las conexiones de Internet típicas, porque el tráfico a través de ExpressRoute no atraviesa la red pública de Internet.

  • Gateway de red virtual

    Un gateway de red virtual permite el tráfico entre Azure VNet y una red externa a Azure, ya sea a través de la red pública de Internet o mediante ExpressRoute, según el tipo de gateway que especifique.

  • Tabla de ruta

    Las tablas de rutas dirigen el tráfico entre subredes de Azure, VNets y redes fuera de Azure.

  • Grupo de seguridad de red

    Un grupo de seguridad de red contiene reglas para controlar el tráfico de red entre los recursos de Azure en VNet. Cada regla especifica el origen o destino, el puerto, el protocolo y la dirección del tráfico de red permitido o denegado.

  • Azure Synapse Analytics

    Azure Synapse Analytics es un servicio de análisis que combina la integración de datos, el almacenamiento de datos empresariales y el análisis de big data. Permite consultar datos de los términos, mediante opciones sin servidor o dedicadas, a escala. Azure Synapse combina estos conceptos con una experiencia unificada para ingerir, explorar, preparar, transformar, gestionar y servir datos para necesidades inmediatas de BI y aprendizaje automático.

  • Azure Data Lake Storage Gen2

    Azure Data Lake Storage Gen2 es un conjunto de capacidades dedicadas al análisis de big data, basado en Azure Blob Storage. Data Lake Storage Gen2 convierte las capacidades de Azure Data Lake Storage Gen1 con Azure Blob Storage. Por ejemplo, Data Lake Storage Gen2 proporciona semántica del sistema de archivos, seguridad a nivel de archivo y escala. Dado que estas capacidades se basan en el almacenamiento Blob, también obtiene un almacenamiento por niveles de bajo costo con alta disponibilidad y capacidades de recuperación ante desastres.

Recomendaciones

Utilice las siguientes recomendaciones como punto de partida. Los requisitos pueden ser diferentes de la arquitectura descrita aquí.
  • Aprovisionamiento

    Elija el tamaño adecuado de los circuitos virtuales Oracle Cloud Infrastructure FastConnect y Azure ExpressRoute para soportar el ancho de banda necesario para la carga de trabajo.

    Aprovisione Oracle Database mediante la red virtual en la nube (VCN)/subred de OCI conectada al gateway de direccionamiento dinámico (DRG) de OCI y FastConnect de OCI.

    Configure el enrutamiento y el grupo de seguridad de red (NSG) en OCI para permitir el tráfico de red de Azure Synapse Analytics a Oracle Database.

    Para Oracle Cloud Database en un punto final privado, especifique la configuración de la VCN para permitir el tráfico solo desde la VCN especificada. Esto bloquea el acceso a la base de datos desde todas las IP públicas o las VCN.

Consideraciones

Tenga en cuenta los siguientes puntos al desplegar esta arquitectura de referencia.

  • Costo

    Oracle Cloud Infrastructure FastConnect: el costo de FastConnect es el mismo en todas las regiones de Oracle Cloud Infrastructure. No hay ningún cargo por datos de entrada o salida por separado.

    Azure ExpressRoute: el costo de Azure ExpressRoute varía de una región a otra. Azure tiene más de un SKU disponible para una ruta rápida; Oracle recomienda usar la configuración local, ya que no tiene cargos de entrada o salida independientes, y comienza con el ancho de banda mínimo de 1 Gbps. Las configuraciones Standard y Premium ofrecen menor ancho de banda, pero generan cargos de salida independientes en una configuración medida.

    La escala automática de Oracle CPU (OCPU) en Oracle Autonomous Transaction Processing permite gestionar las cargas de trabajo máximas cuando es necesario, además de reducir los costos de licencia en gran medida como resultado.

  • Rendimiento

    Para el caso de uso del cliente en esta arquitectura de referencia, el requisito era casi en tiempo real la replicación de datos desde la base de datos primaria en OCI hasta los puntos finales de Azure. Con la ayuda de OCI GoldenGate, los depósitos de big data heterogéneos y multinube del cliente siempre estaban actualizados con datos en tiempo real de sus sistemas de producción operativos y analíticos que permiten el análisis en tiempo real.

  • Red

    La interconexión de Oracle para Microsoft Azure también se puede utilizar como solución de red alternativa. La interconexión de Oracle para Microsoft Azure solo está disponible en regiones emparejadas específicas de Azure-OCI. Para obtener más información, consulte Obtenga información sobre las regiones de Azure y OCI que admiten OracleDB para Azure en la sección Explorar más.

    Si las regiones de OCI y Azure no soportan la interconexión de Oracle para Microsoft Azure, puede utilizar la columna vertebral de cada proveedor en la nube (OCI y Azure) para transportar el tráfico. Si utiliza el eje central de OCI, debe crear una región intermediaria que incluya la región disponible de Oracle Interconnect for Microsoft Azure dentro de OCI y la conexión de intercambio de tráfico remoto (RPC) a la región que no soporta Oracle Interconnect for Microsoft Azure.

    Nota:

    Si utiliza el eje central de OCI con RPC en un diseño, debe utilizar el enrutamiento personalizado en el nivel de gateway de direccionamiento dinámico (DRG) para enrutar el tráfico de la región intermedia a la otra región, que no incluye la región elegible de interconexión. Para utilizar el eje central de Azure, considere los SKU ExpressRoute locales, estándar y premium para asegurarse de tener los SKU adecuados para conectar las dos regiones dentro de Azure. También puede considerar el uso del proveedor FastConnect con servicios de capa tres como el enrutador en la nube Megaport.

Acuses de recibo

  • Author: Shrinidhi Kulkarni
  • Contributors: Wei Han, Atefeh Yousefi Attaei