Despliegue un pipeline de análisis multinube con Microsoft Azure Synapse y Oracle Autonomous Database

Un despliegue en la nube es un reflejo del entorno de TI heterogéneo de las empresas. Las empresas desean optimizar el rendimiento de costos y utilizar los mejores servicios al migrar a la nube. Un pipeline de análisis de datos de pila dividida multinube satisface las necesidades de la empresa conectando directamente Azure Synapse Analytics a Oracle Autonomous Database on Shared Exadata Infrastructure mediante una interconexión para obtener información empresarial en tiempo real.

Esta arquitectura utiliza el tiempo de ejecución de integración (IR) de Azure para crear un punto final privado para Azure Synapse Analytics. El tráfico de Synapse se enruta a través de la interconexión de Oracle para Azure privada al punto final privado de Oracle Autonomous Database on Shared Exadata Infrastructure en OCI.

Las siguientes son algunas de las ventajas:
  • El pipeline de análisis de datos multinube ofrece estadísticas empresariales en tiempo real
  • Oracle Autonomous Database proporciona un servicio gestionado basado en aprendizaje automático con un costo total de propiedad reducido
  • Oracle Interconnect for Azure proporciona una conexión de red privada dedicada, de gran ancho de banda y baja latencia
  • Azure Synapse Analytics reúne integración de datos, almacenamiento de datos empresariales y análisis de big data

Arquitectura

Esta arquitectura muestra un despliegue multinube típico con Oracle E-Business Suite en Oracle Cloud Infrastructure (OCI) y Azure Synapse Analytics en Microsoft Azure.

La pila completa de Oracle E-Business Suite se despliega en OCI. Los datos de producción de Oracle E-Business Suite se replican en Oracle Autonomous Data Warehouse en tiempo real mediante Oracle Cloud Infrastructure GoldenGate. Azure Synapse Analytics accede al almacén de datos directamente a través de Oracle Interconnect for Azure. Oracle Interconnect for Azure proporciona una conexión dedicada, de gran ancho de banda y baja latencia entre Azure y OCI.

En el siguiente diagrama se ilustra esta arquitectura de referencia.

A continuación se muestra la descripción de multicloud-data-analytics-pipeline-azure.png
Descripción de la ilustración multicloud-data-analytics-pipeline-azure.png

multinube-datos-análisis-pipeline-azure-oracle.zip

Las aplicaciones y los usuarios locales se conectan a ambas nubes mediante VPN o una conexión dedicada, como Oracle Cloud Infrastructure FastConnect o Azure ExpressRoute.

La interconexión privada entre OCI y Azure utiliza una IP o punto final privado para enrutar el tráfico. Autonomous Database con punto final privado se despliega en una región de OCI con interconexión con Azure. Azure Synapse Analytics es una oferta de plataforma como servicio (PaaS) que no tiene un punto final privado para bases de datos Oracle. El VNet gestionado de Azure no se puede asociar a Azure Synapse Analytics que se ejecuta en sí mismo. Sin embargo, Azure ofrece tiempo de ejecución de integración (IR) autoalojado que puede desplegar en una máquina virtual (VM) y un puente entre Oracle Autonomous Database y Azure Synapse Analytics.

El host de tiempo de ejecución de integración autoalojado tiene una limitación del ancho de banda de red que puede no ser suficiente para transferir un gran volumen de datos de la base de datos autónoma a Azure Synapse Analytics en la ventana necesaria. Recomendamos desplegar varios IR para una alta disponibilidad.

La arquitectura tiene los siguientes componentes en OCI:

  • Región

    Una región de Oracle Cloud Infrastructure es un área geográfica localizada que contiene uno o más centros de datos, denominados dominios de disponibilidad. Las regiones son independientes de otras regiones, y grandes distancias pueden separarlas (entre países o incluso continentes).

  • dominios de disponibilidad

    Los dominios de disponibilidad son centros de datos independientes dentro de una región. Los recursos físicos de cada dominio de disponibilidad están aislados de los recursos de los otros dominios de disponibilidad, lo que proporciona tolerancia a fallos. Los dominios de disponibilidad no comparten infraestructura, como la alimentación o la refrigeración, ni la red interna del dominio de disponibilidad. Por lo tanto, es improbable que un fallo en un dominio de disponibilidad afecte a los otros dominios de la región.

  • Red virtual en la nube (VCN) y subredes

    Una VCN es una red personalizable y definida por software que se configura en una región de Oracle Cloud Infrastructure. Al igual que las redes de los centros de datos tradicionales, las redes virtuales le proporcionan un control completo de su entorno de red. Una VCN puede tener varios bloques de CIDR no superpuestos que puede cambiar después de crear la VCN. Puede segmentar una VCN en subredes, las cuales se pueden acotar a una región o a un dominio de disponibilidad. Cada subred está formada por un rango contiguo de direcciones que no se solapan con las demás subredes de la VCN. Puede cambiar el tamaño de una subred después de la creación. Una subred puede ser pública o privada.

  • Servicio de Bastion

    Oracle Cloud Infrastructure Bastion proporciona acceso seguro restringido y limitado en el tiempo a recursos que no tienen puntos finales públicos y que requieren estrictos controles de acceso a recursos, como máquinas virtuales y con hardware dedicado, Oracle MySQL Database Service, Autonomous Transaction Processing (ATP), Oracle Container Engine for Kubernetes (OKE) y cualquier otro recurso que permita el acceso al protocolo de shell seguro (SSH). Con el servicio Oracle Cloud Infrastructure Bastion, puede activar el acceso a hosts privados sin desplegar y mantener un host de salto. Además, obtiene una estrategia de seguridad mejorada con permisos basados en identidad y una sesión SSH centralizada, auditada y con límite de tiempo. Oracle Cloud Infrastructure Bastion elimina la necesidad de una IP pública para el acceso bastión, lo que elimina la molestia y la posible superficie de ataque al proporcionar acceso remoto.

  • Equilibrador de carga

    El servicio Oracle Cloud Infrastructure Load Balancing proporciona una distribución automatizada del tráfico desde un único punto de entrada a varios servidores en el backend.

  • Oracle E-Business Suite

    Oracle E-Business Suite es un conjunto de aplicaciones de negocio integradas que permiten a las organizaciones tomar mejores decisiones, reducir costos y aumentar el rendimiento. Los productos ofrecen soluciones para la gestión de relaciones con los clientes, la gestión de servicios, la gestión financiera, la gestión de capital humano, la gestión de carteras de proyectos, las compras avanzadas, la gestión de la cadena de suministro, la planificación de la cadena de valor y la ejecución de la cadena de valor.

  • Gestor de Oracle E-Business Suite en la nube

    Oracle E-Business Suite Cloud Manager es una aplicación basada en web que controla todos los principales flujos de automatización de Oracle E-Business Suite en Oracle Cloud Infrastructure, incluido el aprovisionamiento de nuevos entornos, la realización de actividades de gestión del ciclo de vida en esos entornos y la restauración de entornos desde entornos locales.

    Oracle E-Business Suite Cloud Manager se ha diseñado para simplificar las diversas tareas que realizan a diario los administradores de bases de datos (DBA) de Oracle E-Business Suite, con el objetivo de reducir el esfuerzo necesario para realizarlas.

  • Oracle Cloud Infrastructure GoldenGate

    Oracle Cloud Infrastructure GoldenGate es un servicio totalmente gestionado que permite la ingestión de datos desde orígenes que residen on-premises o en cualquier nube, aprovechando la tecnología CDC GoldenGate para una captura de datos y entrega no intrusiva y eficiente a Oracle Autonomous Data Warehouse en tiempo real y a escala para que la información relevante esté disponible para los consumidores lo más rápido posible.

  • Autonomous Database

    Oracle Autonomous Database es un entorno de base de datos totalmente gestionado y preconfigurado que puede utilizar para cargas de trabajo de procesamiento de transacciones y almacenamiento de datos. No necesita configurar ni gestionar ningún hardware, ni instalar ningún software. Oracle Cloud Infrastructure gestiona la creación de la base de datos, así como la realización de copias de seguridad, la aplicación de parches, la actualización y el ajuste de la base de datos.

  • Data Safe

    Oracle Data Safe es un servicio en la nube regional totalmente integrado que proporciona un juego completo de funciones para proteger los datos confidenciales y regulados de las bases de datos Oracle. Data Safe también soporta bases de datos locales, Oracle Exadata Database Service on Cloud@Customer y despliegues multinube. Todos los clientes de Oracle Database pueden reducir el riesgo de una infracción de datos y simplificar el cumplimiento mediante el uso de Oracle Data Safe para evaluar el riesgo de configuración y de usuario, supervisar y auditar la actividad de los usuarios y para detectar, clasificar y enmascarar datos confidenciales.

  • Object Storage

    El almacenamiento de objetos proporciona acceso rápido a grandes cantidades de datos estructurados y no estructurados de cualquier tipo de contenido, incluidas copias de seguridad de base de datos, datos analíticos y contenido enriquecido, como imágenes y vídeos. Puede almacenar datos de forma segura y, a continuación, recuperarlos directamente desde Internet o desde la plataforma en la nube. Puede ampliar el almacenamiento sin problemas sin experimentar ninguna degradación del rendimiento ni de la fiabilidad del servicio. Utilice el almacenamiento estándar para el almacenamiento de acceso rápido al que debe acceder de forma rápida, inmediata y frecuente. Utilice el almacenamiento de archivo para el almacenamiento en frío que conserva durante largos períodos de tiempo y a los que rara vez accede.

  • Auditoría

    El servicio Oracle Cloud Infrastructure Audit registra automáticamente las llamadas a todos los puntos finales de la interfaz pública de programación de aplicaciones (API) de Oracle Cloud Infrastructure soportados como eventos de log. Actualmente, todos los servicios soportan el registro mediante Oracle Cloud Infrastructure Audit.

  • Registro
    Logging es un servicio altamente escalable y totalmente gestionado que proporciona acceso a los siguientes tipos de logs de sus recursos en la nube:
    • Logs de auditoría: logs relacionados con eventos emitidos por el servicio Audit.
    • Logs de servicios: logs emitidos por servicios individuales como API Gateway, Events, Functions, Load Balancing, Object Storage y logs de flujo de VCN.
    • Logs personalizados: logs que contienen información de diagnóstico de aplicaciones personalizadas, otros proveedores de nube o un entorno local.
  • Política

    Una política de Oracle Cloud Infrastructure Identity and Access Management especifica quién puede acceder a qué recursos y cómo. El acceso se otorga en el nivel de grupo y compartimento, lo que significa que puede escribir una política que proporcione a un grupo un tipo específico de acceso dentro de un compartimento específico o al arrendamiento.

  • Identity and Access Management (IAM)

    Oracle Cloud Infrastructure Identity and Access Management (IAM) es el plano de control de acceso para Oracle Cloud Infrastructure (OCI) y Oracle Cloud Applications. La API de IAM y la interfaz de usuario le permiten gestionar los dominios de identidad y los recursos del dominio de identidad. Cada dominio de identidad de OCI IAM representa una solución de gestión de identidad y acceso independiente o un grupo de usuarios diferente.

  • Gateway de enrutamiento dinámico (DRG)

    El DRG es un enrutador virtual que proporciona una ruta para el tráfico de red privada entre las redes virtuales de la misma región, entre una VCN y una red fuera de la región, como una VCN de otra región de Oracle Cloud Infrastructure, una red local o una red de otro proveedor en la nube.

  • Gateway de Internet

    El gateway de Internet permite el tráfico entre las subredes públicas de una VCN y la red pública de Internet.

  • Gateway de servicio

    El gateway de servicios proporciona acceso desde una VCN a otros servicios, como Oracle Cloud Infrastructure Object Storage. El tráfico desde la VCN al servicio Oracle recorre el tejido de red de Oracle y no Internet.

  • firewall de aplicaciones web (WAF)

    Oracle Cloud Infrastructure Web Application Firewall (WAF) es un servicio compatible con el sector de tarjetas de pago (PCI), basado en la región y de aplicación de perímetro que se asocia a un punto de aplicación, como un equilibrador de carga o un nombre de dominio de aplicación web. WAF protege las aplicaciones frente al tráfico de Internet no deseado y malicioso. WAF puede proteger cualquier punto final orientado a Internet, lo que proporciona un cumplimiento de reglas consistente en todas las aplicaciones de clientes.

  • Tabla de ruta

    Las tablas de rutas virtuales contienen reglas para enrutar el tráfico desde subredes hasta destinos fuera de una VCN, normalmente a través de gateways.

  • Grupo de seguridad de red (NSG)

    El grupo de seguridad de red (NSG) actúa como firewall virtual para sus recursos en la nube. Con el modelo de seguridad de confianza cero de Oracle Cloud Infrastructure, se deniega todo el tráfico y puede controlar el tráfico de red dentro de una VCN. Un NSG está formado por un conjunto de reglas de seguridad de entrada y salida que se aplican solo a un conjunto especificado de VNIC en una única VCN.

  • Lista de Seguridad

    Para cada subred, puede crear reglas de seguridad que especifiquen el origen, el destino y el tipo de tráfico que se debe permitir dentro y fuera de la subred.

La arquitectura tiene los siguientes componentes en Azure:

  • Azure ExpressRoute

    Microsoft Azure ExpressRoute permite configurar una conexión privada entre VNet y otra red, como su red local o una red en otro proveedor de nube. ExpressRoute es una alternativa más fiable y rápida a las conexiones de Internet típicas, porque el tráfico a través de ExpressRoute no atraviesa la red pública de Internet.

  • Microsoft Azure VNet

    Microsoft Azure Virtual Network (VNet) es el componente fundamental de su red privada en Azure. VNet permite que muchos tipos de recursos de Azure, como las máquinas virtuales (VM) de Azure, se comuniquen entre sí de forma segura, Internet y redes locales.

  • Tiempo de ejecución de integración

    Integration Runtime proporciona capacidades de integración de datos en diferentes redes con puntos finales accesibles al público.

    Los servicios de Microsoft Azure, como Azure Synapse Analytics, utilizan el tiempo de ejecución de integración para la integración de datos.

  • Azure Synapse Analytics

    Azure Synapse Analytics es un servicio de Microsoft que proporciona análisis para almacenes de datos y sistemas de big data.

  • Azure Active Directory

    Azure Active Directory es un servicio de Microsoft que almacena información sobre objetos en la red y facilita esta información a los administradores y usuarios la búsqueda y el uso (como cuentas, privilegios, políticas de seguridad, DNS). Azure Active Directory utiliza un almacén de datos estructurado como base para una organización lógica y jerárquica de la información del directorio.

Recomendaciones

Utilice las siguientes recomendaciones como punto de partida. Sus requisitos pueden ser diferentes de la arquitectura descrita aquí.
  • Aprovisionamiento
    • Aprovisione una máquina virtual (VM) más grande con un mayor ancho de banda de red en Azure para alojar el tiempo de ejecución de integración (IR) y active threads paralelos para la transferencia de datos entre Oracle Autonomous Data Warehouse y Azure Synapse Analytics.
    • Aprovisione más de una máquina virtual en Microsoft Azure para el tiempo de ejecución de integración autoalojado a fin de evitar un único punto de fallo, y el ancho de banda combinado de los hosts de IR proporciona el rendimiento necesario para la transferencia de datos entre Oracle Autonomous Data Warehouse y Azure Synapse Analytics.
    • Aprovisione y despliegue IR de Azure en una zona de disponibilidad de Azure diferente para lograr la máxima disponibilidad.
    • Elija el tamaño adecuado de los circuitos virtuales Oracle Cloud Infrastructure FastConnect y Azure ExpressRoute para soportar el ancho de banda necesario para la carga de trabajo.
    • Aprovisione la Oracle Autonomous Data Warehouse mediante la red virtual en la nube (VCN) de Oracle Cloud Infrastructure (OCI) conectada al gateway de direccionamiento dinámico (DRG) de OCI y a OCI FastConnect.
    • Configure el enrutamiento y el grupo de seguridad de red (NSG) en OCI para permitir el tráfico de red de Azure Synapse Analytics a Oracle Autonomous Data Warehouse.
    • Para el punto final privado de Oracle Autonomous Database on Shared Exadata Infrastructure, especifique la configuración de la VCN para permitir el tráfico solo desde la VCN especificada. Esto bloquea el acceso a la base de datos desde todas las IP públicas o las VCN.
    • VCN

      Al crear una VCN, determine el número de bloques CIDR necesarios y el tamaño de cada bloque en función del número de recursos que planea asociar a las subredes de la VCN. Utilice bloques CIDR que estén dentro del espacio de dirección IP privada estándar.

      Seleccione bloques CIDR que no se superpongan con ninguna otra red (en Oracle Cloud Infrastructure, su centro de datos local u otro proveedor de nube) a la que desea configurar conexiones privadas.

      Después de crear una VCN, puede cambiar, agregar y eliminar sus bloques CIDR.

      Al diseñar las subredes, tenga en cuenta el flujo de tráfico y los requisitos de seguridad. Asocie todos los recursos de un nivel o rol específico a la misma subred, que puede servir como límite de seguridad.

Consideraciones

Al desplegar esta arquitectura, tenga en cuenta lo siguiente:

  • Aplicaciones empaquetadas

    Esta arquitectura utiliza Oracle E-Business Suite como ejemplo. Se aplica a otras aplicaciones de paquetes, como PeopleSoft, JD Edwards EnterpriseOne, Siebel o cualquier aplicación de 3a parte creada en Oracle Database.

  • Oracle Autonomous Data Warehouse
    • Ajuste el tamaño adecuado de la base de datos de Autonomous Data Warehouse con los recursos informáticos y el almacenamiento necesarios que mejor se adapten a la carga de trabajo.
    • Active la escala automática para la base de datos de Autonomous Data Warehouse para soportar cualquier carga de trabajo adicional.
    • Active la copia de seguridad automática y seleccione el período de retención adecuado que admita su negocio.
    • Active Oracle Autonomous Data Guard para permitir que una base de datos en espera (peer) proporcione una recuperación ante desastres de protección de datos para sus necesidades empresariales.
  • Replicación de datos
    • Si Oracle E-Business Suite tiene una instancia de recuperación ante desastres (DR), puede replicar los datos de la instancia de DR a Autonomous Data Warehouse para descargar la carga de trabajo de la base de datos de producción de Oracle E-Business Suite.
    • Como alternativa a Oracle GoldenGate, puede utilizar Oracle Cloud Infrastructure Data Integration para replicar los datos de la base de datos de Oracle E-Business Suite en Autonomous Data Warehouse.

Acuses de recibo

  • Authors: Wei Han, Niranjan Mohapatra, Ejaz Akram