Establece una solución de datos multinube entre OCI y Microsoft Azure
Las organizaciones pueden establecer una casa de data lake empresarial o un almacén de datos para almacenar datos activos y archivados en una ubicación centralizada.
Este enfoque simplifica el proceso de creación de un almacén de datos centralizado que sirve como una solución integral para todas las necesidades de análisis de datos.
Al aprovechar una solución de análisis de datos multinube, las organizaciones pueden realizar análisis de manera eficiente utilizando un data lake house o almacén de datos central integrado con varias fuentes de datos, como Fusion SaaS, archivos planos, bases de datos locales y en la nube, Salesforce y sitios web de comercio electrónico.
El objetivo final es crear un repositorio centralizado de datos que hayan sido extraídos y analizados por las unidades de negocio para mejorar la visibilidad integral del negocio y proporcionar información basada en datos. Entre las ventajas se incluyen:
- Pipeline de análisis de datos unificado
Optimice el acceso a los datos de distintos orígenes locales y en la nube, como bases de datos y almacenes de objetos.
- Facilidad de integración
Integración perfecta de datos en distintos sistemas, formatos, API, aplicaciones y dispositivos para garantizar una colaboración y conformidad seguras con protocolos de seguridad sin necesidad de codificación manual.
- Análisis de alto rendimiento
Consultas de datos eficientes que permiten tomar decisiones más rápidamente y mejorar el servicio al cliente.
- Costo, seguridad y disponibilidad
Minimice CapEx y OpEx a la vez que logra una rentabilidad, rendimiento, seguridad y disponibilidad óptimas.
Arquitectura
Esta arquitectura de referencia ilustra un pipeline de datos multinube empresarial que recopila y formatea datos de varios orígenes, transfiriéndolos al lago de datos empresarial o al almacén de datos. Incluye la integración por lotes, la integración de datos y los escenarios de integración en tiempo real.
Oracle Interconnect for Microsoft Azure enlaza Azure ExpressRoute y Oracle Cloud Infrastructure FastConnect para conectar dos redes en la nube independientes de forma eficiente.
Las rutas de tráfico de la red virtual (VNet) de Azure a través de una interconexión privada a la red virtual en la nube (VCN) de OCI.
El siguiente diagrama ilustra esta arquitectura de referencia.
oci-azure-multicloud-data-solution-diagram-oracle.zip
OCI Data Integration conecta y extrae datos de orígenes locales y en la nube mediante adaptadores nativos, accede a aplicaciones de Oracle SaaS mediante el conector BICC, realiza transformaciones en los datos y los carga en un lago de datos de OCI a través de adaptadores (Oracle Autonomous Database u OCI Object Storage).
Los servicios de integración de aplicaciones de Oracle recopilan datos en tiempo real de diversos sistemas de origen, como aplicaciones de Oracle SaaS, Internet de las cosas (IoT), servicios de transmisión, redes sociales, sistemas locales y otros proveedores en la nube a través de adaptadores nativos. A continuación, ejecuta procesos de transformación y orquestación antes de cargar los datos en un lago de datos de OCI mediante adaptadores (Oracle Autonomous Database u OCI Object Storage).
OCI GoldenGate captura datos de Oracle Autonomous Database y los replica en Azure Data Lake Gen2 y Azure Synapse Analytics casi en tiempo real a través de OCI FastConnect. La replicación en Synapse implica almacenar y fusionar los datos de cambio en microlotes en Azure Data Lake Storage Gen2 antes de fusionarlos en la tabla de destino de Synapse.
Flujo de eventos
- Extracción y transferencia de datos
- Los datos del cliente se transfieren desde el origen de datos a OCI Object Storage directamente o mediante controladores específicos del origen por defecto.
- Los archivos planos locales se mueven a OCI Object Storage mediante el script de Python del cliente o estableciendo una conexión FTP con OCI Object Storage para una conectividad perfecta a Oracle Integration Cloud Service.
- Los datos se cargan de forma segura en formato raw en los cubos de OCI Object Storage con cifrado.
- Ingesta y transformación de datos
- OCI Data Integration recupera datos de OCI Object Storage y otros orígenes, los transforma según las necesidades empresariales mediante Apache Spark y un flujo de arquitectura propuesto y, a continuación, vuelve a almacenar los datos transformados en OCI Object Storage junto con la base de datos autónoma.
- Este proceso sigue la arquitectura de Delta Lake para las propiedades ACID activas y la compresión. Los datos ahora están estructurados, se pueden consultar y están listos para análisis adicionales.
- OCI Logging gestiona todos los logs de procesamiento.
- Orquestación y programación
- OCI Data Integration gestiona los procesos de flujo de datos, programando la ejecución de aplicaciones de Data Flow y blocs de notas de Data Science según sea necesario.
- Los desarrolladores pueden ejecutar aplicaciones de Data Flow desde la interfaz de usuario o los blocs de notas del servicio Data Science para obtener flexibilidad.
- Archivo de datos
- Las políticas de ciclo de vida de OCI Object Storage, que definen e implementan los clientes, desempeñan un papel crucial en la automatización del proceso de archivado de datos. Estas políticas facilitan el cambio sin problemas de los datos a niveles de almacenamiento más rentables o la eliminación sistemática de información obsoleta, todo de acuerdo con reglas y directrices predefinidas. Esta automatización es esencial para garantizar no solo una gestión de datos eficiente, sino también el cumplimiento de varias políticas de retención a las que las organizaciones deben adherirse.
- Al utilizar estas políticas de ciclo de vida, los clientes pueden optimizar sus costos de almacenamiento manteniendo el control sobre sus prácticas de retención de datos y garantizando que estén alineados con los requisitos legales y normativos.
- Replicación de datos en Azure
- OCI GoldenGate se utiliza para la replicación de datos en Azure a través de una red dedicada establecida con Oracle Interconnect for Microsoft Azure.
- OCI GoldenGate se integra estrechamente con Azure Data Lake y Azure Synapse Analytics para una carga de datos perfecta.
- Análisis de datos e informes
- Oracle Analytics Cloud y Power BI son ejemplos de herramientas de inteligencia empresarial que pueden establecer una conexión con OCI Object Storage u Oracle Autonomous Database.
- Estas herramientas recopilan los datos que se han transformado y producen paneles de control fáciles de usar que muestran indicadores clave de rendimiento (KPI) de negocio clave.
- A través de estos paneles de control, se pueden obtener información valiosa de los datos, lo que facilita la toma de decisiones bien informada.
La arquitectura tiene los siguientes componentes:
- Tenancy
Un arrendamiento es una partición segura y aislada que Oracle configura en Oracle Cloud al registrarse en Oracle Cloud Infrastructure. Puede crear, organizar y administrar sus recursos en Oracle Cloud dentro de su arrendamiento. Un arrendamiento es sinónimo de una compañía u organización. Normalmente, una compañía tendrá un único arrendamiento y reflejará su estructura organizativa dentro de ese arrendamiento. Un único arrendamiento suele estar asociado a una única suscripción, y una única suscripción normalmente solo tiene un arrendamiento.
- Región
Una región de Oracle Cloud Infrastructure es un área geográfica localizada que contiene uno o más centros de datos, denominados dominios de disponibilidad. Las regiones son independientes entre sí y puede haber grandes distancias que las separen (entre países e incluso continentes).
- Compartimento
Los compartimentos son particiones lógicas entre regiones dentro de un arrendamiento de Oracle Cloud Infrastructure. Utilice compartimentos para organizar los recursos en Oracle Cloud, controlar el acceso a los recursos y definir cuotas de uso. Para controlar el acceso a los recursos de un compartimento determinado, debe definir políticas que especifiquen quién puede acceder a los recursos y qué acciones pueden realizar.
- Dominios de disponibilidad
Los dominios de disponibilidad son centros de datos independientes dentro de una región. Los recursos físicos de cada dominio de disponibilidad están aislados de los recursos de los otros dominios de disponibilidad, lo que proporciona tolerancia a fallos. Los dominios de disponibilidad no comparten infraestructura, como la alimentación o la refrigeración, ni la red interna del dominio de disponibilidad. Por lo tanto, un fallo en un dominio de disponibilidad no debería afectar a los otros dominios de disponibilidad de la región.
- Red y subredes virtuales en la nube (VCN)
Una VCN es una red personalizable y definida por software que puede configurar en una región de Oracle Cloud Infrastructure. Al igual que las redes de los centros de datos tradicionales, las redes virtuales le proporcionan el control de su entorno de red. Una VCN puede tener varios bloques de CIDR no superpuestos que puede cambiar después de crear la VCN. Puede segmentar una VCN en subredes, las cuales se pueden acotar a una región o a un dominio de disponibilidad. Cada subred está formada por un rango contiguo de direcciones que no se solapan con las demás subredes de la VCN. Puede cambiar el tamaño de una subred después de la creación. Una subred puede ser pública o privada.
- ExpressRoute
Azure ExpressRoute le permite configurar una conexión privada entre VNet y otra red, como su red local o una red de otro proveedor en la nube.
Azure ExpressRoute es una alternativa más fiable y rápida a las conexiones de Internet típicas porque el tráfico a través de Azure ExpressRoute no atraviesa la red pública de Internet.
- Autonomous Database
Oracle Autonomous Database es un entorno de base de datos totalmente gestionado y preconfigurado que puede utilizar para el procesamiento de transacciones y las cargas de trabajo de almacenamiento de datos. No necesita configurar ni gestionar ningún hardware, ni instalar ningún software. Oracle Cloud Infrastructure se ocupa de la creación de la base de datos, así como de la copia de seguridad, la aplicación de parches, el cambio de versión y el ajuste de la base de datos.
- Object Storage
Object Storage proporciona acceso rápido a grandes cantidades de datos estructurados y no estructurados de cualquier tipo de contenido, incluidas copias de seguridad de base de datos, datos analíticos y contenido enriquecido, como imágenes y vídeos. Puede almacenar datos de forma segura y, a continuación, recuperarlos directamente desde Internet o desde la plataforma en la nube. Puede ampliar el almacenamiento sin experimentar ninguna degradación del rendimiento ni de la fiabilidad del servicio. Utilice el almacenamiento estándar para el almacenamiento al que debe acceder de forma rápida, inmediata y frecuente. Utilice el almacenamiento de archivo para el almacenamiento "frío" al que conserva durante largos períodos de tiempo y al que rara vez accede.
- Integración de datos
Oracle Cloud Infrastructure Data Integration es un servicio totalmente gestionado, sin servidor y nativo en la nube que extrae, carga, transforma, limpia y vuelve a formar datos de una variedad de orígenes de datos en servicios de destino de Oracle Cloud Infrastructure, como Autonomous Data Warehouse y Oracle Cloud Infrastructure Object Storage. ETL (carga de transformación de extracción) aprovecha el procesamiento de ampliación totalmente gestionado en Spark, y ELT (transformación de carga de extracción) aprovecha las capacidades de reducción de SQL completas de Autonomous Data Warehouse para minimizar el movimiento de datos y mejorar el tiempo de obtención de valor para los datos recién ingeridos. Los usuarios diseñan procesos de integración de datos mediante una interfaz de usuario intuitiva y sin código que optimiza los flujos de integración para generar el motor y la orquestación más eficaces y asignar y ampliar automáticamente el entorno de ejecución. Oracle Cloud Infrastructure Data Integration proporciona exploración interactiva y preparación de datos, y ayuda a los ingenieros de datos a protegerse contra el cambio de esquema mediante la definición de reglas para manejar los cambios de esquema.
- Oracle GoldenGate Cloud Service
Oracle GoldenGate Cloud Service es un servicio totalmente gestionado que permite la ingestión de datos desde orígenes que residen on-premises o en cualquier nube, aprovechando la tecnología CDC GoldenGate para una captura y entrega de datos no intrusiva y eficiente a Oracle Autonomous Data Warehouse en tiempo real y a escala con el fin de poner la información relevante a disposición de los consumidores lo antes posible.
- Oracle Integration
Oracle Integration proporciona conectividad incorporada a SaaS y aplicaciones locales, plantillas de automatización de procesos listas para su uso, así como un creador visual con poco código para el desarrollo de aplicaciones web y móviles. Proporciona acceso nativo a eventos en Oracle Cloud ERP, HCM y CX. Conecte silos analíticos específicos de la aplicación para simplificar la solicitud a la recepción, la selección al pago, la oportunidad potencial a la factura y otros procesos críticos, proporcionando a sus líderes de TI y negocios visibilidad integral.
- Azure Synapse Analytics
Azure Synapse Analytics es un servicio de análisis que reúne la integración de datos, el almacenamiento de datos empresariales y el análisis de big data. Permite consultar datos en sus términos, utilizando opciones sin servidor o dedicadas, a escala. Azure Synapse Analytics combina estos conceptos con una experiencia unificada para ingerir, explorar, preparar, transformar, gestionar y servir datos para satisfacer las necesidades inmediatas de BI y aprendizaje automático.
- Almacenamiento de lago de datos de Azure Gen2
Azure Data Lake Storage Gen2 es un conjunto de capacidades dedicadas al análisis de big data, creado en Azure Blob Storage. Data Lake Storage Gen2 convierte las capacidades de Azure Data Lake Storage Gen1 con Azure Blob Storage.
Por ejemplo, Azure Data Lake Storage Gen2 proporciona semántica del sistema de archivos, seguridad a nivel de archivo y escala. Dado que estas capacidades se crean en el almacenamiento de blob, también obtiene almacenamiento por niveles de bajo costo con alta disponibilidad y capacidades de recuperación ante desastres.
- Gateway de aplicaciones de Azure
El gateway de aplicación de Azure es un equilibrador de carga de tráfico web (capa OSI 7) que permite gestionar el tráfico a las aplicaciones web. Los equilibradores de carga tradicionales funcionan en la capa de transporte (capa OSI 4: TCP y UDP) y enrutan el tráfico según la dirección IP y el puerto de origen, a una dirección IP y un puerto de destino. El gateway de aplicación de Azure puede tomar decisiones de enrutamiento basadas en atributos adicionales de una solicitud HTTP; por ejemplo, rutas de URI o cabeceras de host.
Por ejemplo, puede enrutar el tráfico en función de la URL entrante. Por lo tanto, si
/imagesestá en la URL entrante, puede enrutar el tráfico a un juego específico de servidores (conocido como pool) configurados para imágenes. Si/videoestá en la URL, ese tráfico se enruta a otra agrupación optimizada para vídeos.
Recomendaciones
- Aprovisionamiento
- Seleccione el tamaño adecuado para los circuitos virtuales OCI FastConnect y Azure ExpressRoute para cumplir los requisitos de ancho de banda de la carga de trabajo.
- Despliegue Oracle Database en la VCN y la subred de OCI enlazadas al gateway de direccionamiento dinámico de OCI (DRG) y OCI FastConnect.
- Configure medidas de enrutamiento y seguridad o grupo de seguridad de red (NSG) en OCI para permitir que el tráfico de red de Azure Synapse Analytics llegue a Oracle Database.
- Al configurar Oracle Database con un punto final privado, defina la configuración de VCN para permitir el tráfico exclusivamente desde la VCN designada, restringiendo el acceso desde cualquier IP pública o VCN.
Consideraciones
Tenga en cuenta los siguientes puntos al desplegar esta arquitectura de referencia.
- Costo
OCI FastConnect: el precio de OCI FastConnect sigue siendo consistente en todas las regiones de OCI, sin cargos adicionales por entrada o salida de datos.
Azure ExpressRoute: el precio de Azure ExpressRoute varía según la región.
- Rendimiento
En esta arquitectura de referencia, el cliente necesitaba una replicación de datos casi en tiempo real de la base de datos primaria en OCI a los puntos finales de Azure para su caso de uso. Al utilizar OCI GoldenGate, el cliente se aseguró de que sus depósitos de big data heterogéneos y multinube se actualizaran constantemente con datos en tiempo real de sistemas de producción operativos y analíticos, lo que facilitó el análisis en tiempo real.
- Red
Oracle Interconnect for Microsoft Azure sirve como solución de red alternativa y es compatible con regiones emparejadas específicas de Azure-OCI. Para saber qué regiones de Azure y OCI soportan Oracle Database Service for Microsoft Azure, consulte Más información sobre la disponibilidad regional de Oracle Database Service for Azure.
En los casos en los que las regiones de OCI y Azure no soportan Oracle Interconnect for Microsoft Azure, puede utilizar la columna vertebral de cada proveedor en la nube para manejar el tráfico. Si opta por el eje central de OCI, es necesario establecer una región intermediaria que abarque la región de Oracle Interconnect for Microsoft Azure dentro de OCI y una conexión de intercambio de tráfico remoto (RPC) a la región que carezca de soporte para Oracle Interconnect for Microsoft Azure.
Explorar más
Obtén más información sobre la multinube con OCI y Azure.
Revise estos recursos adicionales:
- Multinube de OCI
- Multinube con OCI y Azure
- Disponibilidad regional de Oracle Database Service for Azure
- Precios de Azure ExpressRoute
- Documentación de Oracle Cloud Infrastructure
- Marco de mejores prácticas para Oracle Cloud Infrastructure
- Estimador de costos de Oracle Cloud
- Marco de adopción de la nube