Transmisión de datos a una Autonomous Database en tiempo real
Arquitectura
Esta arquitectura muestra cómo puede implantar datos de transmisión en tiempo real con los servicios gestionados del hub de conector de servicio de Oracle Cloud Infrastructure.
A continuación, se muestran algunos casos de uso para la transmisión de datos en tiempo real:
- Análisis: para las organizaciones que utilizan varias herramientas, como Data Dog y Splunk, para el procesamiento de datos adicionales y la ejecución de análisis, ahora es posible la integración con soporte para herramientas de terceros.
- Archivado de datos: muchas organizaciones necesitan almacenar logs, métricas y mensajes de flujo para garantizar el cumplimiento y el uso futuro. El hub de conector de servicio de Oracle Cloud Infrastructure ayuda a almacenar estos datos de forma barata a largo plazo.
- Notificaciones de log: para la fiabilidad del sitio y de la base de datos, puede configurar alarmas y notificaciones para ciertos errores, como 500 errores. Estas alarmas se pueden integrar con el servicio de supervisión.
- Datos de proceso: defina los disparadores para Oracle Functions para que los datos se procesen previamente en la integración con el hub de conector de servicio. Esto facilita a los ingenieros de datos el trabajo directo de los datos procesados para el análisis de datos.
- Notificaciones de cambio de recursos en la nube: Service Connector Hub se puede integrar para enviar notificaciones por correo electrónico, PagerDuty, Slack, webhooks personalizados.
- Visibilidad completa sobre el movimiento de datos: Service Connector Hub ofrece un destino desde el que los administradores pueden gestionar y supervisar los datos.
El siguiente diagrama ilustra esta arquitectura de referencia.
Descripción de la ilustración Stream-data-adb-real-time.png
La arquitectura tiene los siguientes componentes:
- Región
Una región de Oracle Cloud Infrastructure es un área geográfica localizada que contiene uno o más centros de datos, denominados dominios de disponibilidad. Las regiones son independientes de otras regiones y las grandes distancias pueden separarlas (entre países e incluso continentes).
- Dominios de disponibilidad
Los dominios de disponibilidad son centros de datos independientes e independientes dentro de una región. Los recursos físicos de cada dominio de disponibilidad están aislados de los recursos de los otros dominios de disponibilidad, lo que proporciona tolerancia a fallos. Los dominios de disponibilidad no comparten infraestructura, como alimentación o refrigeración, ni la red interna del dominio de disponibilidad. Por lo tanto, un fallo en un dominio de disponibilidad es poco probable que afecte a los otros dominios de disponibilidad de la región.
- Gateway de enrutamiento dinámico (DRG)
El DRG es un enrutador virtual que proporciona una ruta de acceso para el tráfico de red privada entre una VCN y una red fuera de la región, como una VCN en otra región de Oracle Cloud Infrastructure, una red local o una red en otro proveedor de nube.
- Gateway de servicio
El gateway de servicio proporciona acceso desde una VCN a otros servicios, como Oracle Cloud Infrastructure Object Storage. El tráfico desde la VCN al servicio Oracle recorre el tejido de red de Oracle y no internet.
- Red virtual en la nube (VCN) y subredes
Una VCN es una red personalizable y definida por software que se configura en una región de Oracle Cloud Infrastructure. Al igual que las redes del centro de datos tradicionales, las VCN le proporcionan un control total de su entorno de red. Una VCN puede tener varios bloques CIDR no solapados que puede cambiar después de crear la VCN. Puede segmentar una VCN en subredes, que se pueden acotar a una región o a un dominio de disponibilidad. Cada subred consta de un rango de direcciones contiguas que no se solapan con las otras subredes de VCN. Puede cambiar el tamaño de una subred después de la creación. Una subred puede ser pública o privada.
- Conectores de servicio
El hub de conector de servicio de Oracle Cloud Infrastructure es una plataforma de bus de mensajes en la nube que organiza el movimiento de datos entre servicios en OCI. Puede utilizarlo para mover datos entre servicios de Oracle Cloud Infrastructure. Los datos se mueven mediante conectores de servicio. Un conector de servicio especifica el servicio de origen que contiene los datos que se van a mover, las tareas que se van a realizar en los datos y el servicio de destino al que se deben entregar los datos cuando se completan las tareas especificadas.
Puede utilizar el hub de conector de servicio de Oracle Cloud Infrastructure para crear rápidamente un marco de agregación de registros para sistemas SIEM. Una tarea opcional puede ser una tarea de función para procesar datos del origen o una tarea de filtro de log para filtrar datos de log del origen.
- Flujo
Oracle Cloud Infrastructure Streaming proporciona una solución de almacenamiento duradera, ampliable y gestionada para la ingestión de flujos de datos continuos y de alto volumen que puede utilizar y procesar en tiempo real. Puede utilizar Streaming para la ingesta de datos de gran volumen, como logs de aplicación, datos de telemetría operativa, datos de flujo de clics en la web o para otros casos de uso en los que se producen y procesan datos de forma continua y secuencial en un modelo de mensajería de publicación-suscripción.
- Funciones
Oracle Functions es una plataforma de funciones como servicio (FaaS) totalmente gestionada, multicliente, altamente escalable y bajo demanda. Se basa en el motor de origen abierto Fn Project. Las funciones le permiten desplegar el código y llamarlo directamente o dispararlo en respuesta a los eventos. Oracle Functions utiliza contenedores de Docker alojados en Oracle Cloud Infrastructure Registry.
- Base de datos autónoma
Las bases de datos autónomas de Oracle Cloud Infrastructure son entornos de base de datos totalmente gestionados y preconfigurados que puede utilizar para el procesamiento de transacciones y las cargas de trabajo de almacenamiento de datos. No es necesario configurar ni gestionar ningún hardware, o instalar ningún software. Oracle Cloud Infrastructure gestiona la creación de la base de datos, así como la copia de seguridad, la aplicación de parches, la actualización y el ajuste de la base de datos.
- Gestión de identidad y acceso (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) le permite controlar quién puede acceder a sus recursos en Oracle Cloud Infrastructure y las operaciones que pueden realizar en esos recursos.
- Servicio de Auditoría
- Logs de auditoría: logs relacionados con eventos emitidos por el servicio de auditoría.
- Logs de servicio: logs emitidos por servicios individuales como gateway de API, eventos, funciones, equilibrio de carga, almacenamiento de objetos y logs de flujo de VCN.
- Logs personalizados: logs que contienen información de diagnóstico de aplicaciones personalizadas, otros proveedores de nube o un entorno local.
Recomendaciones
- VCN
Al crear una VCN, determine el número de bloques CIDR necesarios y el tamaño de cada bloque según el número de recursos que planea asociar a subredes de la VCN. Utilice bloques CIDR que estén dentro del espacio de direcciones IP privadas estándar.
Seleccione bloques CIDR que no se superpongan con ninguna otra red (en Oracle Cloud Infrastructure, su centro de datos local u otro proveedor en la nube) a la que desee configurar conexiones privadas.
Después de crear una VCN, puede cambiar, agregar y eliminar sus bloques de CIDR.
Al diseñar las subredes, tenga en cuenta los requisitos de flujo de tráfico y seguridad. Conecte todos los recursos de un nivel o rol específico a la misma subred, que puede servir como límite de seguridad.
- Cloud Guard
Clone y personalice las recetas por defecto proporcionadas por Oracle para crear recetas de detector y respondedor personalizadas. Estas recetas permiten especificar qué tipo de violaciones de seguridad generan una advertencia y qué acciones se pueden realizar en ellas. Por ejemplo, puede que desee detectar bloques de Object Storage que tengan visibilidad definida como pública.
Aplique Cloud Guard en el nivel de arrendamiento para abarcar el ámbito más amplio y reducir la carga administrativa de mantener varias configuraciones.
También puede utilizar la función de lista gestionada para aplicar determinadas configuraciones a los detectores.
- Zonas de seguridad
Para los recursos que requieren máxima seguridad, Oracle recomienda utilizar zonas de seguridad. Una zona de seguridad es un compartimento asociado a una receta definida por Oracle de políticas de seguridad basadas en las mejores prácticas. Por ejemplo, los recursos de una zona de seguridad no deben ser accesibles desde el Internet público y deben cifrarse mediante claves gestionadas por el cliente. Al crear y actualizar recursos en una zona de seguridad, Oracle Cloud Infrastructure valida las operaciones con respecto a las políticas de la receta de zona de seguridad y deniega las operaciones que violan cualquiera de las políticas.
- Plantilla de inicio rápido de zona de llegada de OCI de CIS
Esta plantilla despliega un entorno estandarizado en un arrendamiento de Oracle Cloud Infrastructure (OCI) que ayuda a las organizaciones a cumplir con la referencia de fundamentos de OCI de CIS v1.1.