Despliegue de una plataforma ETL para datos de Oracle Utilities en Oracle Cloud y Azure
Después de ejecutar las aplicaciones de Oracle Utilities Customer Cloud Service para automatizar las operaciones de atención al cliente, facturación y pago, Gas South desplegó una plataforma de extracción, transformación y carga de datos (ETL) en Oracle Cloud Infrastructure (OCI).
Fundada en 2006, Gas South, con sede en Atlanta, provee gas natural a más de 425,000 clientes residenciales, comerciales y gubernamentales en 14 estados, incluidos Florida, Nueva Jersey, Ohio, Texas y Tennessee. Además de modernizar sus operaciones de atención al cliente y facturación en una implementación multinube en Oracle Cloud y Microsoft Azure, Gas South ha revitalizado recientemente su misión de ser un combustible para el bien al devolver el 5% de sus ganancias anuales para ayudar a los niños necesitados, priorizando las necesidades básicas, la educación y la salud. La compañía ha donado más de 12 millones de dólares a organizaciones benéficas desde 2006, incluidos 3.2 millones de dólares en 2022, su año más grande para donaciones corporativas.
En su despliegue en OCI, los datos de facturación y atención al cliente de Gas South se capturan de las aplicaciones SaaS de la utilidad, que se encuentran en un cubo de Oracle Cloud Infrastructure Object Storage, se analizan en archivos JSON, se mueven a través de Oracle SOA Cloud Service y se almacenan en una base de datos de extracción de datos generalizada (GDE). Los datos de la aplicación de utilidad se estructuran para análisis e informes adicionales antes de que se active manualmente para pasar a través de un túnel de shell seguro (SSH) a un motor de integración de Attunity Qlik que se conecta a una aplicación de Microsoft Power BI que se ejecuta en un servidor SQL en Azure.
Entre los aspectos más destacados de este despliegue se incluyen:
- Los usuarios se autentican mediante un túnel SSH, un host bastión y claves públicas/privadas antes de conectarse a la base de datos de extracción de datos generalizada (GDE) en una red virtual en la nube (VCN) privada.
- El servicio GDE se utiliza actualmente para tomar datos de atención al cliente de la aplicación SaaS de Oracle Utilities Customer Cloud Service y transferirlos a un motor de integración de Attunity Qlik, que se conecta a una aplicación de Azure BI para análisis e informes.
- Los archive logs se activan en la base de datos Oracle en OCI para capturar actualizaciones de archivos detectadas por Attunity Qlik y, a continuación, integradas en Microsoft BI en Azure.
Arquitectura
Gas South ha creado y desplegado Oracle SOA Cloud Service (SOACS) en Oracle Cloud Infrastructure (OCI), lo que permite a la empresa de servicios públicos integrar su Oracle Utilities Customer Cloud Service (CCS) con su portal de autoservicio, su sistema de respuesta de voz interactiva (IVR) y sus aplicaciones móviles que necesitan acceder a los sistemas financieros y de pago de Gas South.
Para analizar los datos generados por CCS, Gas South ha implementado un sistema de exportación de datos generalizada (GDE) para extraer datos de CCS e importarlos a Microsoft Business Intelligence, que se aloja en Microsoft Azure.
El siguiente diagrama muestra el flujo de datos para el sistema de integración SOA.
A continuación se describe el flujo de datos de la integración de SOA:
- Un usuario accede al portal de Gas South.
- Los datos de facturación de Oracle Utilities CCS (CCS) se generan y envían a Oracle SOA Suite (SOA).
- SOA envía los datos de facturación al sistema financiero.
- SOA envía la facturación al portal de autoservicio para que la revise el usuario.
- El usuario paga la factura.
- El pago se procesó.
- SOA se actualiza con el pago para mostrar que la factura se ha pagado.
- SOA actualiza CCS para mostrar que la factura se ha pagado.
El siguiente diagrama muestra el flujo de datos para el sistema de exportación de datos.
gas-south-data-flow-ccs-oracle.zip
A continuación, se describe el flujo de datos de CCS para la exportación e importación de datos:
- CCS inicia una exportación de datos generalizada (GDE) cada dos horas para exportar datos al almacenamiento de objetos.
- Se inicia una secuencia de comandos de interfaz de línea de comandos (CLI) en la máquina virtual de Oracle Base Database Service para copiar, dividir y cargar los archivos en la base de datos.
- Attunity Qlik está configurado para leer Oracle Database para los cambios de log.
- Si se han producido cambios, Attunity Qlik extrae los cambios de Oracle Database
- Los datos se transfieren a Azure SQL.
- Microsoft Business Intelligence accede a los datos.
El siguiente diagrama ilustra el diagrama de arquitectura de referencia para Gas South.
arquitectura gas-sur-oracle.zip
El portal Gas South, IVR y la aplicación móvil están alojados en Microsoft Azure. Los sistemas financieros Microsoft Azure y Gas South se conectan a la red virtual en la nube (VCN) de OCI mediante un gateway de Internet. Los servicios SOA proporcionan el middleware y CCS, los sistemas Gas South y los sistemas financieros de terceros sirven como sistemas de origen y destino.
Un servidor de administración, dos servidores gestionados y un servidor de transferencia de archivos gestionados (MFT) se despliegan como parte de SOA. Ambos servidores gestionados están equilibrados de carga por un equilibrador de carga de Oracle. La base de datos se despliega mediante Oracle Base Database Service.
Para la exportación de datos, el almacenamiento de objetos se utiliza para almacenar los archivos exportados desde CCS. Se inicia un script en Oracle Base Database Service (base de datos temporal) para copiar, dividir y cargar los archivos en la base de datos. Microsoft Attunity se utiliza para leer y extraer datos de la base de datos temporal a la que accede Microsoft Business Intelligence mediante un túnel SSH. Oracle Cloud Infrastructure Vault se utiliza para gestionar claves.
Oracle ha proporcionado las siguientes recomendaciones estatales futuras al Gas Sur:
- Explore la actualización a SOACS Marketplace. La actualización a SOACS Marketplace ayudará a Gas South a reducir los costos administrativos y de mantenimiento de TI.
- Explore las opciones nativas en la nube y de plataforma como servicio (PaaS) para el proceso de transformación y carga de los datos de CCS a Azure SQL, aprovechando Oracle Cloud Infrastructure Functions, Oracle Cloud Infrastructure Events, Oracle Cloud Infrastructure Data Integration y Oracle Integration.
El siguiente diagrama ilustra esta arquitectura de referencia futura.
gas-sur-arquitectura-futuro-oracle.zip
Un nuevo patrón de flujo de datos resultará de los cambios arquitectónicos:
gas-sur-datos-flujo-futuro-oracle.zip
A continuación, se describe el flujo de datos de CCS para la exportación e importación de datos:
- CCS inicia una exportación de datos generalizada (GDE) cada dos horas para exportar datos al almacenamiento de objetos.
- Un evento de Oracle Cloud Infrastructure Events detecta la adición de archivos de datos exportados en el almacenamiento de objetos.
- El evento llama a una función.
- Una función de Oracle Cloud Infrastructure Functions llama a OCI Data Integration.
- OCI Data Integration almacena los archivos procesados en Object Storage.
- OCI Data Integration divide y almacena los archivos procesados en Object Storage.
- Un evento de Oracle Cloud Infrastructure Events detecta la adición de archivos de datos divididos en Object Storage.
- El evento llama a una función.
- Una función lee los archivos divididos del almacenamiento de objetos.
- Una función llama a Oracle Integration.
- Los datos se envían a Azure SQL y Microsoft Business Intelligence accede a ellos.
La arquitectura tiene los siguientes componentes:
- Tenancy
Un arrendamiento es una partición segura y aislada que Oracle configura en Oracle Cloud cuando se registra en OCI. Puede crear, organizar y administrar sus recursos en OCI dentro de su arrendamiento. Un arrendamiento es sinónimo de una compañía u organización. Normalmente, una compañía tendrá un único arrendamiento y reflejará su estructura organizativa dentro de ese arrendamiento. Un único arrendamiento suele estar asociado a una única suscripción y una única suscripción suele tener un solo arrendamiento.
- Región OCI
Una región de OCI es un área geográfica localizada que contiene uno o más centros, denominados dominios de disponibilidad. Las regiones son independientes de otras regiones y pueden haber grandes distancias que las separan (entre países o incluso continentes).
- Dominio de disponibilidad
Los dominios de disponibilidad son centros de datos independientes dentro de una región. Los recursos físicos de cada dominio de disponibilidad están aislados de los recursos de los otros dominios de disponibilidad, lo que proporciona tolerancia a fallos. Los dominios de disponibilidad no comparten infraestructura, como la alimentación o la refrigeración, ni la red interna del dominio de disponibilidad. Por lo tanto, un fallo en un dominio de disponibilidad no debería afectar a los demás dominios de disponibilidad de la región.
- Red virtual en la nube (VCN) y subredes
Una red virtual en la nube (VCN) es una red personalizable y definida por software que se configura en una región de OCI. Al igual que las Redes de los Centros de Datos Tradicionales, las Redes Virtuales le proporcionan el control sobre su entorno de red. Una VCN puede tener varios bloques de CIDR no superpuestos que puede cambiar después de crear la VCN. Puede segmentar una VCN en subredes, las cuales se pueden acotar a una región o a un dominio de disponibilidad. Cada subred está formada por un rango contiguo de direcciones que no se solapan con las demás subredes de la VCN. Puede cambiar el tamaño de una subred después de la creación. Una subred puede ser pública o privada.
- Tabla de rutas
Las tablas de rutas virtuales contienen reglas para enrutar el tráfico de subredes a destinos fuera de una VCN, normalmente a través de gateways.
- Lista de seguridad
Para cada subred, puede crear reglas de seguridad que especifiquen el origen, el destino y el tipo de tráfico que se permite dentro y fuera de la subred.
- Gateway de Internet
Un gateway de Internet permite el tráfico entre las subredes públicas de una VCN y la red pública de Internet.
- Gateway de servicio
Un gateway de servicios proporciona acceso desde una VCN a otros servicios, como Oracle Cloud Infrastructure Object Storage. El tráfico desde la VCN al servicio Oracle recorre el tejido de red de la Oracle y no atraviesa Internet.
- Equilibrador de carga
Oracle Cloud Infrastructure Load Balancer proporciona la distribución automatizada de tráfico desde un único punto para acceder a varios servidores.
- Computación de OCI
Con Oracle Cloud Infrastructure Compute, puede aprovisionar y gestionar hosts informáticos en la nube. Puede iniciar instancias informáticas con unidades que cumplan los requisitos de recursos para CPU, memoria, ancho de banda de red y almacenamiento. Después de crear una instancia informática, puede acceder a ella de forma segura, reiniciarla, asociar y desasociar volúmenes, y terminarla cuando ya no la necesite.
- OCI Object Storage
OCI Object Storage proporciona acceso a grandes cantidades de datos estructurados y no estructurados de cualquier tipo de contenido, incluidas copias de seguridad en bases de datos, datos analíticos y contenido enriquecido como imágenes y vídeos. Puede almacenar datos de forma segura directamente desde las aplicaciones o desde la plataforma en la nube. Puedes ampliar el almacenamiento sin experimentar ninguna degradación del rendimiento o la fiabilidad del servicio.
Utilice el almacenamiento estandar para el almacenamiento "caliente" al que debe acceder de forma rápida, inmediata y frecuente. Utilice este tipo de almacenamiento para el almacenamiento "frío" que conserva durante largos períodos de tiempo y a los a los que rara vez accede.
- OCI Vault
Oracle Cloud Infrastructure Vault permite crear y gestionar de forma centralizada las claves de cifrado que protegen los datos y las credenciales secretas que utiliza para proteger el acceso a los recursos en la nube. La gestión de claves por defecto son las claves gestionadas por Oracle. También puede utilizar claves gestionadas por el cliente que utilizan OCI Vault. OCI Vault ofrece un juego enriquecido de API de REST para gestionar almacenes y claves.
- Supervisión de OCI
Oracle Cloud Infrastructure Monitoring supervisa de forma activa y pasiva los recursos en la nube, y utiliza alarmas para notificarle cuando las métricas cumplen los disparadores especificados.
- Oracle Base Database Service
Oracle Base Database Service es un servicio de base de datos de Oracle Cloud Infrastructure (OCI) que permite crear, escalar y gestionar bases de datos Oracle con todas las funciones en máquinas virtuales. Un sistema de base de datos de VM utiliza el almacenamiento de OCI Block Volumes en lugar del almacenamiento local y puede ejecutar Oracle Real Application Clusters (Oracle RAC) para mejorar la disponibilidad.
Explorar más
Obtenga más información sobre las características de esta arquitectura y sobre las arquitecturas relacionadas.
Acuses de recibo
- Authors: Robert Huie, Sasha Banks-Louie
- Contributors: Oracle Team: Brad Goodwin, Cory Quinn, Santosh Dixit, Pradyumna Kodgi, Joseph Dominski, Mckenzie Holiday, Robert LiesGas South Team: John Stiles, Jose Figueroa, Smitha Viswambharan, Marshall Sutherland, Nadeem Fatmi, Michael Sallustio