Despliegue de una plataforma ETL para datos de Oracle Utilities en Oracle Cloud y Azure
Después de ejecutar aplicaciones de Oracle Utilities Customer Cloud Service para automatizar las operaciones de atención al cliente, facturación y pago, Gas South desplegó una plataforma de extracción, transformación y carga de datos (ETL) en Oracle Cloud Infrastructure (OCI).
Fundada en 2006, Gas South, con sede en Atlanta, proporciona gas natural a más de 425,000 clientes residenciales, comerciales y gubernamentales en 14 estados, incluidos Florida, Nueva Jersey, Ohio, Texas y Tennessee. Además de modernizar sus operaciones de atención al cliente y facturación en un despliegue multinube en Oracle Cloud y Microsoft Azure, Gas South ha revitalizado recientemente su misión de ser un combustible para el bien al devolver el 5 % de sus beneficios anuales para ayudar a los niños necesitados, priorizando las necesidades básicas, la educación y la salud. La compañía ha donado más de $12 millones a organizaciones benéficas desde 2006, incluidos $3.2 millones en 2022, su año más grande para donaciones corporativas.
En su despliegue en OCI, los datos de facturación y atención al cliente de Gas South se capturan de las aplicaciones SaaS de la utilidad, que se almacenan en un cubo de Oracle Cloud Infrastructure Object Storage, se analizan en archivos JSON, se mueven a través de Oracle SOA Cloud Service y se almacenan en una base de datos de extracción de datos generalizada (GDE). Los datos de la aplicación de utilidad se estructuran para análisis e informes adicionales antes de que se disparen manualmente para pasar a través de un túnel de shell seguro (SSH) a un motor de integración de Attunity Qlik que se conecta a una aplicación de Microsoft Power BI que se ejecuta en un servidor SQL en Azure.
Entre los aspectos más destacados de este despliegue se incluyen:
- Los usuarios se autentican mediante un túnel SSH, un host bastión y claves públicas/privadas antes de conectarse a la base de datos de extracción de datos generalizada (GDE) en una red virtual en la nube (VCN) privada.
- El servicio GDE se utiliza actualmente para tomar datos de atención al cliente de la aplicación SaaS de Oracle Utilities Customer Cloud Service y transferirlos a un motor de integración de Attunity Qlik, que se conecta a una aplicación de Azure BI para análisis e informes.
- Los archive logs están activados en la base de datos Oracle en OCI para capturar actualizaciones de archivos detectadas por Attunity Qlik y, a continuación, integradas en Microsoft BI en Azure.
Arquitectura
Gas South ha creado y desplegado Oracle SOA Cloud Service (SOACS) en Oracle Cloud Infrastructure (OCI), lo que permite a la empresa de servicios públicos integrar su Oracle Utilities Customer Cloud Service (CCS) con su portal de autoservicio, sistema de respuesta de voz interactiva (IVR) y aplicaciones móviles que necesitan acceder a los sistemas de pago y financieros de Gas South.
Para analizar los datos generados por CCS, Gas South ha desplegado un sistema de exportación de datos generalizada (GDE) para extraer datos de CCS e importarlos a Microsoft Business Intelligence, que está alojado en Microsoft Azure.
El diagrama siguiente muestra el flujo de datos para el sistema de integración SOA.
flujo de datos de gas-sur-oracle.zip
A continuación se describe el flujo de datos de la integración de SOA:
- Un usuario accede al portal de Gas South.
- Los datos de facturación de Oracle Utilities CCS (CCS) se generan y envían a Oracle SOA Suite (SOA).
- SOA envía los datos de facturación al sistema financiero.
- SOA envía la facturación al portal de autoservicio para su revisión por parte del usuario.
- El usuario paga la factura.
- El pago se procesa.
- SOA se actualiza con el pago para mostrar que la factura se ha pagado.
- SOA actualiza CCS para mostrar que la factura se ha pagado.
En el diagrama siguiente se muestra el flujo de datos para el sistema de exportación de datos.
gas-sur-data-flow-ccs-oracle.zip
A continuación, se describe el flujo de datos de CCS para la exportación e importación de datos:
- CCS inicia una exportación de datos generalizada (GDE) cada dos horas para exportar datos al almacenamiento de objetos.
- Se inicia una secuencia de comandos de interfaz de línea de comandos (CLI) en la máquina virtual de Oracle Base Database Service para copiar, dividir y cargar los archivos en la base de datos.
- Attunity Qlik está configurado para leer Oracle Database para los cambios de log.
- Si se han producido cambios, Attunity Qlik extrae los cambios de Oracle Database
- Los datos se transfieren a Azure SQL.
- Los datos son de acceso de Microsoft Business Intelligence.
El siguiente diagrama ilustra el diagrama de arquitectura de referencia para Gas South.
arquitectura gas-sur-oracle.zip
El portal Gas South, IVR y la aplicación móvil están alojados en Microsoft Azure. Los sistemas financieros Microsoft Azure y Gas South se conectan a la red virtual en la nube (VCN) de OCI mediante un gateway de Internet. Los servicios SOA proporcionan middleware y CCS, Gas South Systems y sistemas financieros de terceros sirven como sistemas de origen y destino.
Un servidor de administración, dos servidores gestionados y un servidor de transferencia de archivos gestionados (MFT) se despliegan como parte de SOA. Un equilibrador de carga de Oracle equilibra la carga de ambos servidores gestionados. La base de datos se despliega mediante Oracle Base Database Service.
Para la exportación de datos, el almacenamiento de objetos se utiliza para almacenar los archivos exportados desde CCS. Se inicia un script en Oracle Base Database Service (base de datos temporal) para copiar, dividir y cargar los archivos en la base de datos. Microsoft Attunity se utiliza para leer y extraer datos de la base de datos temporal a la que accede Microsoft Business Intelligence mediante un túnel SSH. Oracle Cloud Infrastructure Vault se utiliza para gestionar claves.
Oracle ha proporcionado las siguientes recomendaciones estatales futuras a Gas South:
- Explore la actualización a SOACS Marketplace. La actualización a SOACS Marketplace ayudará a Gas South a reducir los costos administrativos y de mantenimiento de TI.
- Explore las opciones nativas en la nube y Plataforma como servicio (PaaS) para el proceso de transformación y carga de los datos de CCS a Azure SQL, aprovechando Oracle Cloud Infrastructure Functions, Oracle Cloud Infrastructure Events, Oracle Cloud Infrastructure Data Integration y Oracle Integration Cloud Service.
El siguiente diagrama ilustra esta arquitectura de referencia futura.
gas-sur-arquitectura-futuro-oracle.zip
Un nuevo patrón de flujo de datos será el resultado de los cambios arquitectónicos:
gas-sur-datos-flujo-futuro-oracle.zip
A continuación, se describe el flujo de datos de CCS para la exportación e importación de datos:
- CCS inicia una exportación de datos generalizada (GDE) cada dos horas para exportar datos al almacenamiento de objetos.
- Un evento de Oracle Cloud Infrastructure Events detecta la adición de archivos de datos exportados en Object Storage.
- El evento llama a una función.
- Una función de Oracle Cloud Infrastructure Functions llama a Oracle Cloud Infrastructure Data Integration.
- Oracle Cloud Infrastructure Data Integration almacena los archivos procesados en Object Storage.
- Oracle Cloud Infrastructure Data Integration divide y almacena los archivos procesados en Object Storage.
- Un evento de Oracle Cloud Infrastructure Events detecta la adición de archivos de datos divididos en Object Storage.
- El evento llama a una función.
- Una función lee los archivos divididos del almacenamiento de objetos.
- Una función llama a Oracle Integration Cloud Service.
- Los datos se transfieren a Azure SQL y Microsoft Business Intelligence accede a ellos.
La arquitectura tiene los siguientes componentes:
- Arrendamiento
Un arrendamiento es una partición segura y aislada que Oracle configura en Oracle Cloud al registrarse en Oracle Cloud Infrastructure. Puede crear, organizar y administrar sus recursos en Oracle Cloud dentro de su arrendamiento. Un arrendamiento es sinónimo de una compañía u organización. Normalmente, una compañía tendrá un único arrendamiento y reflejará su estructura organizativa dentro de ese arrendamiento. Un único arrendamiento suele estar asociado a una única suscripción, y una única suscripción normalmente solo tiene un arrendamiento.
- Región
Una región de Oracle Cloud Infrastructure es un área geográfica localizada que contiene uno o más centros de datos, denominados dominios de disponibilidad. Las regiones son independientes de otras regiones, y grandes distancias pueden separarlas (entre países e incluso continentes).
- Dominio de disponibilidad
Los dominios de disponibilidad son centros de datos independientes dentro de una región. Los recursos físicos de cada dominio de disponibilidad están aislados de los recursos de los otros dominios de disponibilidad, lo que proporciona tolerancia a fallos. Los dominios de disponibilidad no comparten infraestructura, como la alimentación o la refrigeración, ni la red interna del dominio de disponibilidad. Por lo tanto, es poco probable que un fallo en un dominio de disponibilidad afecte a los otros dominios de esta región.
- Red virtual en la nube (VCN) y subredes
Una VCN es una red personalizable y definida por software que se configura en una región de Oracle Cloud Infrastructure. Al igual que las redes de los centros de datos tradicionales, las redes virtuales le proporcionan un control completo de su entorno de red. Una VCN puede tener varios bloques de CIDR no superpuestos que puede cambiar después de crear la VCN. Puede segmentar una VCN en subredes, las cuales se pueden acotar a una región o a un dominio de disponibilidad. Cada subred está formada por un rango contiguo de direcciones que no se solapan con las demás subredes de la VCN. Puede cambiar el tamaño de una subred después de la creación. Una subred puede ser pública o privada.
- Tabla de rutas
Las tablas de rutas virtuales contienen reglas para enrutar el tráfico de subredes a destinos fuera de una VCN, normalmente a través de gateways.
- Lista de Seguridad
Para cada subred, puede crear reglas de seguridad que especifiquen el origen, el destino y el tipo de tráfico que se debe permitir dentro y fuera de la subred.
- Gateway de Internet
El gateway de Internet permite el tráfico entre las subredes públicas de una VCN y la red pública de Internet.
- Gateway de servicio
El gateway de servicio proporciona acceso desde una VCN a otros servicios, como Oracle Cloud Infrastructure Object Storage. El tráfico desde la VCN al servicio Oracle recorre el tejido de red de Oracle y no Internet.
- Equilibrador de carga
El servicio Oracle Cloud Infrastructure Load Balancing proporciona una distribución automatizada del tráfico desde un único punto de entrada a varios servidores en el backend.
- Compute
El servicio Oracle Cloud Infrastructure Compute permite aprovisionar y gestionar hosts informáticos en la nube. Puede iniciar instancias informáticas con unidades que cumplan los requisitos de recursos de CPU, memoria, ancho de banda de red y almacenamiento. Después de crear una instancia informática, puede acceder a ella de forma segura, reiniciarla, asociar y desconectar volúmenes y terminarla cuando ya no la necesite.
- Object Storage
El almacenamiento de objetos proporciona acceso rápido a grandes cantidades de datos estructurados y no estructurados de cualquier tipo de contenido, incluidas copias de seguridad de base de datos, datos analíticos y contenido enriquecido, como imágenes y vídeos. Puede almacenar datos de forma segura y, a continuación, recuperarlos directamente desde Internet o desde la plataforma en la nube. Puede ampliar el almacenamiento sin problemas sin experimentar ninguna degradación del rendimiento ni de la fiabilidad del servicio. Utilice el almacenamiento estándar para el almacenamiento de acceso directo al que debe acceder de forma rápida, inmediata y frecuente. Utilice el almacenamiento de archivo para el almacenamiento "frío" que conserva durante largos períodos de tiempo y al que rara vez accede.
- Vault
Oracle Cloud Infrastructure Vault permite gestionar de forma centralizada las claves de cifrado que protegen los datos y las credenciales secretas que utiliza para proteger el acceso a los recursos en la nube. Puede utilizar el servicio Vault para crear y gestionar almacenes, claves y secretos.
- Monitoring
El servicio Oracle Cloud Infrastructure Monitoring supervisa de forma activa y pasiva los recursos en la nube mediante métricas para supervisar los recursos y las alarmas a fin de notificarle cuando estas métricas cumplan los disparadores especificados por la alarma.
- Oracle Base Database Service
Oracle Base Database Service es un servicio de base de datos de Oracle Cloud Infrastructure (OCI) que permite crear, ampliar y gestionar bases de datos Oracle con todas las funciones en máquinas virtuales. Un sistema de base de datos de VM utiliza el almacenamiento de OCI Block Volumes en lugar del almacenamiento local y puede ejecutar Oracle Real Application Clusters (Oracle RAC) para mejorar la disponibilidad.
Destacarse en la creación e implementación
¿Desea mostrar lo que ha creado en Oracle Cloud Infrastructure? ¿Desea compartir sus lecciones aprendidas, mejores prácticas y arquitecturas de referencia con nuestra comunidad global de arquitecturas en la nube? Permítanos ayudarle a comenzar.
- Descargar la plantilla (PPTX)
Ilustra tu propia arquitectura de referencia arrastrando y soltando los iconos en el marco de alambre de ejemplo.
- Ver el tutorial de arquitectura
Obtenga instrucciones paso a paso sobre cómo crear una arquitectura de referencia.
- Envíe el diagrama
Envíenos un correo electrónico con su diagrama. Nuestros arquitectos en la nube revisarán su diagrama y se pondrán en contacto con usted para analizar su arquitectura.
Explorar más
Obtenga más información sobre las funciones de esta arquitectura y sobre las arquitecturas relacionadas.
Confirmaciones
- Authors: Robert Huie, Sasha Banks-Louie
- Contributors: Brad Goodwin, Cory Quinn, Santosh Dixit, Pradyumna Kodgi, Joseph Dominski, Mckenzie Holiday, Robert LiesGas South Team: John Stiles, Jose Figueroa, Smitha Viswambharan, Marshall Sutherland, Arun Valliappan, Nadeem Fatmi, Michael Sallustio