Déployer une plate-forme ETL pour les données Oracle Utilities sur Oracle Cloud et Azure
Après avoir exécuté les applications Oracle Utilities Customer Cloud Service pour automatiser les opérations de service client, de facturation et de paiement, Gas South a déployé une plate-forme d'extraction, de transformation et de chargement de données (ETL) sur Oracle Cloud Infrastructure (OCI).
Fondée en 2006, Gas South, basée à Atlanta, fournit du gaz naturel à plus de 425 000 clients résidentiels, commerciaux et gouvernementaux dans 14 États, dont la Floride, le New Jersey, l'Ohio, le Texas et le Tennessee. En plus de moderniser ses opérations de service client et de facturation dans un déploiement multicloud sur Oracle Cloud et Microsoft Azure, Gas South a récemment revitalisé sa mission d'être un carburant pour de bon en reversant 5 % de ses bénéfices annuels pour aider les enfants dans le besoin, en donnant la priorité aux besoins de base, à l'éducation et à la santé. La société a fait don de plus de 12 millions de dollars à des organismes de bienfaisance depuis 2006, dont 3,2 millions de dollars en 2022, sa plus grande année jamais consacrée aux dons d'entreprises.
Dans son déploiement sur OCI, les données de service client et de facturation de Gas South sont capturées à partir des applications SaaS de l'utilitaire, contenues dans un bucket Oracle Cloud Infrastructure Object Storage, analysées dans des fichiers JSON, déplacées via Oracle SOA Cloud Service et stockées dans une base de données d'extraction de données généralisée (GDE). Les données de l'application utilitaire sont ensuite structurées pour une analyse et un reporting supplémentaires avant d'être déclenchées manuellement pour passer par un tunnel SSH (Secure Shell) à un moteur d'intégration Attunity Qlik qui se connecte à une application Microsoft Power BI exécutée sur un serveur SQL sur Azure.
Les points forts de ce déploiement sont les suivants :
- Les utilisateurs sont authentifiés à l'aide d'un tunnel SSH, d'un bastion et de clés publiques/privées avant de se connecter à la base de données d'extraction de données généralisée (GDE) dans un réseau cloud virtuel privé (VCN).
- Le service GDE est actuellement utilisé pour prendre les données du service client de l'application SaaS d'Oracle Utilities Customer Cloud Service et les transmettre à un moteur d'intégration Attunity Qlik, qui se connecte à une application Azure BI à des fins d'analyse et de reporting.
- Les journaux d'archivage sont activés dans la base de données Oracle sur OCI pour capturer les mises à jour de fichiers détectées par Attunity Qlik, puis intégrées à Microsoft BI sur Azure.
Architecture
Gas South a créé et déployé Oracle SOA Cloud Service (SOACS) sur Oracle Cloud Infrastructure (OCI), permettant à l'entreprise de services publics d'intégrer son service Oracle Utilities Customer Cloud Service (CCS) à son portail en libre-service, son système de réponse vocale interactive (IVR) et ses applications mobiles qui doivent accéder aux systèmes de paiement et financiers de Gas South.
Pour analyser les données générées par CCS, Gas South a déployé un système d'exportation de données généralisée (GDE) pour extraire les données de CCS et les importer dans Microsoft Business Intelligence, hébergé dans Microsoft Azure.
Le diagramme ci-dessous illustre le flux de données du système d'intégration SOA.
gaz-sud-données-flux-oracle.zip
Le flux de données de l'intégration SOA est décrit ci-dessous :
- Un utilisateur accède au portail de Gas South.
- Les données de facturation d'Oracle Utilities CCS (CCS) sont générées et envoyées à Oracle SOA Suite (SOA).
- SOA envoie les données de facturation au système financier.
- SOA envoie la facturation au portail en libre-service pour consultation par l'utilisateur.
- L'utilisateur paie la facture.
- Le paiement est traité.
- SOA est mis à jour avec le paiement pour indiquer que la facture est payée.
- SOA met à jour CCS pour indiquer que la facture est payée.
Le diagramme ci-dessous illustre le flux de données du système d'export de données.
gaz-sud-data-flow-ccs-oracle.zip
Voici la description du flux de données CCS pour l'export et l'import de données :
- CCS lance un export de données généralisé (GDE) toutes les deux heures pour exporter des données vers le stockage d'objets.
- Un script d'interface de ligne de commande (CLI) sur la machine virtuelle Oracle Base Database Service est lancé pour copier, fractionner et charger les fichiers dans la base de données.
- Attunity Qlik est configuré pour lire Oracle Database pour les modifications de journal.
- Si des modifications ont été apportées, Attunity Qlik extrait les modifications d'Oracle Database
- Les données sont transmises à Azure SQL.
- Les données sont accessibles par Microsoft Business Intelligence.
Le diagramme suivant illustre le diagramme de l'architecture de référence pour Gas South.
architecture-gaz-sud-oracle.zip
Le portail Gas South, IVR et l'application mobile sont hébergés sur Microsoft Azure. Les systèmes financiers Microsoft Azure et Gas South se connectent au réseau cloud virtuel (VCN) OCI à l'aide d'une passerelle Internet. Les services SOA fournissent le middleware et les systèmes CCS, Gas South Systems et des systèmes financiers tiers servent de systèmes source et cible.
Un serveur d'administration, deux serveurs gérés et un serveur de transfert de fichiers géré sont déployés dans le cadre de l'architecture SOA. La charge des deux serveurs gérés est équilibrée par un équilibreur de charge Oracle. La base de données est déployée à l'aide d'Oracle Base Database Service.
Pour l'export de données, le stockage d'objets est utilisé pour stocker les fichiers exportés à partir de CCS. Un script sur Oracle Base Database Service (base de données intermédiaire) est lancé pour copier, fractionner et charger les fichiers dans la base de données. Microsoft Attunity est utilisé pour lire et extraire des données de la base de données intermédiaire qui est ensuite accessible par Microsoft Business Intelligence à l'aide d'un tunnel SSH. Oracle Cloud Infrastructure Vault permet de gérer les clés.
Oracle a fourni les recommandations d'état suivantes à Gas South :
- Explorez la mise à niveau vers SOACS Marketplace. La mise à niveau vers SOACS Marketplace aidera Gas South à réduire les coûts de maintenance et d'administration informatiques.
- Découvrez les options natives du cloud et Platform-as-a-Service (PaaS) pour le processus de transformation et de chargement des données de CCS vers Azure SQL, en tirant parti d'Oracle Cloud Infrastructure Functions, d'Oracle Cloud Infrastructure Events, d'Oracle Cloud Infrastructure Data Integration et d'Oracle Integration Cloud Service.
Le schéma suivant illustre cette architecture de référence future.
gaz-sud-architecture-futur-oracle.zip
Un nouveau modèle de flux de données résultera des modifications apportées à l'architecture :
gaz-sud-données-flux-futur-oracle.zip
Voici la description du flux de données CCS pour l'export et l'import de données :
- CCS lance un export de données généralisé (GDE) toutes les deux heures pour exporter des données vers le stockage d'objets.
- Un événement dans Oracle Cloud Infrastructure Events détecte l'ajout de fichiers de données exportés dans le stockage d'objet.
- L'événement appelle une fonction.
- Une fonction dans Oracle Cloud Infrastructure Functions appelle Oracle Cloud Infrastructure Data Integration.
- Oracle Cloud Infrastructure Data Integration stocke les fichiers traités dans le stockage d'objets.
- Oracle Cloud Infrastructure Data Integration divise et stocke les fichiers traités dans le stockage d'objets.
- Un événement dans Oracle Cloud Infrastructure Events détecte l'ajout de fichiers de données fractionnés dans le stockage d'objet.
- L'événement appelle une fonction.
- Une fonction lit les fichiers fractionnés à partir du stockage d'objets.
- Une fonction appelle Oracle Integration Cloud Service.
- Les données sont transmises à Azure SQL et accessibles par Microsoft Business Intelligence.
L'architecture comporte les composants suivants :
- Location
Une location est une partition sécurisée et isolée qu'Oracle configure dans Oracle Cloud lors de votre inscription à Oracle Cloud Infrastructure. Vous pouvez créer, organiser et administrer vos ressources dans Oracle Cloud au sein de votre location. Une location est synonyme d'une entreprise ou d'une organisation. Habituellement, une entreprise a une location unique et reflète sa structure organisationnelle au sein de cette location. Une location unique est généralement associée à un seul abonnement, et un seul abonnement n'a généralement qu'une location.
- Région
Une région Oracle Cloud Infrastructure est une zone géographique localisée qui contient des centres de données, appelés domaines de disponibilité. Les régions sont indépendantes des autres, et de grandes distances peuvent les séparer (dans des pays voire des continents).
- Domaine de disponibilité
Les domaines de disponibilité sont des centres de données autonomes indépendants au sein d'une région. Les ressources physiques de chaque domaine de disponibilité sont isolées de celles des autres, ce qui garantit la tolérance aux pannes. Les domaines de disponibilité ne partagent ni infrastructure (par exemple, alimentation, système de refroidissement), ni réseau de domaine de disponibilité interne. Ainsi, il est peu probable qu'un domaine de disponibilité défaillant affecte les autres domaines de disponibilité de la région.
- Réseau cloud virtuel (VCN) et sous-réseaux
Un VCN est un réseau personnalisable défini par logiciel que vous configurez dans une région Oracle Cloud Infrastructure. Comme les réseaux de centre de données traditionnels, les réseaux cloud virtuels vous donnent un contrôle total sur l'environnement réseau. Un réseau cloud virtuel peut comporter plusieurs blocs CIDR qui ne se chevauchent pas et que vous pouvez modifier après l'avoir créé. Vous pouvez segmenter un réseau cloud virtuel en plusieurs sous-réseaux ciblant une région ou un domaine de disponibilité. Chaque sous-réseau est composé d'une plage contiguë d'adresses qui ne chevauchent pas celles des autres sous-réseaux du réseau cloud virtuel. Vous pouvez modifier la taille d'un sous-réseau après sa création. Un sous-réseau peut être public ou privé.
- Table de routage
Les tables de routage virtuelles contiennent des règles pour acheminer le trafic des sous-réseaux vers des destinations en dehors d'un VCN, généralement via des passerelles.
- Liste de sécurité
Pour chaque sous-réseau, vous pouvez créer des règles de sécurité indiquant la source, la destination et le type de trafic qui doivent être autorisés à entrer et sortir du sous-réseau.
- passerelle Internet
La passerelle Internet autorise le trafic entre les sous-réseaux publics d'un VCN et le réseau Internet public.
- Passerelle de service
La passerelle de service fournit un accès à partir d'un VCN à d'autres services, tels qu'Oracle Cloud Infrastructure Object Storage. Le trafic du VCN vers le service Oracle transite par la structure réseau Oracle et ne traverse jamais Internet.
- Equilibreur de charge
Le service Oracle Cloud Infrastructure Load Balancing fournit une répartition de trafic automatisée à partir d'un point d'entrée unique vers plusieurs serveurs dans le back-end.
- Compute
Le service Oracle Cloud Infrastructure Compute vous permet de provisionner et de gérer des hôtes de calcul dans le cloud. Vous pouvez lancer des instances de calcul avec des formes qui répondent à vos besoins en ressources en matière de CPU, de mémoire, de bande passante réseau et de stockage. Après avoir créé une instance de calcul, vous pouvez y accéder en toute sécurité, la redémarrer, attacher et détacher des volumes, et y mettre fin lorsque vous n'en avez plus besoin.
- Stockage d'objets
Object Storage fournit un accès rapide à de grandes quantités de données, structurées ou non, de tout type de contenu, y compris des sauvegardes de base de données, des données analytiques et du contenu enrichi tel que des images et des vidéos. Vous pouvez stocker les données, puis les extraire directement à partir d'Internet ou de la plate-forme cloud, et ce, en toute sécurité. Vous pouvez facilement faire évoluer le stockage sans dégradation des performances ni de la fiabilité des services. Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archive pour le stockage "à froid" que vous conservez pendant de longues périodes et auquel vous accédez rarement.
- Vault
Oracle Cloud Infrastructure Vault vous permet de gérer de manière centralisée les clés de cryptage qui protègent vos données et les informations d'identification de clé secrète utilisées pour sécuriser l'accès à vos ressources dans le cloud. Vous pouvez utiliser le service Vault pour créer et gérer des coffres, des clés et des clés secrètes.
- Monitoring
Le service Oracle Cloud Infrastructure Monitoring surveille de manière active et passive vos ressources cloud à l'aide de mesures pour surveiller les ressources et les alarmes afin de vous avertir lorsque ces mesures répondent aux déclencheurs spécifiés par les alarmes.
- Oracle Base Database Service
Oracle Base Database Service est un service de base de données Oracle Cloud Infrastructure (OCI) qui vous permet de créer, de mettre à l'échelle et de gérer des bases de données Oracle complètes sur des machines virtuelles. Un système de base de données de machine virtuelle utilise le stockage OCI Block Volumes au lieu du stockage local et peut exécuter Oracle Real Application Clusters (Oracle RAC) pour améliorer la disponibilité.
Présentez-vous dans Création et déploiement
Vous voulez montrer ce que vous avez créé sur Oracle Cloud Infrastructure ? Vous souhaitez partager vos leçons apprises, vos meilleures pratiques et vos architectures de référence avec notre communauté mondiale d'architectes cloud ? Laissez-vous guider.
- Télécharger le modèle (PPTX)
Illustrez votre propre architecture de référence en faisant glisser les icônes dans l'exemple d'image filaire.
- Regarder le tutoriel sur l'architecture
Obtenez des instructions étape par étape sur la création d'une architecture de référence.
- Soumettre le diagramme
Envoyez-nous un courriel avec votre diagramme. Nos architectes cloud examineront votre diagramme et vous contacteront pour discuter de votre architecture.
En savoir plus
En savoir plus sur les caractéristiques de cette architecture et sur les architectures associées.
Accusés de réception
- Authors: Robert Huie, Sasha Banks-Louie
- Contributors: Brad Goodwin, Cory Quinn, Santosh Dixit, Pradyumna Kodgi, Joseph Dominski, Mckenzie Holiday, Robert LiesGas South Team: John Stiles, Jose Figueroa, Smitha Viswambharan, Marshall Sutherland, Arun Valliappan, Nadeem Fatmi, Michael Sallustio