Déployer une plate-forme ETL pour les données Oracle Utilities sur Oracle Cloud et Azure
Après avoir exécuté les applications Oracle Utilities Customer Cloud Service pour automatiser le service client, la facturation et les opérations de paiement, Gas South a déployé une plate-forme d'extraction, de transformation et de chargement des données (ETL) sur Oracle Cloud Infrastructure (OCI).
Fondée en 2006, Gas South, basée à Atlanta, fournit du gaz naturel à plus de 425 000 clients résidentiels, commerciaux et gouvernementaux dans 14 États, dont la Floride, le New Jersey, l'Ohio, le Texas et le Tennessee. En plus de moderniser son service client et ses opérations de facturation dans un déploiement multicloud sur Oracle Cloud et Microsoft Azure, Gas South a récemment revitalisé sa mission de devenir un carburant pour le bien en remboursant 5 % de ses bénéfices annuels pour aider les enfants dans le besoin, en donnant la priorité aux besoins de base, à l'éducation et à la santé. La société a fait don de plus de 12 millions de dollars à des organismes de bienfaisance depuis 2006, dont 3,2 millions de dollars en 2022, sa plus grande année jamais consacrée aux dons d'entreprises.
Dans son déploiement sur OCI, les données de service client et de facturation de Gas South sont capturées à partir des applications SaaS de l'utilitaire, conservées dans un bucket Oracle Cloud Infrastructure Object Storage, analysées dans des fichiers JSON, déplacées via Oracle SOA Cloud Service et stockées dans une base de données d'extraction de données généralisée (GDE). Les données de l'application utilitaire sont ensuite structurées pour une analyse et un reporting supplémentaires avant d'être déclenchées manuellement pour passer par un tunnel de shell sécurisé (SSH) à un moteur d'intégration Attunity Qlik qui se connecte à une application Microsoft Power BI exécutée sur un serveur SQL Server sur Azure.
Voici les points forts de ce déploiement :
- Les utilisateurs sont authentifiés à l'aide d'un tunnel SSH, d'un bastion et de clés publiques/privées avant de se connecter à la base de données d'extraction de données généralisée (GDE) dans un réseau cloud virtuel privé (VCN).
- Le service GDE est actuellement utilisé pour prendre les données de service client de l'application Oracle Utilities Customer Cloud Service SaaS et les transmettre à un moteur d'intégration Attunity Qlik, qui se connecte à une application Azure BI pour l'analyse et le reporting.
- Les journaux d'archivage sont activés dans la base de données Oracle sur OCI pour capturer les mises à jour de fichier détectées par Attunity Qlik, puis intégrées à Microsoft BI sur Azure.
Architecture
Gas South a créé et déployé Oracle SOA Cloud Service (SOACS) sur Oracle Cloud Infrastructure (OCI), ce qui permet à l'entreprise de services publics d'intégrer son service Oracle Utilities Customer Cloud Service (CCS) à son portail en libre-service, son système de réponse vocale interactive (IVR) et ses applications mobiles qui doivent accéder aux systèmes de paiement et financiers de Gas South.
Pour analyser les données générées par CCS, Gas South a déployé un système d'export de données généralisé (GDE) pour extraire des données de CCS et les importer dans Microsoft Business Intelligence, qui est hébergé dans Microsoft Azure.
Le diagramme ci-dessous illustre le flux de données du système d'intégration SOA.
gas-south-data-flow-oracle.zip
Le flux de données de l'intégration SOA est décrit ci-dessous :
- Un utilisateur accède au portail de Gas South.
- Les données de facturation d'Oracle Utilities CCS (CCS) sont générées et envoyées à Oracle SOA Suite (SOA).
- SOA envoie les données de facturation au système financier.
- SOA envoie la facturation au portail en libre-service pour vérification par l'utilisateur.
- L'utilisateur paie la facture.
- Le paiement est traité.
- SOA est mis à jour avec le paiement pour indiquer que la facture est payée.
- SOA met à jour CCS pour indiquer que la facture est payée.
Le diagramme ci-dessous illustre le flux de données du système d'export de données.
gaz-sud-données-écoulement-ccs-oracle.zip
Ce qui suit décrit le flux de données CCS pour l'export et l'import de données :
- CCS lance un export de données généralisé (GDE) toutes les deux heures pour exporter des données vers le stockage d'objets.
- Un script d'interface de ligne de commande (CLI) sur la machine virtuelle Oracle Base Database Service est lancé pour copier, fractionner et charger les fichiers dans la base de données.
- Attunity Qlik est configuré pour lire Oracle Database pour les modifications de journal.
- Si des modifications ont eu lieu, Attunity Qlik extrait les modifications d'Oracle Database
- Les données sont transmises à Azure SQL.
- Les données sont accessibles par Microsoft Business Intelligence.
Le diagramme suivant illustre le diagramme de l'architecture de référence pour Gas South.
gaz-sud-architecture-oracle.zip
Le portail Gas South, IVR et l'application mobile sont hébergés sur Microsoft Azure. Les systèmes financiers Microsoft Azure et Gas South se connectent au réseau cloud virtuel OCI (VCN) à l'aide d'une passerelle Internet. Les services SOA fournissent le middleware et le CCS, les systèmes Gas South et les systèmes financiers tiers servent de systèmes source et cible.
Un serveur d'administration, deux serveurs gérés et un serveur de transfert de fichiers géré (MFT) sont déployés dans le cadre de SOA. Les deux serveurs gérés sont équilibrés par un équilibreur de charge Oracle. La base de données est déployée à l'aide d'Oracle Base Database Service.
Pour l'export de données, le stockage d'objets est utilisé pour stocker les fichiers exportés à partir de CCS. Un script sur Oracle Base Database Service (base de données intermédiaire) est lancé pour copier, fractionner et charger les fichiers dans la base de données. Microsoft Attunity est utilisé pour lire et extraire des données de la base de données intermédiaire, qui est ensuite accessible par Microsoft Business Intelligence à l'aide d'un tunnel SSH. Oracle Cloud Infrastructure Vault permet de gérer les clés.
Oracle a fourni les recommandations d'État suivantes à Gas South :
- Explorer la mise à niveau vers SOACS Marketplace. La mise à niveau vers SOACS Marketplace aidera Gas South à réduire les coûts de maintenance et d'administration des TI.
- Découvrez les options cloud natives et Platform-as-a-Service (PaaS) pour le processus de transformation et de chargement des données de CCS vers Azure SQL, en tirant parti d'Oracle Cloud Infrastructure Functions, d'Oracle Cloud Infrastructure Events, d'Oracle Cloud Infrastructure Data Integration et d'Oracle Integration.
Le schéma suivant illustre cette future architecture de référence.
gaz-sud-architecture-futur-oracle.zip
Un nouveau modèle de flux de données résulte des modifications architecturales :
gaz-sud-données-flux-futur-oracle.zip
Ce qui suit décrit le flux de données CCS pour l'export et l'import de données :
- CCS lance un export de données généralisé (GDE) toutes les deux heures pour exporter des données vers le stockage d'objets.
- Un événement dans Oracle Cloud Infrastructure Events détecte l'ajout de fichiers de données exportés dans le stockage d'objets.
- L'événement appelle une fonction.
- Une fonction dans Oracle Cloud Infrastructure Functions appelle OCI Data Integration.
- OCI Data Integration stocke les fichiers traités dans le stockage d'objets.
- OCI Data Integration fractionne et stocke les fichiers traités dans le stockage d'objets.
- Un événement dans Oracle Cloud Infrastructure Events détecte l'ajout de fichiers de données fractionnés dans le stockage d'objets.
- L'événement appelle une fonction.
- Une fonction lit les fichiers fractionnés à partir du stockage d'objets.
- Une fonction appelle Oracle Integration.
- Les données sont transmises à Azure SQL et sont accessibles par Microsoft Business Intelligence.
L'architecture comporte les composants suivants :
- Tenancy
Une location est une partition sécurisée et isolée qu'Oracle configure dans Oracle Cloud lorsque vous souscrivez à OCI. Vous pouvez créer, organiser et administrer vos ressources sur OCI dans votre location. Une location est synonyme d'entreprise ou d'organisation. Habituellement, une entreprise aura une seule location et reflétera sa structure organisationnelle au sein de cette location. Une location unique est généralement associée à un seul abonnement, et un seul abonnement n'a généralement qu'une seule location.
- Région OCI
Une région OCI est une zone géographique précise qui contient des centres de données, hébergeant des domaines de disponibilité. Les régions sont indépendantes les une des autres et peuvent les séparer d'un pays ou d'un continent à l'autre par de grandes distances.
- Domaine de disponibilité
Les domaines de disponibilité sont des centres de données autonomes indépendants au sein d'une région. Les ressources physiques de chaque domaine de disponibilité sont isolées de celles des autres, ce qui garantit la tolérance aux pannes. Les domaines de disponibilité ne partagent ni infrastructure (par exemple, alimentation, système de refroidissement), ni réseau de domaine de disponibilité interne. Par conséquent, une panne sur un domaine de disponibilité ne doit pas affecter les autres domaines de disponibilité de la région.
- Réseau cloud virtuel (VCN) et sous-réseaux
Un réseau cloud virtuel est un réseau personnalisable défini par logiciel que vous configurez dans une région OCI. Comme les Réseaux de centre de données traditionnels, les Réseaux cloud virtuels vous donnent un contrôle sur l'environnement réseau. Un VCN peut comporter plusieurs blocs de routage interdomaine sans classe (CIDR) qui ne se chevauchent pas et que vous pouvez modifier une fois le VCN créé. Vous pouvez segmenter un réseau cloud virtuel en plusieurs sous-réseaux ciblant une région ou un domaine de disponibilité. Chaque sous-réseau est composé d'une plage contiguë d'adresses qui ne chevauchent pas celles des autres sous-réseaux du réseau cloud virtuel. Vous pouvez modifier la taille d'un sous-réseau après sa création. Un sous-réseau peut être public ou privé.
- Table de routage
Les tables de routage virtuelles contiennent des règles permettant de router le trafic des sous-réseaux vers des destinations en dehors d'un VCN, généralement via des passerelles.
- Liste de sécurité
Pour chaque sous-réseau, vous pouvez créer des règles de sécurité qui indiquent la source, la destination et le type de trafic autorisés à l'entrée et à la sortie du sous-réseau.
- Passerelle Internet
Une passerelle Internet permet le trafic entre les sous-réseaux publics d'un VCN et le réseau Internet public.
- Passerelle de service
Une passerelle de service fournit un accès à partir d'un VCN à d'autres services, tels qu'Oracle Cloud Infrastructure Object Storage. Le trafic entre le VCN et le service Oracle passe par la structure réseau Oracle et ne traverse pas Internet.
- Equilibreur de charge
Oracle Cloud Infrastructure Load Balancer fournit une distribution automatisée du trafic d'un point d'entrée unique à plusieurs serveurs.
- Calcul OCI
Avec Oracle Cloud Infrastructure Compute, vous pouvez provisionner et gérer des hôtes de calcul dans le cloud. Vous pouvez lancer des instances de calcul avec des formes qui répondent à vos besoins en ressources pour l'UC, la mémoire, la bande passante réseau et le stockage. Après avoir créé une instance de calcul, vous pouvez y accéder en toute sécurité, la redémarrer, attacher et détacher des volumes, et y mettre fin lorsque vous n'en avez plus besoin.
- OCI Object Storage
OCI Object Storage fournit un accès à des quantités importantes de informations structurées et non, de tout type de contenu, y compris les sauvegardes de base de donnée, les données analytiques et le contenu enrichi tel que des images et des vidéos. Vous pouvez stocker des données en toute sécurité directement à partir des applications ou de la plate-forme cloud. Vous pouvez redimensionner le stockage sans dégradation des performances ni de la fiabilité de services.
Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archive pour le stockage "à froid" que vous conservez durant de longues périodes et auquel il est rare d'y accéder.
- OCI Vault
Oracle Cloud Infrastructure Vault vous permet de créer et de gérer de manière centralisée les clés de cryptage qui protègent vos données et les informations d'identification de clé secrète que vous utilisez pour sécuriser l'accès à vos ressources dans le cloud. La gestion des clés par défaut est celle des clés gérées par Oracle. Vous pouvez également utiliser des clés gérées par le client qui utilisent OCI Vault. OCI Vault offre un riche ensemble d'API REST permettant de gérer les coffres et les clés.
- Surveillance OCI
Oracle Cloud Infrastructure Monitoring surveille activement et passivement vos ressources cloud et utilise des alarmes pour vous avertir lorsque les mesures répondent aux déclencheurs spécifiés.
- Oracle Base Database Service
Oracle Base Database Service est un service de base de données Oracle Cloud Infrastructure (OCI) qui vous permet de créer, de mettre à l'échelle et de gérer des bases de données Oracle complètes sur des machines virtuelles. Un système de base de données de machine virtuelle utilise le stockage OCI Block Volumes au lieu du stockage local et peut exécuter Oracle Real Application Clusters (Oracle RAC) pour améliorer la disponibilité.
En savoir plus
En savoir plus sur les fonctionnalités de cette architecture et sur les architectures associées.
Accusés de réception
- Authors: Robert Huie, Sasha Banks-Louie
- Contributors: Oracle Team: Brad Goodwin, Cory Quinn, Santosh Dixit, Pradyumna Kodgi, Joseph Dominski, Mckenzie Holiday, Robert LiesGas South Team: John Stiles, Jose Figueroa, Smitha Viswambharan, Marshall Sutherland, Nadeem Fatmi, Michael Sallustio