Implémenter une architecture d'analyse de données multicloud en temps réel dans toutes les régions

Les entreprises souhaitent souvent tirer parti des plates-formes d'analyse existantes pour répondre à toutes leurs exigences en matière d'analyse de données en matière de cloud.

Cette solution multicloud décrit une architecture d'analyse de données inspirée par le client avec l'application Oracle E-Business Suite sur Oracle Cloud Infrastructure (OCI) aux Etats-Unis, tandis que les données Oracle E-Business Suite sont répliquées vers les analyses Microsoft Azure en Europe pour Azure Synapse quasiment en temps réel.

Les outils d'analyse et les sources de données sont connectés par un réseau privé dédié afin de fournir une faible latence et une bande passante élevée pour la réplication de données. Oracle Cloud Infrastructure GoldenGate (OCI GoldenGate) est utilisé pour la réplication de données. Les besoins des clients ont été satisfaits grâce à une solution d'analyse de données multicloud :

  • Migration d'Oracle Database sur site vers Oracle Base Database Service qui offre les avantages d'une disponibilité, de performances, d'une évolutivité, d'une sécurité et d'une productivité maximales pour les bases de données.
  • Conserver la pile Analytics dans Microsoft Azure, éliminant ainsi la nécessité d'apporter des modifications importantes aux configurations/intégrations pour les consommateurs en aval.
  • Utilisation d'OCI GoldenGate pour répliquer les données de modification d'Oracle Database vers Azure Data Lake Gen2 et Azure Synapse en temps réel.

Architecture

Cette architecture de référence montre comment activer la connectivité privée à faible latence entre les outils d'analyse de données d'une région Microsoft Azure et la ressource de données d'une région OCI distante.

Un partenaire FastConnect connecte Azure ExpressRoute et Oracle Cloud Infrastructure FastConnect pour rejoindre les deux réseaux cloud distants. Le réseau virtuel (VNet) sur le trafic Microsoft Azure traverse l'interconnexion privée au réseau cloud virtuel (VCN) sur OCI.

La base de données de production Oracle E-Business Suite est déployée sur Oracle Base Database Service à titre d'exemple. La solution s'applique à Oracle Autonomous Database et à Exadata Database Service en tant que base de données back-end.

Etant donné que la source est Oracle Database et que la cible est Azure Synapse/Azure Data Lake Storage Gen 2, la réplication OCI GoldenGate est déployée dans un sous-réseau distinct avec les deux déploiements suivants :
  1. Déploiement Oracle permettant de capturer des données à partir de la base de données Oracle E-Business Suite.
  2. Déploiement de Big Data pour appliquer les données capturées à partir de la base de données Oracle E-Business Suite à Azure Synapse.
OCI GoldenGate capture les données à partir d'Oracle Database et réplique ces données vers Azure Data Lake Gen2 et Azure Synapse quasiment en temps réel via FastConnect. La réplication OCI GoldenGate vers Synapse utilise le flux de données de phase et de fusion. Les données de modification sont préparées dans un emplacement temporaire, c'est-à-dire Azure Data Lake Storage Gen 2 dans des micro-batches et finalement fusionnées dans la table cible synapse.

Le diagramme suivant illustre cette architecture de référence.



oci-multicloud-db-analytics-azure-arch-oracle.zip

L'architecture se compose des éléments suivants :

Composants Oracle Cloud Infrastructure

  • Autonomous Transaction Processing

    Oracle Autonomous Transaction Processing est un service de base de données à pilotage, sécurité et réparation automatiques, optimisé pour les charges de travail de traitement des transactions. Il n'est pas nécessaire de configurer ou de gérer du matériel, ni d'installer un logiciel. Oracle Cloud Infrastructure gère la création de la base de données, ainsi que la sauvegarde, l'application de patches, la mise à niveau et le réglage de la base de données.

  • FastConnect

    Oracle Cloud Infrastructure FastConnect permet de créer facilement une connexion privée dédiée entre le centre de données et Oracle Cloud Infrastructure. FastConnect offre des options de bande passante plus élevée et une expérience réseau plus fiable par rapport aux connexions Internet.

  • Domaine de disponibilité

    Les domaines de disponibilité sont des centres de données autonomes indépendants au sein d'une région. Les ressources physiques de chaque domaine de disponibilité sont isolées de celles des autres, ce qui garantit la tolérance aux pannes. Les domaines de disponibilité ne partagent ni infrastructure (par exemple, alimentation, système de refroidissement), ni réseau de domaine de disponibilité interne. Ainsi, il est peu probable qu'un problème survenant dans un domaine de disponibilité affecte les autres domaines de disponibilité de la région.

  • Réseau cloud virtuel (VCN) et sous-réseau

    Un VCN est un réseau personnalisable défini par logiciel que vous configurez dans une région Oracle Cloud Infrastructure. Comme les réseaux de centre de données traditionnels, les réseaux cloud virtuels vous donnent un contrôle total sur l'environnement réseau. Un réseau cloud virtuel peut comporter plusieurs blocs CIDR qui ne se chevauchent pas et que vous pouvez modifier après l'avoir créé. Vous pouvez segmenter un réseau cloud virtuel en plusieurs sous-réseaux ciblant une région ou un domaine de disponibilité. Chaque sous-réseau est composé d'une plage contiguë d'adresses qui ne chevauchent pas celles des autres sous-réseaux du réseau cloud virtuel. Vous pouvez modifier la taille d'un sous-réseau après sa création. Un sous-réseau peut être public ou privé.

  • Liste de sécurité

    Pour chaque sous-réseau, vous pouvez créer des règles de sécurité qui indiquent la source, la destination et le type de trafic qui doivent être autorisés vers et depuis le sous-réseau.

  • Table de routage

    Les tables de routage virtuel contiennent des règles pour acheminer le trafic des sous-réseaux vers des destinations en dehors d'un VCN, généralement via des passerelles.

  • Dynamic routing gateway (DRG)

    Le DRG est un routeur virtuel qui fournit un chemin pour le trafic réseau privé entre les réseaux cloud virtuels de la même région, entre un VCN et un réseau en dehors de la région, tel qu'un VCN dans une autre région Oracle Cloud Infrastructure, un réseau sur site ou un réseau dans un autre fournisseur cloud.

  • Oracle Cloud Infrastructure GoldenGate

    Oracle Cloud Infrastructure GoldenGate est un service entièrement géré qui permet l'assimilation des données à partir de sources résidant sur site ou dans n'importe quel cloud, en exploitant la technologie CDC GoldenGate pour une capture et une distribution des données non intrusives et efficaces vers Oracle Autonomous Data Warehouse en temps réel et à grande échelle afin de mettre les informations pertinentes à la disposition des consommateurs le plus rapidement possible.

Composants Microsoft Azure
  • Réseau virtuel (VNet) et sous-réseau

    Un VNet est un réseau virtuel que vous définissez dans Azure. Un élément VNet peut comporter plusieurs sous-réseaux de blocs CIDR qui ne se chevauchent pas que vous pouvez ajouter après la création de l'élément VNet. Vous pouvez segmenter un élément VNet en sous-réseaux, qui peuvent être ciblés vers une région ou vers des zones de disponibilité. Chaque sous-réseau se compose d'une plage contiguë d'adresses qui ne chevauchent pas les autres sous-réseaux dans VNet. Utilisez VNet pour isoler vos ressources Microsoft Azure de manière logique au niveau du réseau.

  • ExpressRoute

    Azure ExpressRoute vous permet de configurer une connexion privée entre un VNet et un autre réseau, tel que votre réseau sur site ou un réseau dans un autre fournisseur cloud. ExpressRoute est une alternative plus fiable et plus rapide aux connexions Internet classiques, car le trafic sur ExpressRoute ne traverse pas le réseau Internet public.

  • passerelle de réseau virtuel

    Une passerelle de réseau virtuel autorise le trafic entre un Azure VNet et un réseau en dehors d'Azure, soit sur le réseau Internet public, soit à l'aide de ExpressRoute, selon le type de passerelle que vous indiquez.

  • Table de routage

    Les tables de routage dirigent le trafic entre les sous-réseaux Azure, VNets et les réseaux en dehors d'Azure.

  • Groupe de sécurité réseau

    Un groupe de sécurité réseau contient des règles permettant de contrôler le trafic réseau entre les ressources Azure dans un VNet. Chaque règle spécifie la source ou la destination, le port, le protocole et la direction du trafic réseau autorisé ou refusé.

  • Azure Synapse Analytics

    Azure Synapse Analytics est un service d'analyse qui rassemble l'intégration des données, l'entreposage de données d'entreprise et l'analyse du Big Data. Il permet d'interroger des données selon vos conditions, à l'aide d'options dédiées ou sans serveur, à grande échelle. Azure Synapse rassemble ces concepts avec une expérience unifiée pour ingérer, explorer, préparer, transformer, gérer et servir des données pour des besoins immédiats en BI et en machine learning.

  • Stockage de lac de données Azure Gen2

    Azure Data Lake Storage Gen2 est un ensemble de fonctionnalités dédié à l'analyse du Big Data, basé sur Azure Blob Storage. Data Lake Storage Gen2 converge les fonctionnalités d'Azure Data Lake Storage Gen1 avec Azure Blob Storage. Par exemple, Data Lake Storage Gen2 fournit une sémantique de système de fichiers, une sécurité de niveau fichier et une évolutivité. Ces fonctions étant basées sur le stockage Blob, vous bénéficiez également d'un stockage hiérarchisé à faible coût avec des fonctionnalités de haute disponibilité et de récupération après sinistre.

Recommandations

Utilisez les recommandations suivantes comme point de départ. Vos besoins peuvent différer de l'architecture décrite ici.
  • Provisionnement

    Choisissez la taille adaptée des circuits virtuels Oracle Cloud Infrastructure FastConnect et Azure ExpressRoute pour prendre en charge la bande passante nécessaire à la charge globale.

    Provision the Oracle Database using the OCI virtual cloud network (VCN)/subnet that is connected to the OCI Dynamic Routing Gateway (DRG) and OCI FastConnect.

    Configurez le routage et la sécurité/groupe de sécurité réseau sur OCI pour autoriser le trafic réseau Azure Synapse Analytics vers Oracle Database.

    Pour la base de données Oracle Cloud dans une adresse privée, spécifiez la configuration VCN pour autoriser le trafic uniquement à partir du VCN spécifié. Cela bloque l'accès à la base de données à partir de tous les réseaux cloud virtuels ou adresses IP publiques.

Remarques

Tenez compte des points suivants lors du déploiement de cette architecture de référence.

  • Coût

    Oracle Cloud Infrastructure FastConnect : le coût de FastConnect est identique dans toutes les régions Oracle Cloud Infrastructure. Il n'y a pas de frais de données entrants ou sortants distincts.

    Azure ExpressRoute : le coût Azure ExpressRoute varie d'une région à l'autre. Azure dispose de plusieurs SKU disponibles pour un routage express ; Oracle recommande d'utiliser le paramètre Local, car il n'a pas de frais d'entrée ou de sortie distincts, et il commence à la bande passante minimale de 1 Gbit/s. Les configurations Standard et Premium offrent une bande passante inférieure, mais entraînent des frais de sortie distincts dans une configuration mesurée.

    Le redimensionnement automatique d'Oracle CPU (OCPU) dans Oracle Autonomous Transaction Processing permet de gérer les pics de charge de travail lorsque cela est nécessaire et réduit également les coûts de licence dans une large mesure.

  • Performances

    Pour le cas d'utilisation client dans cette architecture de référence, l'exigence était la réplication de données en temps quasi réel de la base de données principale sur OCI vers les adresses Azure. Avec l'aide d'OCI GoldenGate, les réservoirs hétérogènes et multicloud Big Data du client étaient toujours à jour avec des données en temps réel issues de leurs systèmes de production opérationnels et analytiques permettant une analyse en temps réel.

  • Fonctions de réseau

    Oracle Interconnect for Microsoft Azure peut également être utilisé comme solution réseau alternative. Oracle Interconnect for Microsoft Azure est disponible uniquement sur des régions associées Azure-OCI spécifiques. Pour plus d'informations, reportez-vous à Découvrez ce que les régions Azure et OCI prennent en charge OracleDB pour Azure dans la section Découvrir plus.

    Si les régions OCI et Azure ne prennent pas en charge Oracle Interconnect for Microsoft Azure, vous pouvez utiliser le réseau de base de chaque fournisseur cloud (OCI et Azure) pour transporter le trafic. Si vous utilisez le réseau de base OCI, vous devez créer une région intermédiaire qui inclut la région Oracle Interconnect for Microsoft Azure disponible dans OCI et RPC (Remote Peering Connection) vers la région qui ne prend pas en charge Oracle Interconnect for Microsoft Azure.

    Remarque :

    Si vous utilisez le réseau de base OCI avec RPC dans une conception, vous devez utiliser un routage personnalisé au niveau de la passerelle de routage dynamique (DRG) pour acheminer le trafic de la région intermédiaire vers l'autre région, qui n'inclut pas la région éligible à l'interconnexion. Pour utiliser le squelette Azure, prenez en compte les SKU locales, standard et premium ExpressRoute afin de vous assurer que vous disposez des SKU appropriées pour connecter les deux régions dans Azure. Vous pouvez également envisager d'utiliser le fournisseur FastConnect avec les services de couche trois tels que le routeur cloud Megaport.

Remerciements

  • Author: Shrinidhi Kulkarni
  • Contributors: Wei Han, Atefeh Yousefi Attaei