Plate-forme de données - Entrepôt de données ministériel pour le secteur d'activité
Utilisez Oracle Autonomous Data Warehouse et Oracle Analytics Cloud pour charger et optimiser les données d'Oracle E-Business Suite, de feuilles de calcul, de tiers et d'autres sources dans un entrepôt de données centralisé afin que les services puissent analyser les données et obtenir des informations exploitables.
Cette architecture de référence positionne la solution technologique dans le contexte global de l'activité :
Les secteurs d'activité ne disposent généralement pas d'un accès rapide ou efficace aux données et à l'information. Les analystes recueillent les données manuellement, travaillent avec elles sur une base individuelle, puis partagent des copies de fichiers via des serveurs de messagerie ou de fichiers. Les données ne sont pas centralisées, il est donc difficile d'assurer l'exactitude et la sécurité des données. L'analyse peut prendre beaucoup de temps et les résultats ne sont pas facilement répétables.
Un data warehouse départemental est une forme simple d'un data warehouse qui se concentre sur un seul domaine ou domaine fonctionnel, tel que les ventes, le marketing ou les finances, et est souvent construit et contrôlé par un seul service au sein d'une organisation. Les data warehouses des services tirent généralement des données de quelques sources seulement. Les sources peuvent inclure des systèmes internes, un data warehouse central ou des données externes.
Les data warehouses d'entreprise et de service gérés peuvent fournir des informations riches aux utilisateurs professionnels et fournir plus efficacement les indicateurs clés de performance de l'entreprise sans dépendre fortement des ressources et de la disponibilité informatiques.
Architecture
Cette architecture utilise Oracle Autonomous Data Warehouse pour charger et optimiser des données à partir de plusieurs systèmes financiers, feuilles de calcul et autres sources de données dans un entrepôt de données centralisé, puis utilise Oracle Analytics Cloud pour analyser les données afin de fournir des informations exploitables.
Cette architecture prend en charge plusieurs cas d'emploi. Le chemin le plus direct fournit une méthode simple pour acquérir, transformer et charger des données dans l'entrepôt de données à l'aide d'outils intégrés à Oracle Autonomous Data Warehouse (ADW). D'autres chemins prennent en charge des scénarios qui utilisent un lac de données ou des scénarios présentant des exigences plus complexes en matière d'extraction, de transformation et de chargement (ETL).
Description de l'illustration data-platform-ebs.png
L'architecture se concentre sur les divisions logiques suivantes :
- Ingérer, transformer, connecter
Ingère et affine les données à utiliser dans chacune des couches de données de l'architecture.
- Persister, Curer, Créer
Facilite l'accès et la navigation aux données pour afficher la vue métier en cours. Pour les technologies relationnelles, les données peuvent être logiques ou physiquement structurées sous forme relationnelle, longitudinale, dimensionnelle ou OLAP simple. Pour les données non relationnelles, cette couche contient un ou plusieurs pools de données, soit la sortie d'un processus analytique, soit les données optimisées pour une tâche analytique spécifique.
- Analyser, apprendre, prédire
Résumé de la vue d'entreprise logique des données pour les consommateurs. Cette abstraction facilite les approches agiles du développement, la migration vers l'architecture cible et la fourniture d'une couche de reporting unique provenant de sources fédérées multiples.
Le diagramme suivant présente un mappage de l'architecture aux services fournis sur Oracle Cloud Infrastructure avec une sécurité de base.
oci-adb-oac-arch-public-oracle.zip
L'architecture comprend les composants suivants :
- Autonomous Data Warehouse
Oracle Autonomous Data Warehouse est un service de base de données autonome, auto-sécurisé et auto-réparateur optimisé pour les charges globales d'entreposage de données. Vous n'avez pas besoin de configurer ou de gérer un matériel, ni d'installer un logiciel. Oracle Cloud Infrastructure gère la création de la base de données ainsi que la sauvegarde, l'application de patches, la mise à niveau et le réglage de la base de données.
- Données analytiques
Oracle Analytics Cloud est un service cloud public évolutif et sécurisé qui fournit un ensemble complet de fonctionnalités permettant d'explorer et d'effectuer des analyses collaboratives pour vous, votre groupe de travail et votre entreprise.
Avec Oracle Analytics Cloud, vous disposez également de fonctionnalités de gestion de service flexibles, notamment une configuration rapide, une mise à l'échelle et des patches faciles, et une gestion automatisée du cycle de vie.
- Intégration des données
Oracle Autonomous Data Warehouse inclut des outils permettant d'acquérir, de charger et de transformer des données pour de nombreux scénarios ministériels.
Pour les cas d'utilisation avancée, vous pouvez utiliser Oracle Cloud Infrastructure Data Integration, un service cloud natif entièrement géré, sans serveur qui vous aide à effectuer des tâches d'extraction, de chargement et de transformation (ETL) communes, telles que l'ingestion de données provenant de différentes sources, le nettoyage, la transformation et la restructuration de ces données, puis le charger efficacement vers des sources de données cible sur Oracle Cloud Infrastructure.
- Région
Une région Oracle Cloud Infrastructure est une zone géographique localisée qui contient des centres de données, appelés domaines de disponibilité. Les régions sont indépendantes les unes des autres et de grandes distances peuvent les séparer (dans des pays voire des continents).
- Compartiment
Les compartiments sont des partitions logiques inter-région au sein d'une location Oracle Cloud Infrastructure. Utilisez des compartiments pour organiser vos ressources dans Oracle Cloud, contrôler l'accès aux ressources et définir des quotas d'utilisation. Pour contrôler l'accès aux ressources d'un compartiment donné, vous définissez des stratégies qui indiquent qui peut accéder aux ressources et les actions réalisables.
- Identity and Access Management (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) est le plan de contrôle d'accès pour Oracle Cloud Infrastructure (OCI) et les applications Oracle Cloud. L'API IAM et l'interface utilisateur vous permettent de gérer les domaines d'identité et les ressources au sein du domaine d'identité. Chaque domaine d'identité OCI IAM représente une solution de gestion des identités et des accès autonome ou une population d'utilisateurs différente.
- Stratégie
Une stratégie Oracle Cloud Infrastructure Identity and Access Management indique qui peut accéder à quelles ressources et comment. L'accès est accordé au niveau du groupe et du compartiment, ce qui signifie que vous pouvez écrire une stratégie qui accorde à un groupe un type d'accès spécifique au sein d'un compartiment spécifique ou à la location.
- Domaine de disponibilité
Les domaines de disponibilité sont des centres de données indépendants autonomes au sein d'une région. Les ressources physiques de chaque domaine de disponibilité sont isolées des ressources des autres domaines de disponibilité, ce qui assure la tolérance aux pannes. Les domaines de disponibilité ne partagent ni infrastructure telle que l'alimentation ou le refroidissement, ni réseau de domaine de disponibilité interne. Ainsi, il est peu probable qu'un problème survenant sur un domaine de disponibilité affecte les autres domaines de disponibilité de la région.
- Réseau cloud virtuel (VCN) et sous-réseau
Un VCN est un réseau personnalisable défini par logiciel que vous configurez dans une région Oracle Cloud Infrastructure. Comme les réseaux de centres de données traditionnels, les réseaux cloud virtuels vous donnent un contrôle total sur votre environnement réseau. Un VCN peut comporter plusieurs blocs CIDR qui ne se chevauchent pas et que vous pouvez modifier après avoir créé le VCN. Vous pouvez segmenter un VCN en sous-réseaux, qui peuvent être ciblés vers une région ou un domaine de disponibilité. Chaque sous-réseau se compose d'une plage contiguë d'adresses qui ne chevauchent pas les autres sous-réseaux du VCN. Vous pouvez modifier la taille d'un sous-réseau après sa création. Un sous-réseau peut être public ou privé.
- Liste de sécurité
Pour chaque sous-réseau, vous pouvez créer des règles de sécurité qui indiquent la source, la destination et le type de trafic qui doivent être autorisés vers et depuis le sous-réseau.
- Table de routage
Les tables de routage virtuel contiennent des règles pour acheminer le trafic des sous-réseaux vers des destinations en dehors d'un VCN, généralement via des passerelles.
- Passerelle Internet
La passerelle Internet autorise le trafic entre les sous-réseaux publics d'un VCN et le réseau Internet public.
- VPN site à site
Le VPN site à site fournit une connectivité VPN IPSec entre votre réseau sur site et vos réseaux cloud virtuels dans Oracle Cloud Infrastructure. La suite de protocoles IPSec permet de crypter le trafic IP avant le transfert des paquets de la source vers la destination, puis de le décrypter à son arrivée.
- Dynamic routing gateway (DRG)
Le DRG est un routeur virtuel qui fournit un chemin pour le trafic réseau privé entre les réseaux cloud virtuels de la même région, entre un VCN et un réseau en dehors de la région, tel qu'un VCN dans une autre région Oracle Cloud Infrastructure, un réseau sur site ou un réseau dans un autre fournisseur cloud.
- Passerelle NAT (Network Address Translation)
Une passerelle NAT permet aux ressources privées d'un VCN d'accéder aux hôtes sur Internet, sans exposer ces ressources aux connexions Internet entrantes.
- Passerelle de service
La passerelle de service fournit l'accès d'un VCN à d'autres services, tels qu'Oracle Cloud Infrastructure Object Storage. Le trafic du VCN vers le service Oracle se déplace sur la structure réseau Oracle et ne traverse jamais Internet.
- Groupe de sécurité réseau
Le groupe de sécurité réseau fait office de pare-feu virtuel pour vos ressources cloud. Avec le modèle de sécurité de confiance zéro d'Oracle Cloud Infrastructure, tout le trafic est refusé et vous pouvez contrôler le trafic réseau à l'intérieur d'un VCN. Un groupe de sécurité réseau se compose d'un ensemble de règles de sécurité entrantes et sortantes qui s'appliquent uniquement à un ensemble spécifié de cartes d'interface réseau virtuelles dans un seul VCN.
- Stockage d'objets
Object Storage offre un accès rapide à de grandes quantités de données structurées et non structurées de tout type de contenu, y compris des sauvegardes de base de données, des données analytiques et du contenu enrichi tel que des images et des vidéos. Vous pouvez stocker les données, puis les extraire directement à partir d'Internet ou de la plate-forme cloud, et ce, en toute sécurité. Vous pouvez adapter le stockage de manière transparente sans subir de dégradation des performances ni de la fiabilité du service. Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archive pour un stockage "froid" que vous conservez pendant de longues périodes et que vous accédez rarement ou rarement.
Recommandations
Utilisez les recommandations suivantes comme point de départ pour charger et optimiser les données provenant de plusieurs sources plates dans un emplacement centralisé d'entrepôt de données pour analyse.
Vos exigences peuvent différer de l'architecture décrite ici.
- Raffinerie de données
Les outils Autonomous Database sont intégrés dans Oracle Autonomous Data Warehouse et offrent la possibilité de charger, de transformer, de cataloguer, d'obtenir des informations et même de développer des business models de manière simple. Ces outils se trouvent dans le menu Database Actions.
- Oracle Analytics Cloud
Avant de vous connecter à Oracle Analytics Cloud à Oracle Autonomous Data Warehouse, un administrateur de base de données doit ajouter l'adresse IP (ou la plage) de votre instance Oracle Analytics Cloud à la liste des adresses autorisées. L'administrateur de base de données doit ajouter une règle de sécurité qui autorise le trafic TCP/IP à partir d'Oracle Analytics Cloud vers la base de données.
Remarques
Lors du chargement et de l'optimisation des données à partir de plusieurs sources plates dans un emplacement centralisé d'entrepôt de données pour analyse, examinez ces options d'implémentation.
| Orientation | Raffinerie de données | Plate-forme de persistance des données | Accès et interprétation |
|---|---|---|---|
| Recommandé | Outils Oracle Autonomous Database (Database Actions) | Oracle Autonomous Data Warehouse | Oracle Analytics Cloud |
| Autres options | Intégration de données Oracle Cloud Infrastructure | Oracle Exadata Database Service | |
| Raisonnement | Oracle Autonomous Data Warehouse est une base de données facile à utiliser et entièrement autonome qui offre un accès direct à une variété de sources de données telles que les fichiers CSV et les sources de données relationnelles et leur assimilation. | Oracle Autonomous Data Warehouse est une base de données facile à utiliser et entièrement autonome qui évolue élastiquement, offre des performances d'interrogation rapides et ne nécessite aucune administration de base de données. Il offre également un accès direct aux données à partir du stockage des objets via des tables externes. | Oracle Analytics Cloud est un système entièrement géré et étroitement intégré à la couche de données organisée (Oracle Autonomous Data Warehouse). |
Déployer
Le code Terraform de cette architecture de référence est disponible dans GitHub. Vous pouvez extraire le code vers Oracle Cloud Infrastructure Resource Manager en un seul clic, créer la pile et le déployer. Vous pouvez également télécharger le code depuis GitHub vers votre ordinateur, personnaliser le code et déployer l'architecture à l'aide de l'interface de ligne de commande (CLI) Terraform.
- Déployer à l'aide d'Oracle Cloud Infrastructure Resource Manager :
- Cliquez sur
Si vous n'êtes pas déjà connecté, entrez les informations d'identification de location et d'utilisateur.
- Consultez et acceptez les conditions générales.
- Sélectionnez la région dans laquelle déployer la pile.
- Suivez les invites et instructions affichées à l'écran pour créer la pile.
- Après avoir créé la pile, cliquez sur Actions Terraform, puis sélectionnez Plan.
- Attendez que le travail soit terminé, puis vérifiez le plan.
Pour apporter des modifications, revenez à la page Détails de la pile, cliquez sur Modifier la pile et apportez les modifications nécessaires. Ensuite, réexécutez l'action Plan.
- Si aucune autre modification n'est nécessaire, revenez à la page Détails de la pile, cliquez sur Actions Terraform, puis sélectionnez Appliquer.
- Cliquez sur
- Déployer à l'aide du code Terraform dans GitHub:
- Accédez à GitHub.
- Cloner ou télécharger le référentiel sur votre ordinateur local.
- Suivez les instructions du document
README.
Explorer plus
En savoir plus sur les architectures connexes et sur les caractéristiques de cette architecture.
Journal des modifications
Ce journal répertorie uniquement les modifications importantes :
| Juin 20, 2023 | Mise à jour de la section Déployer pour supprimer la solution complète et les options de déploiement de petites solutions. |
| 8 décembre 2022 |
|
| 10 février 2022 | Mise à jour de la section Déployer et des liens inclus pour le déploiement d'une solution complète et de petite taille. |
| 12 novembre 2021 | Ajout de l'option pour télécharger les versions modifiables (.SVG et .DRAWIO) du diagramme d'architecture. |
| 17 mars 2021 |
|
| 11 décembre 2020 | La section Déployer a été mise à jour pour déployer la pile dans GitHub directement vers Oracle Cloud Infrastructure Resource Manager en un seul clic. |
| 21 septembre 2020 | La section Déployer a été mise à jour pour inclure un lien vers Oracle Cloud Infrastructure Resource Manager en tant que source pour la pile Terraform. |
| Juin 29, 2020 | Le lien GitHub de la section Déployer a été mis à jour pour pointer vers le dossier d'utilisation spécifique du dossier de projet. |