Réaliser des analyses de données multicloud avec la plate-forme de données innovante d'Oracle
Les entreprises peuvent créer un data warehouse d'entreprise pour stocker les données en direct et archivées dans un seul emplacement.
Les données sont générées suite à la fin d'un processus métier, à l'exécution d'opérations ou à la vente de produits. En raison de sources de données hétérogènes, les entreprises souhaitent adopter une approche simplifiée pour créer une banque de données centralisée - un guichet unique pour tous leurs besoins en matière d'analyse de données. En raison de la diversité des sources, telles que les données déclarées par les utilisateurs, les fabricants, les distributeurs, les partenaires et les fournisseurs tiers, ainsi que les commandes au détail quotidiennes et les commentaires des clients, l'objectif est de créer un référentiel d'entrepôt de données d'entreprise centralisé qui a été extrait et analysé par les fonctions métier afin de créer une visibilité de bout en bout pour l'entreprise et de répondre avec des informations basées sur les données.
Les entreprises veulent exploiter les informations et prendre des décisions basées sur les données pour gérer plus efficacement leurs activités. Cette solution d'analyse de données multicloud permet aux entreprises d'exécuter efficacement des analyses à l'aide d'un entrepôt de données central sur une plate-forme de données moderne Oracle avec des intégrations à plusieurs sources de données, telles qu'Oracle Fusion Cloud Enterprise Resource Planning, Microsoft Azure SQL Server (SQL Server), Salesforce, eBay et Google Analytics sur site.
Avantages :
- Un pipeline d'analyse de données unifié
Accès simplifié à toutes les données entre les clouds et les installations on-premise, y compris les données stockées dans des bases de données et des banques d'objets.
- Facilité d'intégration
Intégrer les données de systèmes distincts : fédérer, orchestrer, synchroniser et combiner les données. Intégrez n'importe quelle donnée, n'importe quel format, n'importe quelle API, à n'importe quelle vitesse, avec n'importe quelle application ou avec n'importe quel appareil. Tout cela tout en permettant une collaboration sécurisée, en respectant les règles de sécurité et sans écrire de code.
- Analyses hautes performances
L'accès rapide aux données à l'aide d'outils de requête permet de prendre des décisions rapides et d'améliorer le service clients.
- Fonctionnalités d'analyse avancées
Mettre en place des techniques d'analyse avancées telles que l'exploration de données et de texte, le machine learning, les prévisions, l'analyse des sentiments, l'analyse de réseau et de cluster, l'analyse de graphes, le traitement d'événements complexes et les réseaux neuronaux.
- Une seule plate-forme
Une plate-forme unique basée sur le cloud qui augmente la collaboration au sein des équipes, améliore l'exécution et les délais de mise sur le marché, et accélère l'innovation.
- Coût, sécurité et disponibilité
Les entreprises souhaitent réduire leurs dépenses d'investissement (CapEx) et leurs dépenses opérationnelles (OpEx), mais elles souhaitent également disposer d'une bonne combinaison de coûts et de performances avec la sécurité et la disponibilité.
Architecture
Cette architecture de référence présente un pipeline d'analyse de données multicloud d'entreprise qui prend et formate les données de différentes sources, les déplace vers l'entrepôt de données d'entreprise sur Oracle Cloud Infrastructure (OCI) et les analyse à l'aide d'Oracle Analytics Cloud (OAC).
Les données sont intégrées à partir de différentes sources à l'aide des services d'intégration Oracle Integration et OCI. Les sources de données affichées sont Salesforce, eBay, SQL Server, Oracle Fusion Cloud Service et Google Analytics, mais la solution s'applique à toute source de données qui accepte les appels d'API ou les connexions de base de données. Les services d'intégration OCI connectent n'importe quelle application et source de données pour automatiser les processus de bout en bout et centraliser la gestion. La large gamme d'intégrations, avec des adaptateurs prédéfinis et une personnalisation low-code, simplifie la migration vers le cloud tout en simplifiant les opérations multicloud.
Oracle Integration (OIC) connecte toutes les applications, données et services, y compris Salesforce et eBay, Oracle Fusion Cloud Service, ainsi que les écosystèmes partenaires pour les communications interentreprises (B2B). Les données sont intégrées à partir de sources variou à l'aide des services Oracle Integration. Une fois les données disponibles à partir de toutes les différentes sources de la couche intermédiaire, elles sont nettoyées, normalisées, fusionnées et transformées à l'aide de Data Integration. ADW stocke la couche intermédiaire, les données de référence et la couche analytique. OAC est utilisé comme un outil d'analyse pour générer des tableaux de bord, des rapports, des KPI et pour générer des analyses en libre-service dans l'ensemble de l'entreprise. Les connecteurs prédéfinis d'OAC peuvent être utilisés pour répliquer et fusionner des données à partir de Google Analytics.
oci-multicloud-data-analytics-diagram-oracle.zip
Intégration des sources de données :
- Intégration Google Analytics
L'utilisateur utilise le connecteur de données Google Analytics intégré à OAC pour créer une connexion à Google Drive ou Google Analytics. La connexion doit utiliser les URI de redirection autorisés Google, ainsi que la clé secrète client et le nom de vue Google Analytics. Une fois autorisé, vous êtes prêt à lire la transformation et à créer des tableaux de bord dans OAC.
- Intégration Salesforce
L'adaptateur Salesforce permet aux utilisateurs de créer une intégration bidirectionnelle simplifiée avec Salesforce.com. Il permet de repérer les objets métier et les opérations, et facilite le mappage vers et depuis les objets métier Salesforce.com. OIC crée un workflow qui crée une connexion avec l'adaptateur Salesforce, puis extrait les données dans ADW.
- Intégration de Microsoft Azure SQL Server
L'intégration des données SQL Server avec ADW est assurée à l'aide de Data Integration. Il crée un pipeline de données de SQL Server vers ADW, indique la ressource de données source, puis configure des transformations pour nettoyer et traiter les données lors de leur chargement dans la ressource de données cible. Pour exécuter un ensemble spécifique de processus dans une séquence, vous créez un pipeline. La conception d'un pipeline est semblable à la création d'un flux de données. Vous utilisez des opérateurs pour ajouter les tâches et les activités souhaitées. Après avoir créé un pipeline, vous créez une tâche qui l'utilise. Une fois les tâches créées, vous les publiez dans l'application par défaut ou dans votre propre application. Les applications exécutent les tâches, puis surveillent leur progression et leur statut. Vous pouvez également programmer l'exécution automatique des tâches.
- Flux de données manuel (fichiers à plat)
Oracle Cloud Infrastructure Object Storage est utilisé comme banque de fichiers d'entreprise, où les utilisateurs opérationnels et professionnels téléchargaient les fichiers de flux de données manuels tels que les cibles, les prévisions, les marqueurs client mensuels et les mesures d'alignement provisoire du personnel. Une fois que les fichiers de données sont disponibles dans les buckets Oracle Cloud Infrastructure Object Storage, ils sont automatiquement sélectionnés pour traitement à l'aide de Data Integration.
- Intégration Oracle Fusion Service
OCI Data Integration utilise Oracle Business Intelligence Cloud Connector (BICC) pour activer les connexions à Fusion Applications en tant que sources de données. Vous utilisez une ressource de données Fusion Applications comme source pour extraire des données de Fusion Applications, par exemple un cloud ERP ou HCM. OCI Data Integration charge les données extraites dans un emplacement de stockage externe prédéfini configuré dans BICC. Nous chargeons les données de Fusion Applications vers Oracle Cloud Infrastructure Object Storage au format Parquet, puis vers la couche intermédiaire d'ADW.
L'architecture se compose des éléments suivants :
- Location
Une location est une partition sécurisée et isolée qu'Oracle configure dans Oracle Cloud lorsque vous êtes inscrit à Oracle Cloud Infrastructure. Vous pouvez créer, organiser et administrer vos ressources dans Oracle Cloud au sein de votre location. Une location est synonyme d'entreprise ou d'organisation. Généralement, une entreprise dispose d'une location unique et reflète sa structure organisationnelle dans cette location. Une location unique est généralement associée à un seul abonnement et un seul abonnement ne comporte généralement qu'une seule location.
- Région
Une région Oracle Cloud Infrastructure est une zone géographique localisée qui contient des centres de données, appelés domaines de disponibilité. Les régions sont indépendantes les unes des autres et de grandes distances peuvent les séparer (dans des pays voire des continents).
- Compartiment
Les compartiments sont des partitions logiques inter-région au sein d'une location Oracle Cloud Infrastructure. Utilisez des compartiments pour organiser les ressources dans Oracle Cloud, contrôler l'accès aux ressources et définir des quotas d'utilisation. Pour contrôler l'accès aux ressources d'un compartiment donné, vous définissez des stratégies qui indiquent qui peut accéder aux ressources et les actions réalisables.
- Autonomous Database
Oracle Autonomous Database est un environnement de base de données entièrement géré et préconfiguré que vous pouvez utiliser pour le traitement des transactions et l'entreposage de données. Il n'est pas nécessaire de configurer ou de gérer du matériel, ni d'installer un logiciel. Oracle Cloud Infrastructure gère la création de la base de données, ainsi que la sauvegarde, l'application de patches, la mise à niveau et le réglage de la base de données.
- Analyse
Oracle Analytics Cloud est un service cloud public évolutif et sécurisé qui fournit aux analystes d'entreprise des fonctions d'analyse modernes en libre-service basées sur l'intelligence artificielle, à des fins de préparation des données, de visualisation, de reporting d'entreprise, d'analyse augmentée, ainsi que de traitement et de génération du langage naturel. Avec Oracle Analytics Cloud, vous bénéficiez également de fonctionnalités flexibles de gestion des services, notamment une configuration rapide, une mise à l'échelle facile et des correctifs, ainsi qu'une gestion automatisée du cycle de vie.
- Stockage d'objets
Object Storage fournit un accès rapide à de grandes quantités de données, structurées ou non, de n'importe quel type de contenu, y compris des sauvegardes de base de données, des données analytiques et du contenu enrichi tel que des images et des vidéos. Vous pouvez stocker les données, puis les extraire directement à partir d'Internet ou de la plate-forme cloud, et ce, en toute sécurité. Vous pouvez redimensionner le stockage de manière transparente sans dégradation des performances ni de la fiabilité des services. Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archive pour le stockage "à froid" que vous conservez pendant longtemps et auquel vous accédez rarement.
- Domaines de disponibilité
Les domaines de disponibilité sont des centres de données autonomes indépendants au sein d'une région. Les ressources physiques de chaque domaine de disponibilité sont isolées de celles des autres, ce qui garantit la tolérance aux pannes. Les domaines de disponibilité ne partagent ni infrastructure (par exemple, alimentation, système de refroidissement), ni réseau de domaine de disponibilité interne. Ainsi, il est peu probable qu'un problème survenant dans un domaine de disponibilité affecte les autres domaines de disponibilité de la région.
- Réseau cloud virtuel (VCN) et sous-réseaux
Un VCN est un réseau personnalisable défini par logiciel que vous configurez dans une région Oracle Cloud Infrastructure. Comme les réseaux de centre de données traditionnels, les réseaux cloud virtuels vous donnent un contrôle total sur l'environnement réseau. Un réseau cloud virtuel peut comporter plusieurs blocs CIDR qui ne se chevauchent pas et que vous pouvez modifier après l'avoir créé. Vous pouvez segmenter un réseau cloud virtuel en plusieurs sous-réseaux ciblant une région ou un domaine de disponibilité. Chaque sous-réseau est composé d'une plage contiguë d'adresses qui ne chevauchent pas celles des autres sous-réseaux du réseau cloud virtuel. Vous pouvez modifier la taille d'un sous-réseau après sa création. Un sous-réseau peut être public ou privé.
- Services d'intégration OCI
Les services d'intégration OCI connectent n'importe quelle application et source de données pour automatiser les processus de bout en bout et centraliser la gestion. La large gamme d'intégrations, avec des adaptateurs prédéfinis et une personnalisation low-code, simplifie la migration vers le cloud tout en simplifiant les opérations multicloud.
- Intégration d'applications OCI
OCI Application Integration fournit une connectivité prédéfinie aux applications SaaS et sur site, des modèles d'automatisation des processus prêts à être exécutés et un générateur visuel low-code pour le développement d'applications Web et mobiles. Il vous donne un accès natif aux événements dans Oracle Cloud ERP, HCM et CX. Connectez les silos d'analyse spécifiques aux applications pour simplifier les processus stratégiques de la demande d'achat au reçu, du recrutement au paiement, du lead à la facture et autres, offrant ainsi une visibilité de bout en bout à vos responsables informatiques et commerciaux.
- Data Integration
Oracle Cloud Infrastructure Data Integration est un service entièrement géré, sans serveur et natif du cloud qui extrait, charge, transforme, nettoie et remet en forme les données de diverses sources de données en services Oracle Cloud Infrastructure cible, tels qu'Autonomous Data Warehouse et Oracle Cloud Infrastructure Object Storage. ETL (extract transform load) tire parti d'un traitement d'augmentation entièrement géré sur Spark, et ELT (extract load transform) tire parti des fonctionnalités de propagation SQL complètes d'Autonomous Data Warehouse afin de minimiser le déplacement des données et d'améliorer le délai de rentabilisation des données nouvellement ingérées. Les utilisateurs conçoivent des processus d'intégration de données à l'aide d'une interface utilisateur intuitive et sans code qui optimise les flux d'intégration pour générer le moteur et l'orchestration les plus efficaces, en allouant et en redimensionnant automatiquement l'environnement d'exécution. Oracle Cloud Infrastructure Data Integration fournit une exploration et une préparation de données interactives, et aide les ingénieurs données à se protéger contre la dérive du schéma en définissant des règles pour gérer les modifications de schéma.