Concevez un lac de données pour l’analyse des stocks de détail
Les clients de la distribution d’aliments répertorient les marchandises en rupture de stock comme une raison essentielle pour une mauvaise expérience d’achat. Au-delà de la disponibilité des produits, les consommateurs s’attendent également à ce que leur temps en magasin soit court et efficace. Aujourd’hui plus que jamais, les détaillants doivent fournir une expérience d’achat transparente et les données sont l’élément clé pour y parvenir.
Les détaillants veulent capturer de nombreuses données et se tourner vers des solutions Big Data basées sur le Cloud pour agréger et gérer les données pour une visibilité boursière en temps réel. Un lacustre de données conçu sur Oracle Cloud Infrastructure (OCI) peut capturer, gérer et obtenir des informations à partir des données produites à partir des systèmes de point de vente, d’inventaire, de client et d’exploitation pour comprendre la gestion des stocks en temps réel.
Cette architecture de référence présente une topologie de plate-forme, une présentation des composants et les meilleures pratiques recommandées pour l’implémentation d’une structure de lac de données réussie sur OCI.
- Les clients, qui interagissent avec le commerçant en ligne (Web ou mobile), avec ramassage ou livraison, ou physiquement dans les magasins, que ce soit par interaction avec un employé du magasin ou via des machines en libre-service.
- Les responsables de magasin, qui souhaitent avoir une visibilité sur la vente des produits et des catégories de produits, obtiennent des informations prévisionnelles telles que la consommation des stocks et pilotent les actions automatiques, par exemple les achats automatisés.
- Gestion supérieure, qui s’intéresse aux analyses en temps réel avancées avec des fonctionnalités de visualisation, de reporting et d’IA.
- Les data scientists, qui travaillent sur le Big Data, avec une quantité croissante de données et de nombreuses sources, nécessitant un traitement rapide et une flexibilité pour déployer facilement des modèles.
- Développeurs avec peu de code, travaillant sur des applications existantes et nouvelles basées sur les données, en se concentrant sur la simplicité et le temps le plus court possible consacré à la gestion de la sécurité et des opérations.
Architecture
L'une des principales complexités du commerce de détail est la multiplicité des systèmes et des modèles et types de données, ainsi qu'une quantité toujours croissante de données. Un tel défi appelle à la simplification et à la consolidation, une architecture de Data Lakehouse OCI pouvant contribuer à sa réalisation.
Le schéma suivant présente l'architecture conceptuelle de référence des lacs d'entreprise de vente au détail.
Description de l'illustration retail-lakehouse-arch.png
Autonomous Data Warehouse (ADW) est l’une des pièces centrales de l’architecture de Data Lakehouse OCI. Il automatise le provisionnement, la configuration, la sécurisation, le réglage, la mise à l’échelle et la sauvegarde du data warehouse. Elle inclut des outils pour le chargement des données en libre-service, les transformations de données, les modèles commerciaux, les informations automatiques et les fonctionnalités de base de données convergées intégrées qui permettent des requêtes plus simples sur plusieurs types de données et des analyses d'apprentissage automatique. L’apprentissage automatique sur ADW présente l’avantage d’avoir des algorithmes là où se trouvent les données, pour des performances maximisées. ADW est étroitement intégré à OCI Object Storage, qui sert ici de lac de données, en tant que stockage illimité et à faible coût pour les données non structurées.
Les initiatives de science des données et d’apprentissage automatique peuvent produire des résultats, tels que des prévisions de vente intelligentes basées sur la saison, l’occurrence de campagnes marketing, les caractéristiques de la population de clients (par exemple, les groupes d’âge) et le lieu, avec Oracle Spatial & Graph, qui fournit la prise en charge nécessaire sur le lieu. De telles initiatives peuvent être prises en charge par les blocs-notes OML d'ADW (basés sur Apache Zeppelin) et accessibles via OAC, à l'aide de Data Science (centré sur JupyterLab/Python) et Oracle APEX se présente comme la norme gold pour les applications personnalisées low-code.
Les différents canaux par lesquels les clients interagissent avec le commerçant, comme visible dans le diagramme et mentionné ci-dessus, s'appuient souvent sur des applications sur mesure. Oracle Container Engine for Kubernetes est une plate-forme fiable qui offre une évolutivité et un contrôle supplémentaire sur les microservices et les applications.
L'assistant numérique constitue un exemple d'utilisation moderne de l'IA dans l'entreprise. Dans ce cas d’utilisation, les assistants numériques basés sur l’IA sont utilisés, sur la base des données de lachouse, pour une interface conversationnelle pour les applications et les bornes avec des recommandations exploitables.
- Marketing : analysez les médias sociaux, les avis et les actualités pour voir ce que les clients et les experts du secteur disent de votre produit. Découvrez ce qu’ils font et n’aiment pas, quelles nouvelles fonctionnalités ils veulent et comment vous vous situez par rapport à vos concurrents.
- Support client : Classez les tickets d'assistance par produit et service, afin que les tickets soient plus rapides pour l'équipe appropriée. Utilisez l’analyse des sentiments pour identifier les points faibles urgents et hiérarchiser les tickets.
- Ressources humaines : Automatisez le criblage des CV en utilisant la reconnaissance des entités pour identifier les compétences clés et l’éducation. Classer les retours des employés à l'aide de l'analyse des sentiments et de la reconnaissance d'entité afin d'identifier les points faibles les plus courants parmi les employés et les meilleures étapes à suivre.
Grâce à la structure de lac de données, vous pouvez exploiter les données où vous voulez, normaliser les données à la volée, intégrer l’intelligence artificielle/l’apprentissage automatique à l’échelle d’Exadata, mettre à l’échelle automatiquement à tout moment (ADW) et utiliser des contrôles de sécurité avancés pour réduire considérablement les risques.
- Les plates-formes Oracle ERP, CRM, POS et externes envoient des données et des événements à la banque de données, en temps réel ou via le traitement par lots, à l’aide d’Oracle GoldenGate et d’Oracle Data Integration.
- Dans cet exemple, Oracle Integration Cloud joue le rôle supplémentaire d'envoyer des données de la structure de lac de données à Oracle Procurement, via laquelle les fournisseurs peuvent être avisés des commandes d'achat placées automatiquement.
- ADW utilise un accélérateur de requêtes pour effectuer des requêtes rapides et transparentes du lac de données Object Storage.
- La passerelle API évolutive expose les données à grande échelle aux applications
- Oracle Analytics Cloud et Oracle Data Science s'intègrent en toute transparence avec les services de la structure de lac de données.
- Autonomous Data Warehouse
Base de données autonome Oracle et de redimensionnement automatique entièrement gérée qui inclut Oracle Machine Learning. Les analystes de données peuvent créer, évaluer, noter et déployer des modèles d'apprentissage automatique à l'aide des fonctionnalités Oracle Machine Learning dans la base de données et de l'interface des blocs-notes associée.
- Stockage d'objet
OCI Object Storage est une plate-forme de stockage hautes performances, à l'échelle d'Internet, qui offre une durabilité fiable et rentable en matière de données. Object Storage peut stocker une quantité illimitée de données non structurées de tout type de contenu, y compris des données analytiques. Vous pouvez stocker des données, ou en toute sécurité, directement à partir d'Internet ou de la plate-forme cloud. Plusieurs interfaces de gestion vous permettent de démarrer facilement et de vous adapter en toute transparence, sans subir de dégradation des performances ni de fiabilité du service.
Object Storage peut également être utilisé comme couche de stockage à froid pour le data warehouse en stockant des données rarement utilisées, puis en les joignant de manière transparente aux données les plus récentes à l'aide de tables hybrides dans Oracle Autonomous Data Warehouse.
- Catalogue de données
OCI Data Catalog est une solution de repérage et de gouvernance de données en libre-service entièrement gérée pour vos données d'entreprise. Data Catalog fournit un environnement collaboratif unique pour gérer les métadonnées métier, techniques et opérationnelles.
- Oracle Analytics Cloud
Oracle Analytics Cloud est un service cloud public évolutif et sécurisé qui permet aux analystes d'entreprise d'utiliser des fonctions d'analyse modernes en libre-service basées sur l'IA pour la préparation des données, la visualisation, le reporting d'entreprise, l'analyse augmentée, ainsi que le traitement et la génération du langage naturel. Avec Oracle Analytics Cloud, vous bénéficiez également de fonctionnalités flexibles de gestion des services, notamment d'une configuration rapide, d'une évolutivité et d'une application de correctifs faciles, ainsi que d'une gestion automatisée du cycle de vie.
Oracle Analytics Cloud est intégré à Oracle Machine Learning. Cette intégration permet aux analystes de répertorier les modèles de base de données disponibles et d'utiliser ces modèles dans les analyses et les tableaux de bord Oracle Analytics Cloud. OAC Data Visualization permet aux utilisateurs d'appliquer des modèles d'apprentissage automatique prédéfinis ou des modèles formés qui leur sont propres tout en visualisant les données.
- Science des données
OCI Data Science est une plate-forme complète et sans serveur qui permet aux équipes de science des données de créer, d'entraîner et de gérer des modèles d'apprentissage automatique à l'aide d'OCI. Elle peut facilement s’intégrer à d’autres services OCI tels qu’Autonomous Data Warehouse, Object Storage, etc. Vous pouvez créer et évaluer des modèles d’apprentissage automatique de haute qualité, accroître la flexibilité de l’entreprise en mettant des données fiables pour fonctionner rapidement, et soutenir des objectifs commerciaux axés sur les données avec un déploiement simplifié des modèles d’apprentissage automatique.
Data Science s'intègre au reste de la pile OCI, y compris Functions, Data Flow, Autonomous Data Warehouse et Object Storage. Le kit de développement logiciel (SDK) Oracle Accelerated Data Science (ADS) est une bibliothèque Python incluse dans le service OCI Data Science, qui possède de nombreuses fonctions et objets qui automatisent ou simplifient les étapes du workflow Data Science, notamment la connexion aux données, l'exploration et la visualisation des données, l'entraînement d'un modèle avec AutoML, l'évaluation des modèles et l'explication des modèles. ADS fournit également une interface simple permettant d'accéder au catalogue de modèles de service Data Science et à d'autres services OCI, notamment Object Storage.
- Oracle Data Integration
Utilisez OCI Data Integration pour un flux de données optimal entre les systèmes. Il prend en charge les processus ETL déclaratifs, sans code ou avec peu de code et le développement du pipeline de données.
- GoldenGate
Oracle Cloud Infrastructure GoldenGate est un service géré qui fournit une plate-forme de maillage de données en temps réel, qui utilise la réplication pour maintenir les données hautement disponibles et permettre une analyse en temps réel. Les clients peuvent concevoir, exécuter et surveiller leurs solutions de réplication de données et de traitement de données en continu sans avoir à allouer ou gérer des environnements de calcul.
- passerelle d'API
Le service de passerelle d'API vous permet de publier des API avec des adresses privées accessibles à partir de votre réseau et que vous pouvez afficher sur le réseau Internet public si nécessaire. Les adresses prennent en charge la validation d'API, la transformation des demandes et des réponses, la spécification CORS, l'authentification et l'autorisation, ainsi que la limitation des demandes.
- Réseau cloud virtuel
L'une de vos premières étapes dans OCI consiste à configurer un réseau cloud virtuel (VCN) pour vos ressources cloud. Un VCN est un réseau défini par logiciel que vous configurez dans une région OCI. Les réseaux cloud virtuels peuvent être segmentés en sous-réseaux, qui peuvent être propres à une région ou à un domaine de disponibilité. Les sous-réseaux propres à une région et à un domaine de disponibilité peuvent coexister dans le même VCN. Un sous-réseau peut être public ou privé.
- Container Engine for Kubernetes
OCI Container Engine for Kubernetes est un service entièrement géré, évolutif et hautement disponible que vous pouvez utiliser pour déployer vos applications en conteneur vers le cloud. Indiquez les ressources de calcul dont vos applications ont besoin et Container Engine for Kubernetes les provisionne sur Oracle Cloud Infrastructure dans une location existante. Container Engine for Kubernetes utilise Kubernetes pour automatiser le déploiement, le redimensionnement et la gestion des applications en conteneur sur des clusters d'hôtes.
- Registry
OCI Registry est un registre géré par Oracle qui vous permet de simplifier votre workflow du développement à la production. Le registre facilite le stockage, le partage et la gestion des artefacts de développement, comme les images Docker. L'architecture hautement disponible et évolutive d'Oracle Cloud Infrastructure vous garantit un déploiement et une gestion fiables de vos applications.
Recommandations
- VCN
Lorsque vous créez un VCN, déterminez le nombre de blocs CIDR requis et la taille de chaque bloc en fonction du nombre de ressources que vous prévoyez d'attacher aux sous-réseaux du VCN. Utilisez des blocs CIDR compris dans l'espace d'adresse IP privée standard.
Sélectionnez des blocs CIDR qui ne chevauchent aucun autre réseau (dans Oracle Cloud Infrastructure, votre centre de données on-premise ou un autre fournisseur cloud) auquel vous souhaitez configurer des connexions privées.
Une fois que vous avez créé un VCN, vous pouvez modifier, ajouter et supprimer ses blocs CIDR.
Lorsque vous concevez les sous-réseaux, tenez compte de vos exigences en matière de flux de trafic et de sécurité. Associez toutes les ressources d'un niveau ou d'un rôle spécifique au même sous-réseau, ce qui peut servir de limite de sécurité.
- Sécurité
Utilisez des stratégies pour limiter les personnes autorisées à accéder aux ressources OCI de votre entreprise et leur mode d'accès.
Utilisez Oracle Cloud Guard pour surveiller et maintenir la sécurité de vos ressources dans OCI de manière proactive. Cloud Guard utilise des recettes de détection que vous pouvez définir pour examiner vos ressources afin de détecter les failles de sécurité et pour surveiller les opérateurs et les utilisateurs pour les activités risquées. Lorsque des erreurs de configuration ou des activités non sécurisées sont détectées, Cloud Guard recommande des actions correctives et aide ces actions, en fonction des recettes de répondeur que vous pouvez définir. Pour les ressources nécessitant une sécurité maximale, Oracle recommande d'utiliser des zones de sécurité. Une zone de sécurité est un compartiment associé à une recette définie par Oracle de stratégies de sécurité basées sur les meilleures pratiques. Par exemple, les ressources d'une zone de sécurité ne doivent pas être accessibles à partir du réseau Internet public et doivent être chiffrées à l'aide de clés gérées par le client. Lorsque vous créez et mettez à jour des ressources dans une zone de sécurité, OCI valide les opérations par rapport aux stratégies de la recette de zone de sécurité et refuse les opérations qui violent les stratégies.
- Autonomous Data Warehouse
Object Storage offre une durabilité fiable et rentable des données. Il permet d'accéder rapidement à de grandes quantités de données structurées et non structurées de tout type de contenu, y compris des données de base de données, des données analytiques, des images, des vidéos, etc. Nous vous recommandons d'utiliser le stockage standard pour intégrer des données provenant de sources externes et de les utiliser pour un traitement ultérieur, car il peut y accéder rapidement et fréquemment. Vous pouvez créer une stratégie de cycle de vie pour déplacer les données vers le stockage à froid à partir de la norme lorsqu'elles ne sont plus nécessaires fréquemment.
- Catalogue de données
Catalogue de données Pour avoir une vue complète et holistique de bout en bout des données stockées et circulant sur la plate-forme, envisagez de collecter non seulement des banques de données prenant en charge la couche de persistance des données, mais également les banques de données source. La mise en correspondance de ces métadonnées techniques collectées avec le glossaire métier et leur enrichissement avec des propriétés personnalisées vous permet de mettre en correspondance des concepts métier, de documenter et de régir les définitions de sécurité et d'accès.
Pour faciliter la création de tables externes Oracle Autonomous Data Warehouse qui virtualisent les données stockées sur Oracle Cloud Infrastructure Object Storage, exploitez les métadonnées précédemment collectées par Oracle Cloud Infrastructure Data Catalog. Cela simplifie la création de tables externes, assure la cohérence des métadonnées entre les banques de données et est moins susceptible d'erreurs humaines.