Documentation sur Oracle Cloud Infrastructure

Architecture des données

L'architecture de données pour l'adoption du nuage fait référence à la conception stratégique et à l'organisation de composants, de processus et de technologies liés aux données au sein d'un environnement en nuage. Il englobe les principes, les directives et les cadres qui guident la façon dont les données sont stockées, gérées, consultées et utilisées pour soutenir les buts et objectifs d'une organisation dans le nuage.

But

L'objectif principal de la mise en œuvre d'une architecture de données pour l'adoption de l'environnement en nuage est d'assurer une gestion efficace et efficiente des ressources de données au sein d'un écosystème en nuage. Cela comprend l'optimisation des capacités de stockage, d'intégration, de sécurité, de gouvernance et d'analyse des données pour améliorer la prise de décision, l'innovation et l'efficacité opérationnelle.

Rôles

Le propriétaire principal de l'architecture de données est généralement l'architecte de données ou l'équipe de gestion des données. Les renseignements suivants décrivent plusieurs autres rôles qui appuient cette initiative.

Architecte de données

L'architecte des données est responsable de la conception et de la gestion de votre architecture de données. Ils définissent la structure, l'intégration, le stockage et la sécurité des ressources de données. Dans le contexte de l'adoption du nuage, l'architecte de données s'assure que l'architecture de données est alignée sur vos objectifs d'affaires et qu'elle tire parti des capacités de l'environnement en nuage. Ils travaillent en étroite collaboration avec les parties prenantes, telles que les analystes d'affaires, les ingénieurs de données et les équipes informatiques, pour concevoir et mettre en œuvre une architecture de données efficace dans le nuage.

Équipe de gestion des données

Dans certaines organisations, il peut y avoir une équipe de gestion des données dédiée responsable de la possession et de la gestion de l'architecture des données. Cette équipe se compose généralement d'architectes de données, d'ingénieurs de données, d'analystes de données et de professionnels de la gouvernance des données. Ils collaborent avec les parties prenantes de l'entreprise et les équipes informatiques pour définir les exigences en matière de données, assurer la qualité et l'intégrité des données et mettre en œuvre des pratiques de gouvernance des données dans l'environnement infonuagique. L'équipe de gestion des données prend en charge les activités liées aux données, notamment la modélisation, l'intégration, la transformation et la sécurité des données.

Architecte infonuagique

Collabore avec l'architecte de données pour s'assurer que l'architecture de données s'aligne avec l'infrastructure et les services infonuagiques.

Ingénieurs de données

Mettez en oeuvre des pipelines de données, des transformations de données et des processus d'intégration pour déplacer et traiter les données dans l'environnement en nuage.

Spécialiste en gouvernance des données

S'assure que les données sont gérées conformément à la réglementation et aux politiques organisationnelles.

Spécialiste de la sécurité

Se concentre sur la sécurisation des données sensibles, la mise en œuvre des contrôles d'accès, le chiffrement et la surveillance de la protection des données.

Parties prenantes d'affaires

Fournissez des exigences et des informations pour vous assurer que l'architecture de données soutient vos objectifs commerciaux.

Mise en oeuvre

Les informations suivantes décrivent les fonctions et les considérations relatives à la conception lors de la mise en oeuvre de l'architecture de données pour l'adoption du nuage.

Comprendre le paysage des données

L'évaluation et la compréhension des sources de données existantes sont une étape initiale cruciale dans le processus de conception d'une architecture de données efficace pour l'adoption du nuage. Cette évaluation fournit une compréhension complète de votre paysage de données, qui sert de base pour prendre des décisions éclairées sur le stockage, l'intégration, la sécurité et l'architecture globale des données dans un environnement en nuage. Les informations suivantes décrivent la compréhension du paysage des données.

Importance

  1. Prise de décision éclairée : La compréhension des sources de données existantes vous permet de prendre des décisions éclairées concernant les données à migrer vers le nuage, la façon de structurer les données et les services ou technologies en nuage à exploiter.
  2. Redondance de données réduite : Une évaluation approfondie permet d'identifier les sources de données redondantes ou dupliquées, réduisant ainsi le risque de coûts de migration et de stockage de données inutiles dans le nuage.
  3. Intégration optimisée des données : La connaissance des sources de données existantes facilite la planification d'une intégration transparente entre les systèmes en nuage et les référentiels de données sur place.
  4. Qualité et nettoyage des données : Le processus d'évaluation met souvent en évidence les problèmes de qualité des données, ce qui permet aux organisations de nettoyer et d'améliorer la qualité des données avant de les migrer vers le nuage.
  5. Atténuation des risques : En comprenant les sources de données existantes, vous pouvez identifier les données sensibles ou critiques, en veillant à ce que des mesures de sécurité et de conformité appropriées soient en place pendant et après la migration.
  6. Perturbation réduite : Une évaluation complète vous aide à anticiper les défis et les perturbations potentiels pendant la migration, ce qui vous permet une planification proactive pour atténuer les risques.

Étapes d'évaluation et de compréhension des sources de données existantes

  1. Inventaire des données : Identifiez toutes les sources de données, y compris les bases de données, les fichiers, les applications et les feuilles de calcul, dans toute l'organisation. Documentez leurs emplacements, types et formats.
  2. Évaluation des sources de données : Évaluez la qualité, la pertinence et la valeur opérationnelle de chaque source de données. Tenez compte de facteurs tels que l'exactitude, l'exhaustivité et la rapidité des données.
  3. Analyse du volume et de la croissance des données : Déterminez le volume des données dans chaque source et analysez les modèles de croissance historiques. Ces informations aident à estimer les besoins en stockage en nuage.
  4. Relations et dépendances de données : Découvrez comment les sources de données sont liées et interconnectées. Identifier les dépendances de données qui peuvent avoir une incidence sur la migration ou l'intégration.
  5. Propriété des données et parties prenantes : Identifiez les responsables et les parties prenantes des données pour chaque source. Consultez-les pour obtenir des renseignements sur l'utilisation des données, les exigences d'accès et les processus d'affaires.
  6. Sensibilité et sécurité des données : Déterminez la sensibilité des données dans chaque source et évaluez les exigences de sécurité. Classer les données comme publiques, internes, confidentielles ou restreintes.
  7. Gouvernance et conformité des données : Évaluez les pratiques de gouvernance des données, la disponibilité des métadonnées et la conformité aux réglementations. Identifiez toutes les données qui nécessitent un traitement spécial en raison d'exigences légales ou réglementaires.
  8. Nécessités de nettoyage et de transformation des données : Identifiez les problèmes de qualité des données et les exigences de transformation. Déterminez si les données doivent être nettoyées, normalisées ou transformées avant la migration.
  9. Exigences d'intégration : Analysez les besoins d'intégration de données, notamment les flux de données entre différentes sources et systèmes. Envisagez le traitement par lots, la diffusion de données en temps réel et l'intégration d'API.
  10. Modèles d'accès aux données : Permet de comprendre comment les données sont consultées, interrogées et analysées par divers services ou utilisateurs. Ces informations permettent d'optimiser l'accès aux données dans le nuage.
  11. Documentation : Documentez toutes les conclusions, évaluations et décisions. Cette documentation sert de référence pour concevoir l'architecture des données et la stratégie de migration.
  12. Engager les parties prenantes : Collaborez avec les unités d'affaires, les équipes informatiques et les responsables des données pour assurer une compréhension complète des sources de données existantes et de leurs exigences.

Évaluation et collecte des exigences

Le processus de collecte des exigences liées aux données et d'évaluation des sources de données pour la migration vers le nuage est une étape cruciale dans la conception d'une architecture de données efficace dans le contexte de l'adoption du nuage. Ce processus consiste à comprendre systématiquement vos besoins en matière de données, à évaluer l'adéquation des sources de données à migrer et à s'assurer que les données seront gérées et utilisées correctement dans l'environnement en nuage. Les informations suivantes expliquent le processus :

  1. Engagement des parties prenantes : Identifiez et impliquez les parties prenantes pertinentes de différentes unités d'affaires et équipes informatiques qui s'intéressent aux données et à leur utilisation.
  2. Élicitation des exigences : Effectuez des entrevues, des ateliers et des sondages pour recueillir des exigences complètes en matière de données. Mettre l'accent sur la compréhension des types de données nécessaires, de la fréquence d'accès, des besoins d'intégration, des attentes en matière de rendement, des problèmes de sécurité, des exigences de conformité et des résultats souhaités.
  3. Priorité des données : Priorisation des sources de données en fonction de leur importance stratégique, de leur incidence commerciale et de leur alignement avec les objectifs d'adoption du nuage. Cela permet d'allouer les ressources appropriées et l'attention aux données critiques.
  4. Classification et sensibilité des données : Classez les sources de données en fonction de leur sensibilité et de leurs considérations réglementaires. Identifier les informations sensibles, confidentielles ou personnellement identifiables (PII) qui nécessitent des mesures de traitement et de sécurité spéciales pendant la migration.
  5. Analyse du volume et de la complexité des données : Analysez le volume des données dans chaque source et évaluez leur complexité. Tenez compte de facteurs tels que la taille, le format, la structure et tous les défis potentiels liés à la migration et à la gestion des données dans le nuage.
  6. Évaluation de la qualité des données : Évaluez la qualité des données dans chaque source. Identifier les anomalies de données, les incohérences, les doubles ou les inexactitudes qui doivent être corrigées avant la migration.
  7. Dépendances et relations de données : Mappez les dépendances de données et les relations entre différentes sources. Comprendre comment les flux de données entre les systèmes et comment les modifications apportées à une source peuvent affecter les autres.
  8. Besoins d'intégration et d'interopérabilité : Déterminez les exigences d'intégration pour les sources de données qui doivent interagir entre elles ou avec les systèmes sur place. Tenez compte de la nécessité d'une synchronisation des données en temps réel, d'un traitement par lots ou d'une intégration d'API.
  9. Modèles d'accès et exigences de performance : Analysez la façon dont les données sont consultées, interrogées et traitées. Identifier les attentes en matière de rendement et les exigences en matière de temps de réponse pour l'extraction et l'analyse des données.
  10. Gouvernance et conformité des données : Évaluez les pratiques de gouvernance des données et les exigences de conformité pour chaque source de données. Assurez-vous que les données seront gérées conformément aux réglementations et politiques internes pertinentes dans l'environnement en nuage.
  11. Considérations relatives à la sécurité : Évaluez les mesures de sécurité actuellement en place pour les sources de données et déterminez comment ces mesures seront étendues au nuage. Répondez aux exigences de chiffrement, de contrôle d'accès, d'authentification et de masquage des données.
  12. Faisabilité de la migration des données : Déterminez la faisabilité de la migration de chaque source de données vers le nuage. Tenez compte de la compatibilité technique, de la conversion du format des données et des défis potentiels pendant le processus de migration.
  13. Documentation : Documentez toutes les exigences, évaluations et décisions collectées concernant les sources de données. Cette documentation sert de référence pour concevoir l'architecture des données et la stratégie de migration.
  14. Communication et alignement : Maintenez une communication claire avec les parties prenantes pour vous assurer que les exigences et les évaluations liées aux données sont alignées sur la stratégie globale d'adoption du nuage et les objectifs d'affaires.

Conception de modèles de données

La création de modèles de données logiques et physiques est une étape fondamentale de l'établissement d'une architecture de données robuste pour l'adoption du nuage. Ces modèles fournissent un cadre structuré pour concevoir comment les données seront organisées, stockées, consultées et traitées dans l'environnement infonuagique. Les informations suivantes expliquent la création de ces modèles.

Modèle de données logique

Un modèle de données logique représente la structure et les relations de haut niveau des éléments de données sans être lié à un système ou à une technologie de gestion de base de données spécifique. Il se concentre sur les concepts d'affaires, les entités, les attributs et les relations entre eux. Les principaux aspects comprennent les éléments suivants :

  1. Schéma entité-relation (ERD) : Un diagramme ERD représente visuellement les entités (objets ou concepts) et leurs relations. Les entités sont connectées par des lignes représentant des associations, et les attributs décrivent les propriétés des entités.
  2. Normalisation : Ce processus garantit que les données sont organisées efficacement, avec un minimum de problèmes de redondance et de dépendance. Il s'agit de diviser les données en tables plus petites et d'éliminer la duplication des données.
  3. Abstraction : Le modèle de données logique abstrait les données de considérations techniques, ce qui en fait une représentation claire des exigences et des relations d'affaires.

Modèle de données physique

Un modèle de données physique traduit le modèle logique en une mise en oeuvre technique spécifique, en tenant compte du système de base de données cible et de l'environnement en nuage. Il définit les structures de stockage physiques, les types de données, les index et les méthodes d'accès. Les principaux aspects comprennent les éléments suivants :

  1. Schéma de base de données : Représentation physique des entités, des attributs et des relations dans le système de base de données sélectionné, définissant des tables, des colonnes, des clés et des contraintes.
  2. Types et tailles de données : Spécifiez les types de données (tels que des entiers, des chaînes) et les tailles (telles que des longueurs de caractère) pour optimiser le stockage et la performance.
  3. Index et clés : Identifiez les clés primaires, les clés étrangères et les index pour améliorer l'efficacité de l'extraction des données et renforcer l'intégrité des données.
  4. Partitions et grappes : Répartissez les données entre des partitions de stockage ou des grappes pour optimiser la performance des interrogations et l'utilisation des ressources.
  5. Dénormalisation de la normalisation : Personnalisez le modèle de performance, en tenant compte des compromis entre les structures normalisées et dénormalisées.

Importance des modèles de données logiques et physiques

  1. Clarté et cohérence : Les modèles logiques fournissent une représentation claire des besoins d'affaires, assurant que les parties prenantes ont une compréhension commune des structures de données et des relations. Les modèles physiques garantissent que la conception est alignée sur les capacités et les contraintes techniques.

  2. Communication efficace : Les modèles servent d'outil de communication entre les équipes commerciales et techniques, ce qui aide à combler l'écart entre les besoins en données et la mise en oeuvre technique.

  3. Développement agile : Des modèles bien conçus permettent un développement agile en fournissant une base solide pour la conception des bases de données, le codage et les tests.
  4. Optimisation de la performance : Les modèles physiques permettent l'optimisation pour la performance, l'extensibilité et l'efficacité du stockage dans l'environnement en nuage.
  5. Intégrité et sécurité des données : Les modèles appliquent des règles d'intégrité des données, ce qui contribue à une gestion des données précise et sécurisée.
  6. Planification future : Les modèles guident l'expansion et les modifications des données, ce qui garantit que l'architecture peut évoluer en fonction des besoins de l'organisation.
  7. Documentation : Les modèles servent de documentation pour des références futures, facilitant la maintenance, le dépannage et le transfert de connaissances.

Sélection de la plateforme en nuage

La sélection de la plateforme en nuage appropriée qui correspond aux besoins en matière de stockage, de traitement et d'analyse des données est une décision cruciale dans le parcours d'adoption du nuage. Elle a une incidence directe sur le rendement, l'extensibilité, la rentabilité et la réussite globale de votre architecture de données. Les informations suivantes décrivent les principales considérations à prendre en compte lors de ce choix :

  1. Charges de travail et exigences en matière de données
    • Analyser les types de charge de travail liés aux données, tels que les transactions, les analyses, le traitement par lots, la diffusion en continu en temps réel ou l'apprentissage automatique. Différentes plateformes en nuage excellent dans des scénarios de charge de travail particuliers.
    • Prenez en compte le volume, la vélocité et la variété des données pour vous assurer que la plate-forme peut répondre à vos besoins de traitement et de stockage des données.
  2. Extensibilité et performances
    • Évaluez la capacité de la plateforme infonuagique à adapter les ressources à la fois verticalement (augmenter la puissance des instances individuelles) et horizontalement (ajouter plus d'instances) pour répondre aux demandes croissantes de données.
    • Tenez compte des caractéristiques de performance des ressources de stockage et de calcul, notamment l'UC, la mémoire, les E/S de stockage et la bande passante de réseau.
  3. Options de stockage de données
    • Évaluez la variété des services de stockage de données offerts, comme les bases de données relationnelles, les bases de données NoSQL, les lacs de données, le stockage d'objets et les bases de données en mémoire.
    • Choisissez des options de stockage qui correspondent à vos modèles d'accès aux données, à vos exigences de cohérence et à vos vitesses d'extraction.
  4. Services de traitement et d'analyse des données
    • Explorez la disponibilité des outils de traitement et d'analyse de données, y compris l'entreposage de données, les lacs de données, l'informatique sans serveur, le traitement par lots, le traitement de flux et les services d'apprentissage automatique.
    • Assurez-vous que la plate-forme fournit les outils nécessaires pour l'analyse, la production de rapports et la génération d'informations.
  5. Capacités d'intégration
    • Envisagez de faciliter l'intégration de la plate-forme en nuage à vos systèmes, applications et sources de données sur place existants. Recherchez des connecteurs, des API et des outils d'intégration compatibles.
    • Évaluer la compatibilité de la plate-forme avec les outils d'intégration de données et d'extraction, de transformation et de chargement (ETL) populaires.
  6. Modèle de rentabilité et de tarification
    • Comprendre la structure de tarification de la plate-forme en nuage, notamment les coûts de stockage, les coûts de calcul, les frais de transfert de données et les frais supplémentaires liés aux services d'analyse ou de traitement des données.
    • Optez pour un modèle de tarification qui correspond à vos modèles d'utilisation et à votre budget, qu'il s'agisse de la facturation à l'usage, d'instances réservées ou d'un plan personnalisé.
  7. Sécurité et conformité des données
    • Évaluez les fonctions de sécurité des données de la plateforme, les capacités de chiffrement, les contrôles d'accès et les certifications de conformité pertinentes pour votre industrie et les réglementations sur les données.
    • Assurez-vous que les données au repos et en transit sont correctement sécurisées et que la plate-forme respecte les meilleures pratiques de protection des données.
  8. Verrouillage et portabilité du fournisseur
    • Tenez compte du potentiel de verrouillage de fournisseur lors de l'adoption de services propriétaires. Recherchez les plates-formes qui offrent des options de portabilité des données, ce qui vous permet de déplacer facilement des données vers d'autres fournisseurs de nuage ou environnements sur place.
  9. Latence et portée internationales
    • Évaluez la présence mondiale de la plate-forme en nuage et la disponibilité des centres de données dans les régions qui comptent pour votre entreprise. Réduisez la latence des données en sélectionnant des centres de données plus proches de vos utilisateurs ou de vos applications.
  10. Soutien et communauté
    • Évaluer la qualité du soutien à la clientèle, de la documentation, des ressources de formation et de la communauté d'utilisateurs pour la plate-forme en nuage sélectionnée. Un écosystème de soutien solide peut aider au dépannage et au développement.
  11. Croissance et innovation futures
    • Tenez compte des antécédents d'innovation du fournisseur de services infonuagiques et de sa feuille de route pour les services à venir. Assurez-vous que la plateforme peut répondre à vos besoins en matière de données et à vos technologies émergentes.
  12. Réputation et fiabilité des fournisseurs
    • Recherchez la réputation et la fiabilité du fournisseur en matière de temps de disponibilité, de disponibilité des services et de réactivité aux problèmes des clients.

Stratégie d'intégration de données

L'intégration des données de diverses sources dans un environnement en nuage est un aspect essentiel de la création d'une architecture de données efficace. Une stratégie d'intégration bien définie garantit que les données circulent de façon transparente entre les systèmes sur place, les sources externes et les applications basées sur le nuage, ce qui permet aux organisations d'exploiter pleinement le potentiel de leurs ressources de données.

Les informations suivantes décrivent la stratégie d'intégration des données dans l'environnement en nuage :

Identification et hiérarchisation des sources de données

  • Identifiez toutes les sources de données pertinentes, internes et externes, qui doivent être intégrées dans le nuage. Donner la priorité aux sources en fonction de la valeur commerciale, de la criticité des données et de la complexité de l'intégration.

Modèles d'intégration de données

  • Choisissez les modèles d'intégration appropriés en fonction des caractéristiques de vos données et de vos cas d'utilisation. Les modèles courants comprennent le traitement par lots, la diffusion en continu en temps réel, l'intégration point à point et les architectures basées sur les événements.

Transformation et mappage de données

  • Définir des règles et des mappages de transformation de données pour garantir que les données provenant de différentes sources sont transformées et normalisées en fonction du format et du schéma de données cibles dans le nuage.

Processus d'extraction, de transformation et de chargement

  • Mettre en œuvre des processus d'ETC pour extraire des données des systèmes sources, les transformer au besoin et les charger dans les plates-formes de stockage ou d'analyse de données en nuage.

API et services Web

  • Utilisez des API et des services Web pour permettre une communication transparente entre les applications en nuage et les sources de données externes.

Intergiciels et plateformes d'intégration

  • Envisagez d'utiliser des intergiciels ou des plateformes d'intégration qui fournissent des connecteurs, des adaptateurs et des outils prédéfinis afin de simplifier l'intégration des données dans diverses sources et services en nuage.

Intégration axée sur les événements

  • Mettre en œuvre des mécanismes d'intégration axés sur les événements pour s'assurer que les changements de données ou les événements dans les systèmes sources déclenchent des mises à jour ou des avis en temps réel dans l'environnement en nuage.

Synchronisation des données

  • Établissez des mécanismes de synchronisation des données pour vous assurer que les données dans le nuage demeurent cohérentes avec les données dans les systèmes sur place.

Qualité et gouvernance des données

  • Mettre en œuvre des contrôles de qualité des données lors de l'intégration pour s'assurer que les données sont exactes, cohérentes et fiables entre les sources. Appliquer des politiques et des pratiques de gouvernance des données pour assurer leur intégrité.

Surveillance et traitement des erreurs

  • Configurer des systèmes de surveillance et d'alerte pour détecter les défaillances d'intégration ou les anomalies. Mettre en œuvre des mécanismes de traitement des erreurs pour résoudre rapidement les problèmes d'intégration des données.

Extensibilité et performances

  • Concevez l'architecture d'intégration pour gérer divers volumes de données et répondre à une croissance future. Tenez compte des mécanismes d'extensibilité pour assurer les performances à mesure que les chargements de données augmentent.

Sécurité et conformité

  • Mettez en œuvre des mesures de sécurité telles que le chiffrement, l'authentification et les contrôles d'accès pour protéger les données lors de l'intégration. Assurez le respect des réglementations en matière de protection des données.

Gestion des métadonnées

  • Établissez un référentiel de métadonnées pour suivre et gérer les informations sur les sources de données intégrées, les transformations et les mappages. Cela aide à comprendre le lignage et l'utilisation des données.

Test et validation

  • Testez soigneusement les processus d'intégration de données pour vous assurer que les données sont transformées et chargées avec précision dans le nuage. Valider la cohérence et l'exactitude des données au moyen de tests de bout en bout.

Documentation et transfert de connaissances

  • Documenter les processus d'intégration, les mappages et tout code ou configuration personnalisé. Cette documentation facilite le dépannage, la maintenance et le transfert de connaissances.

Stockage et gestion des données

La mise en œuvre de solutions de stockage de données, telles que des bases de données, des entrepôts de données et des lacs de données, dans le nuage nécessite une planification, une conception et une configuration minutieuses pour assurer une performance, une extensibilité et une gestion des données optimales.

Les informations suivantes donnent un aperçu du processus d'implémentation pour chaque type de solution de stockage de données :

Bases de données Cloud

Les bases de données en nuage offrent un stockage de données structuré doté de fonctionnalités telles que l'atomicité, la cohérence, l'isolement, la durabilité (ACID), la conformité, l'indexation et l'optimisation des interrogations.

Mise en oeuvre :

  1. Sélection de base de données : Sélectionnez le type de base de données approprié (par exemple, relationnelle ou NoSQL) en fonction des exigences en matière de données, des caractéristiques de charge de travail et des besoins en matière de performance.
  2. Configuration de la base de données : Configurez les paramètres de base de données, les options de stockage, les contrôles d'accès et les mécanismes d'authentification conformément aux exigences de sécurité et de conformité.
  3. Conception de schéma : Concevez le schéma de base de données, en définissant des tables, des relations, des index et des contraintes qui correspondent au modèle de données et aux cas d'utilisation.
  4. Migration de données : Migrez les données existantes vers la base de données en nuage à l'aide d'outils, de processus ETL ou de mécanismes de chargement en masse.
  5. Réplication et haute disponibilité des données : Configurez des mécanismes de réplication et de haute disponibilité des données afin d'assurer la durabilité et la disponibilité des données en cas de défaillance.
  6. Réglage de la performance : Optimisez la performance des interrogations en créant des index, des stratégies de mise en mémoire cache et des ajustements de configuration de base de données appropriés.
  7. Contrôles de sécurité et d'accès : Mettez en oeuvre des mesures de sécurité telles que le chiffrement, le contrôle d'accès basé sur les rôles et la vérification pour protéger les données.
  8. Sauvegarde et récupération : Configurez des sauvegardes automatisées et mettez en oeuvre des procédures de récupération pour assurer l'intégrité et la continuité des données.

Entrepôts de données

Les entrepôts de données sont conçus pour permettre des interrogations et des analyses efficaces des données structurées. Ils fournissent un référentiel central pour l'intelligence d'affaires et la production de rapports.

Mise en oeuvre :

  1. Sélection d'entrepôt de données : Sélectionnez un service d'entrepôt de données en nuage qui correspond à vos besoins d'analyse et qui s'intègre parfaitement à vos outils et flux de travail existants.
  2. Modélisation des données : Concevez un schéma en étoile ou en flocon de neige pour optimiser la performance des interrogations. Créez des tables de faits et de dimension pour une extraction efficace des données.
  3. Chargement et extraction, transformation et chargement des données : Utilisez les processus ETL pour extraire, transformer et charger des données provenant de diverses sources dans l'entrepôt de données.
  4. Optimisation des interrogations : Optimisez la performance des interrogations en créant des index, des vues matérialisées et des partitions appropriés.
  5. Partitionnement et distribution des données : Répartissez les données entre les noeuds ou les grappes pour équilibrer la charge de travail et optimiser l'exécution des interrogations.
  6. Contrôle de l'accès aux données : Mettez en oeuvre les contrôles d'accès et les autorisations basées sur les rôles pour assurer un accès sécurisé et contrôlé aux données.
  7. Intégration aux outils d'analyse : Intégrez l'entrepôt de données à des outils d'analyse et de production de rapports pour la visualisation des données et la génération de synthèses.
  8. Extensibilité et élasticité : Tirez parti de l'extensibilité du nuage pour ajuster les ressources de calcul en fonction des besoins pour gérer différentes charges de travail.

Lacs de données

Les lacs de données stockent des données structurées et non structurées sous leur forme brute, ce qui permet des analyses avancées et le traitement des mégadonnées.

Mise en oeuvre :

  1. Stockage de lac de données : Sélectionnez une solution de stockage de lac de données en nuage qui offre une évolutivité et prend en charge divers formats de données.
  2. Ingestion de données : Ingérer des données provenant de plusieurs sources dans le lac de données à l'aide de mécanismes de traitement par lots ou de diffusion en continu en temps réel.
  3. Gestion du catalogue de données et des métadonnées : Mettez en oeuvre la gestion des métadonnées et le catalogue de données pour tenir à jour un inventaire organisé des ressources de données.
  4. Partitionnement et compression des données : Optimisez le stockage en partitionnant les données et en utilisant des techniques de compression pour un stockage efficace des données.
  5. Structures de traitement des données : Intégrer à des cadres de traitement des données (tels que Hadoop et Spark) pour effectuer des transformations, un nettoyage et une analyse des données.
  6. Sécurité et gouvernance des données : Appliquez des mesures de sécurité telles que le chiffrement, les contrôles d'accès et le suivi du lignage des données pour assurer la sécurité et la conformité des données.
  7. Pipelines de traitement de données : Créez des pipelines de traitement de données pour automatiser le déplacement et la transformation des données dans le lac de données.
  8. Analyse et apprentissage automatique : Utilisez des outils d'analyse et d'apprentissage automatique pour dériver des synthèses et des modèles à partir des données brutes stockées dans le lac de données.
  9. Intégration aux plates-formes d'analyse : Intégrez le lac de données aux plates-formes et outils d'analyse pour permettre l'analyse avancée des données et la production de rapports.
  10. Gestion du cycle de vie des données : Mettez en oeuvre des politiques de cycle de vie des données pour gérer la conservation, l'archivage et la suppression des données.

Sécurité et gouvernance des données

La sécurité et la gouvernance des données sont primordiales dans le paysage numérique d'aujourd'hui, en particulier dans le contexte de l'adoption du nuage. Ils assurent la confidentialité, l'intégrité et la disponibilité des données tout en maintenant le respect des réglementations et en protégeant la confidentialité individuelle.

Les informations suivantes décrivent en détail l'importance de la sécurité et de la gouvernance des données, ainsi que les composants clés tels que les contrôles d'accès, le chiffrement, la confidentialité et la conformité.

Sécurité des données

Les violations de données peuvent avoir de graves conséquences, y compris des pertes financières, des dommages à la réputation et des ramifications juridiques. Des mesures de sécurité appropriées sont essentielles pour prévenir les accès non autorisés, le vol de données et les cyberattaques.

  • Contrôles d'accès : La mise en oeuvre des contrôles d'accès garantit que seules les personnes autorisées peuvent accéder aux données et les manipuler. Le contrôle d'accès basé sur les rôles (RBAC) affecte des autorisations en fonction des rôles professionnels, réduisant ainsi le risque d'exposition aux données.

  • Authentification et autorisation : L'authentification forte (telle que l'authentification multifacteur) vérifie les identités des utilisateurs, tandis que l'autorisation définit les actions qu'ils peuvent effectuer sur les données.

  • Masquage des données : Les données sensibles peuvent être masquées ou masquées pour protéger leur confidentialité lors des tests ou du développement.

  • Pare-feu et détection d'intrusion : Le déploiement de pare-feu et de systèmes de détection d'intrusion aide à surveiller et à bloquer l'activité réseau non autorisée et les violations potentielles.

Gouvernance des données

La gouvernance des données implique l'établissement de processus, de politiques et de normes pour la gestion et l'utilisation des données. Il garantit la qualité, l'exactitude et l'utilisation appropriée des données dans toute l'organisation.

  • Propriété et gérance des données : Affectez la responsabilité de la propriété et de la gérance des données, en assurant la responsabilité de la qualité et de l'intégrité des données.

  • Catalogue de données et lignage : La maintenance d'un catalogue de données et le suivi du lignage de données aident les organisations à comprendre d'où proviennent les données, comment elles sont utilisées et qui y a accès.

  • Politiques et procédures relatives aux données : Établissez des politiques et procédures claires en matière de gouvernance des données qui guident le traitement, le stockage, l'accès et le partage des données.

  • Gestion des métadonnées : Une gestion efficace des métadonnées améliore la détection, la compréhension et le contexte des données, ce qui permet une meilleure prise de décision.

Chiffrement des données

Le chiffrement transforme les données dans un format codé qui ne peut être déchiffré qu'avec la clé de déchiffrement appropriée. Il fournit une couche supplémentaire de protection, même si des parties non autorisées ont accès aux données.

  • Chiffrement des données au repos : Le chiffrement des données lorsqu'elles sont stockées sur des systèmes de stockage empêche l'accès non autorisé aux données en cas de vol physique ou d'exposition.

  • Chiffrement des données en transit : Le chiffrement des données entre les systèmes garantit leur confidentialité lors de la traversée des réseaux.

  • Chiffrement de bout en bout : L'assurance du chiffrement de la source de données vers sa destination, y compris lors du traitement, améliore la sécurité des données tout au long de son cycle de vie.

Confidentialité des données

La protection de la vie privée est essentielle, en particulier lors du traitement de données personnelles ou sensibles. Le respect des règles de confidentialité telles que le RGPD ou HIPAA est essentiel pour éviter les sanctions légales.

  • Anonymisation et pseudonymisation : Des techniques telles que l'anonymisation et la pseudonymisation aident à garantir que les identités individuelles ne peuvent pas être facilement liées à des données spécifiques.

  • Gestion du consentement : Obtenez le consentement explicite des personnes pour la collecte et l'utilisation des données, en assurant la transparence et le contrôle de leurs renseignements personnels.

  • Minimisation des données : Collectez uniquement les données nécessaires et conservez-les pendant la durée requise pour réduire les risques liés à la confidentialité.

Conformité

Le respect des réglementations de l'industrie et des lois sur la protection des données n'est pas seulement une exigence légale, mais renforce également la confiance des clients et des parties prenantes.

  • Conformité réglementaire : Différentes industries ont des réglementations spécifiques (par exemple, GDPR, HIPAA, CCPA) qui dictent la façon dont les données doivent être traitées, stockées et protégées.

  • Pistes de vérification et journalisation : Tenir à jour les pistes de vérification détaillées et les journaux de l'accès aux données et des modifications, ce qui facilite la production de rapports de conformité et l'enquête sur les incidents.

  • Conservation et élimination des données : Définissez des politiques de conservation et d'élimination des données pour garantir que les données sont conservées pendant la durée appropriée et supprimées en toute sécurité lorsqu'elles ne sont plus nécessaires.

Traitement et analyse des données

La configuration d'outils de traitement et d'analyse des données dans un environnement en nuage implique la configuration, l'intégration et l'optimisation de divers outils et services pour permettre un traitement, une analyse et une génération d'informations efficaces.

Les informations suivantes expliquent comment ce processus est effectué :

  1. Sélection d'outils : Sélectionnez des outils de traitement et d'analyse des données qui correspondent à vos besoins d'affaires et à vos cas d'utilisation particuliers. Tenez compte de facteurs tels que le volume de données, la complexité, les exigences en temps réel et les capacités analytiques souhaitées.
  2. Sélection de services en nuage : Identifiez les services en nuage qui hébergent les outils.
  3. Ressources de provisionnement : Provisionnez les ressources de calcul, de stockage et de réseau nécessaires pour prendre en charge les charges de travail de traitement et d'analyse des données.
  4. Ingestion de données : Configurez des pipelines d'ingestion de données pour importer des données de diverses sources dans l'environnement en nuage. Cela peut impliquer le traitement par lots ou la diffusion en continu en temps réel, selon le cas d'utilisation.
  5. Stockage de données : Sélectionnez et configurez des solutions de stockage de données telles que des bases de données, des entrepôts de données ou des lacs de données pour stocker les données ingérées de manière structurée et organisée.
  6. Transformation de données : Concevoir et mettre en oeuvre des processus de transformation de données pour nettoyer, enrichir et préparer les données aux fins d'analyse. Cela peut impliquer des flux de travail ETL ou des cadres de traitement de données tels qu'Apache Spark.
  7. Configuration des outils d'analyse : Configurez les outils d'analyse sélectionnés, qui peuvent inclure des plates-formes de visualisation de données, des outils d'intelligence d'affaires, des cadres d'apprentissage automatique ou des logiciels d'analyse statistique.
  8. Intégration : Intégrez les outils de traitement et d'analyse des données à d'autres composants de l'environnement en nuage, tels que le stockage de données, les services d'orchestration et les sources de données externes.
  9. Modélisation de données : Créez des modèles de données ou des schémas qui permettent des interrogations et des analyses efficaces dans les outils d'analyse sélectionnés. Optimiser les structures de données pour des cas d'utilisation spécifiques.
  10. Optimisation des interrogations : Ajustez la performance des interrogations en créant des index appropriés, en partitionnant les données et en optimisant les interrogations SQL ou d'autres codes de traitement des données.
  11. Contrôles de sécurité et d'accès aux données : Mettez en oeuvre des mesures de sécurité des données, notamment les contrôles d'accès, le chiffrement et les mécanismes d'authentification, pour protéger les données sensibles et contrôler l'accès des utilisateurs.
  12. Automatisation et orchestration : Automatisez les pipelines et les flux de travail de traitement de données à l'aide d'outils d'orchestration natifs en nuage pour assurer la cohérence et la fiabilité.
  13. Surveillance et journalisation : Configurez des solutions de surveillance et de journalisation pour suivre l'état, la performance et l'utilisation des outils de traitement et d'analyse des données. Cela facilite le dépannage et l'optimisation.
  14. Extensibilité et gestion des ressources : Concevez la configuration pour l'évolutivité, ce qui permet aux outils de gérer des charges de travail et des demandes de ressources variables. Utilisez les fonctions d'ajustement automatique pour ajuster dynamiquement les ressources selon les besoins.
  15. Test et validation : Testez soigneusement la configuration pour vous assurer que les données sont ingérées, traitées et analysées avec précision. Valider l'exactitude des résultats et des visualisations.
  16. Formation et perfectionnement des compétences : Formation des utilisateurs et des analystes de données sur la façon d'utiliser efficacement les outils de traitement et d'analyse des données dans l'environnement en nuage.
  17. Optimisation continue : Surveillez et optimisez en continu la configuration pour assurer la performance, la rentabilité et l'utilisation des ressources. Adaptez-vous à l'évolution des données et des exigences commerciales au fil du temps.

Planification de la migration des données

La migration des données de l'environnement sur place vers le nuage est un processus complexe qui nécessite une planification, une exécution et une prise en compte minutieuses de divers aspects techniques, opérationnels et de sécurité.

Les informations suivantes fournissent des stratégies et des considérations clés pour assurer une migration des données réussie et fluide.

Évaluation et planification des données

  • Inventaire des données : Identifiez toutes les sources, tous les types et tous les volumes de données qui doivent être migrés. Catégoriser les données en fonction de l'importance, de la sensibilité et des modèles d'utilisation.
  • Dépendances de données : Découvrez comment les données sont interconnectées et les flux au sein de vos systèmes sur place. Identifier les dépendances qui peuvent avoir une incidence sur la migration.
  • Nettoyage et préparation des données : Nettoyez et transformez les données pour en assurer la qualité, la cohérence et la compatibilité avec l'environnement en nuage.

Stratégies de migration des données

  • Chargement et déplacement : Déplacez les données telles quelles de vos installations vers le nuage, en préservant la structure de données et les applications existantes. Cela convient aux applications avec une optimisation minimale du nuage.
  • Modification de la plate-forme : Modifiez légèrement les applications pour tirer parti des fonctions propres au nuage lors de la migration des données. Optimisez pour les avantages en matière de coûts et de rendement.
  • Réactualisation : Nouvelle conception des applications et des données afin d'exploiter pleinement les fonctionnalités natives en nuage. Cela nécessite d'importantes modifications d'application, mais offre un maximum d'avantages pour le nuage.

Méthodes de transfert de données

  • Transfert de données en ligne : Transférez des données sur Internet à l'aide de canaux sécurisés. Cela convient pour les jeux de données plus petits ou la migration en temps réel.
  • Transfert de données hors ligne : Expédition physique des données à l'aide d'appareils de stockage vers le centre de données du fournisseur de services infonuagiques. Utile pour les grands volumes de données avec une bande passante de réseau limitée.

Outils et services de migration des données

  • Outils pour fournisseurs infonuagiques : De nombreux fournisseurs de services en nuage offrent des outils et des services de migration qui simplifient le processus de migration. Oracle fournit un ensemble complet d'outils pour la migration des données et des bases de données vers OCI.
  • Outils de tierce partie : Envisagez d'utiliser des outils de tierce partie spécialisés dans la migration des données, afin de garantir un processus plus rationalisé et automatisé.

Sécurité et conformité des données

  • Chiffrement : Mettez en oeuvre le chiffrement des données pendant le transit et au repos afin d'assurer la sécurité des données pendant la migration.
  • Conformité : Assurez-vous que la migration des données respecte les réglementations de l'industrie et les normes de conformité, telles que GDPR, HIPAA ou d'autres exigences régionales.

Test et validation des données

  • Cohérence des données : Validez que les données sont migrées avec précision, en maintenant leur intégrité et leur cohérence tout au long du processus.
  • Tests fonctionnels : Testez les applications et les systèmes après la migration pour vous assurer qu'ils fonctionnent comme prévu dans l'environnement en nuage.

Plan de repositionnement

  • Plan de continuité des activités : Développez un plan de repositionnement en cas de problème lors de la migration, ce qui vous permet de revenir à l'environnement sur place sans interruption majeure.

Mise en service des données

  • Planification des temps d'arrêt : Planifiez tout temps d'arrêt nécessaire pendant la mise en service de la migration afin de réduire l'incidence sur les utilisateurs et les opérations.

Optimisation après la migration

  • Réglage de la performance : Optimisez les applications et les bases de données en nuage pour assurer la performance en tirant parti de fonctions propres au nuage.
  • Ajustement des ressources : Utilisez l'évolutivité du nuage pour ajuster les ressources en fonction des demandes de charge de travail afin d'assurer une performance optimale et une rentabilité.

Communication et formation

  • Communication avec les parties prenantes : Tenez les parties prenantes informées de l'avancement de la migration, des temps d'arrêt potentiels et de toute modification apportée à l'accès aux applications.
  • Formation utilisateur : Former les utilisateurs sur l'accès et l'utilisation des données dans l'environnement en nuage, pour une transition en douceur.

Surveillance et soutien

  • Surveillance : Mettez en oeuvre des outils de surveillance pour suivre l'état, la performance et l'utilisation des données et des applications migrées.
  • Soutien technique : Un plan de soutien est en place pour résoudre les problèmes qui pourraient survenir après la migration.

Compatibilité et interopérabilité des données

L'évaluation de la compatibilité des données et la garantie de l'interopérabilité des données sont des étapes cruciales dans le processus de migration des données vers le nuage ou d'intégration des données de diverses sources. Ces étapes permettent de s'assurer que les données peuvent être échangées, consultées et utilisées efficacement sur différents systèmes et plates-formes.

Les informations suivantes expliquent l'exploration de l'évaluation de la compatibilité des données et les stratégies permettant d'assurer l'interopérabilité des données.

Évaluation de la compatibilité des données

L'évaluation de la compatibilité des données consiste à évaluer la compatibilité des formats, des structures et des schémas de données entre les systèmes sources et les plates-formes cibles, telles que les environnements en nuage. L'objectif est d'identifier les défis et les conflits potentiels qui pourraient survenir lors de l'intégration ou de la migration des données. Les principaux points à considérer sont les suivants :

  1. Formats de données : Évaluez si les formats de données utilisés dans les systèmes sources sont compatibles avec les formats pris en charge par la plate-forme cible. Par exemple, vérifiez si les deux systèmes utilisent des formats de fichier communs (CSV, JSON, XML) ou des méthodes de sérialisation des données.

  2. Structures de données : Analysez la structure des données dans les systèmes sources et assurez-vous qu'elle correspond au modèle de données de la plate-forme cible. Traiter les différences dans les noms de champ, les types de données et les structures hiérarchiques.

  3. Mappage de schéma : Mappez le schéma des données sources au schéma du système cible. Identifier les écarts potentiels dans les noms de champ, les types de données, les contraintes et les relations.

  4. Intégrité des données : Validez l'intégrité des données dans les systèmes sources, en identifiant les incohérences, les doubles et les valeurs manquantes qui pourraient affecter l'interopérabilité.

Stratégies pour assurer l'interopérabilité des données

L'interopérabilité des données garantit que les données peuvent circuler en toute transparence entre différents systèmes, applications et plates-formes. Les informations suivantes décrivent les stratégies d'interopérabilité des données.

  1. Normalisation et modèles de données

    • Adoptez des modèles et des schémas de données conformes aux normes de l'industrie qui sont largement reconnus et utilisés dans tous les systèmes. Cela réduit les frictions lors de l'échange de données.
    • Utilisez des formats de données standardisés, tels que XML, JSON ou CSV, compatibles avec diverses applications et plates-formes.

  2. API et services Web

    • Mettez en œuvre des API et des services Web pour exposer et consommer des données de manière standardisée. Les API fournissent une interface bien définie pour l'interaction des données.

  3. Transformation de données et ETL

    • Utiliser des processus ETL pour transformer les données des systèmes sources dans un format compatible avec la plate-forme cible. Cela peut impliquer le nettoyage, la normalisation et l'enrichissement des données.

  4. Plateformes d'intégration de données

    • Utilisez des plateformes d'intégration de données qui fournissent des outils et des connecteurs pour un déplacement et une transformation des données transparents entre différents systèmes et environnements en nuage.

  5. Gestion des métadonnées

    • Tenir à jour des enregistrements de métadonnées complets décrivant la structure, la sémantique et les relations des données. Cela améliore la compréhension et facilite l'intégration des données.

  6. Gestion des données principales

    • Mettre en œuvre des pratiques Master Data Management (MDM) pour assurer la cohérence et l'exactitude des éléments de données clés dans différents systèmes. Le MDM permet d'éliminer les écarts et les doubles de données.

  7. Politiques et gouvernance des données

    • Établissez des pratiques de gouvernance des données qui définissent les normes de données, la responsabilité et les politiques d'utilisation. Cela garantit un traitement et un échange cohérents des données.

  8. Règles de mappage et de transformation de schéma

    • Créez des règles de mappage et de transformation de schéma claires qui guident la conversion des données d'un format à un autre. Les outils d'automatisation peuvent aider à appliquer ces règles de manière cohérente.

  9. Intégration de données en temps réel

    • Mettez en œuvre des mécanismes d'intégration des données en temps réel, tels que des architectures basées sur les événements ou des plates-formes de diffusion en continu, pour permettre l'échange et les mises à jour instantanées des données.

  10. Tests d'interopérabilité

    • Effectuer des tests d'interopérabilité approfondis pour valider que les données peuvent être échangées et traitées avec succès entre différents systèmes et plates-formes.

  11. Maintenance et surveillance continues

    • Surveiller régulièrement les flux de données et les points d'intégration pour identifier et résoudre les problèmes qui pourraient survenir. L'interopérabilité des données devrait être une priorité permanente.

Transfert de données et principes relatifs aux données

Lors du transfert de données, en particulier lors de la migration vers le nuage, plusieurs principes clés doivent guider le processus afin d'assurer l'intégrité des données, la sécurité et une migration réussie. Ces principes aident à établir un cadre pour le traitement efficace des données et l'atténuation des risques.

Les informations suivantes donnent un aperçu de ces principes directeurs.

  • Validation et nettoyage des données : Avant la migration, validez et nettoyez soigneusement les données afin de supprimer les incohérences, les erreurs et les doubles. Cela garantit que seules des données précises et fiables sont migrées, réduisant ainsi le risque de problèmes dans l'environnement cible.
  • Chiffrement des données : Chiffrez les données pendant le transit pour les protéger contre les accès ou les interceptions non autorisés. Mettez en œuvre des protocoles de chiffrement solides (SSL/TLS) pour assurer la sécurité des données pendant leur transfert.
  • Compression des données : Utilisez les techniques de compression des données pour réduire le volume des données transférées. Cela permet d'optimiser la bande passante du réseau et d'accélérer le processus de transfert.
  • Fractionnement et reprise des données : Divisez les jeux de données volumineux en fragments plus petits pour le transfert. Mettre en œuvre des mécanismes qui permettent de reprendre le transfert de données d'où il s'est arrêté en cas d'interruptions, en minimisant la perte et la retransmission des données.
  • Optimisation du réseau : Optimisez la performance du réseau pour le transfert de données à l'aide de techniques telles que la limitation de la bande passante, la qualité de service (QoS) et la priorisation du trafic afin d'assurer une utilisation efficace des ressources disponibles.
  • Protocoles de transfert de données : Sélectionnez les protocoles de transfert de données appropriés en fonction des exigences de sécurité, de fiabilité et de vitesse. Les protocoles courants comprennent FTP, SFTP, SCP, HTTP/HTTPS et les services de transfert de données propres au nuage.
  • Surveillance et journalisation : Mettez en oeuvre des mécanismes robustes de surveillance et de journalisation pour suivre la progression du transfert de données, détecter les anomalies et résoudre les problèmes en temps réel.
  • Propriété et responsabilité des données : Définissez clairement la propriété et les responsabilités des données lors du processus de migration. Désignez des personnes ou des équipes responsables des tâches de validation, de transfert et de migration des données.
  • Plan de migration des données : Développez un plan complet de migration des données qui décrit la séquence de transfert des données, les programmes, les jalons et les ressources requis pour une migration réussie.
  • Plan de sauvegarde et de repositionnement : Mettez en place une stratégie de sauvegarde pour garantir la conservation d'une copie des données avant la migration. En outre, créez un plan d'annulation (rollback plan) en cas de problème lors de la migration, ce qui vous permet de revenir à l'état précédent si nécessaire.
  • Conservation et suppression des données : Déterminez comment les données seront traitées après la migration, notamment les politiques de conservation des données et les procédures sécurisées de suppression des données pour toutes les données qui ne sont plus nécessaires.
  • Validation et test des données : Après la migration, validez et testez soigneusement les données migrées pour en assurer l'exactitude, l'exhaustivité et l'intégrité. Comparer les données migrées à la source pour identifier les écarts.
  • Formation et documentation : Former le personnel pertinent impliqué dans la migration des données sur les principes, les processus et les outils utilisés. Documenter les procédures et les étapes de migration pour référence future.
  • Conformité et confidentialité des données : Assurez la conformité aux réglementations sur la protection des données et aux lois sur la confidentialité lors du transfert et de la migration des données. Protégez les données sensibles et respectez les exigences légales.
  • Collaboration et communication : Favorisez la communication et la collaboration ouvertes entre les équipes impliquées dans le transfert et la migration des données. Informer régulièrement les parties prenantes des progrès réalisés et répondre rapidement à toute préoccupation.

Architecture des données de référence

L'établissement d'une architecture de données de référence est une étape cruciale dans le processus d'adoption du nuage. Il sert de cadre de base sur lequel seront créées toutes les activités, tous les processus et tous les systèmes liés aux données dans l'environnement en nuage. Une architecture de données de référence bien définie offre une approche structurée de la gestion, de l'intégration, de la sécurité et de la gouvernance des données dans le nuage.

Les informations suivantes décrivent l'importance et les éléments clés de l'établissement d'une architecture de données de référence pour l'adoption du nuage.

Importance de l'architecture des données de référence

  1. Cohérence et normalisation : Une architecture de données de référence garantit des pratiques de gestion des données cohérentes dans l'ensemble de l'organisation, favorisant l'uniformité des modèles de données, des schémas et du stockage.
  2. Efficience : Elle simplifie l'intégration, la migration et l'accès aux données, réduisant ainsi les efforts de duplication et optimisant les processus de traitement des données.
  3. Extensibilité : Une architecture de référence bien conçue offre une extensibilité transparente à mesure que les volumes de données et les besoins de traitement augmentent au fil du temps.
  4. Interopérabilité : Elle facilite l'interopérabilité des données entre différents systèmes, applications et services en nuage, permettant un échange et une analyse efficaces des données.
  5. Gouvernance des données : L'architecture de données de référence fournit un cadre pour la mise en oeuvre des politiques de gouvernance des données, assurant ainsi la qualité, la sécurité et la conformité des données.

Éléments clés de l'architecture des données de référence

  1. Modèles et schémas de données : Définissez des modèles et des schémas de données normalisés qui structurent l'organisation, le stockage et l'accès des données dans l'environnement en nuage.
  2. Modèles d'intégration des données : Établissez des modèles d'intégration des données, notamment l'ETC, la diffusion en continu en temps réel et le traitement par lots, pour faciliter le déplacement des données.
  3. Stratégies de stockage de données : Déterminez les types de solutions de stockage de données à utiliser, telles que les bases de données, les entrepôts de données et les lacs de données, en fonction des exigences de l'organisation en matière de données.
  4. Sécurité et confidentialité des données : Définissez des mesures de sécurité des données, des contrôles d'accès, du chiffrement et des techniques de masquage des données pour protéger les données sensibles et assurer la conformité aux réglementations en matière de confidentialité.
  5. Gestion des données principales : Mettez en oeuvre les principes MDM pour gérer et tenir à jour des données principales cohérentes, précises et faisant autorité dans l'environnement en nuage.
  6. Gestion des métadonnées : Établissez des pratiques de gestion des métadonnées pour cataloguer et documenter les ressources de données, en fournissant des données clés sur le lignage, les définitions et l'utilisation des données.
  7. Cadre de gouvernance des données : Définissez les rôles, les responsabilités et les processus pour l'intendance, la responsabilité et la responsabilité des données, en assurant une gouvernance efficace des données.
  8. Assurance qualité des données : Élaborez des stratégies pour l'évaluation, la validation et le nettoyage de la qualité des données afin de garantir l'exactitude et la fiabilité des données dans le nuage.
  9. Gestion du cycle de vie des données : Décrivez les étapes du cycle de vie des données, notamment la création, l'utilisation, la conservation et l'archivage, pour gérer les données tout au long de leur cycle de vie.
  10. Accès aux données et analyse des données : Spécifiez comment les données seront accessibles, interrogées et analysées dans l'environnement en nuage, notamment les outils, les API et les plates-formes d'analyse.
  11. Interopérabilité et intégration des données : Concevez des mécanismes d'intégration qui permettent un échange de données transparent entre les systèmes sur place, les services en nuage et les partenaires externes.
  12. Stratégies de migration de données : Définissez des stratégies et des méthodologies de migration de données pour transférer des données des applications sur place vers le nuage, en minimisant les interruptions.
  13. Surveillance et vérification des données : Mettez en oeuvre des mécanismes de surveillance et de vérification pour suivre l'utilisation des données, les modifications et les modèles d'accès à des fins de conformité et de sécurité.
  14. Conservation et archivage des données : Établissez des directives pour la conservation, l'archivage et la suppression des données afin de gérer les coûts de stockage de données et de respecter les exigences réglementaires.
  15. Culture et formation des données : Favorisez une culture axée sur les données au sein de l'organisation et offrez aux utilisateurs une formation sur la manière d'exploiter efficacement les données dans l'environnement en nuage.

Capacity Planning des données

La planification de la capacité est un aspect crucial pour s'assurer qu'un environnement en nuage peut s'adapter efficacement à la croissance prévue des données au fil du temps. Il s'agit d'analyser les besoins actuels et futurs en matière de stockage, de traitement et de mise en réseau des données afin d'allouer les ressources de manière appropriée et de maintenir des performances optimales.

Les informations suivantes décrivent comment la planification contribue à l'adaptation de la croissance des données dans un environnement en nuage.

  • Prévision de la croissance des données : La planification de la capacité commence par prédire la quantité de données à générer, à ingérer, à traiter et à stocker dans l'environnement en nuage au cours d'une période spécifiée. Cela implique d'examiner les tendances historiques des données, les projections commerciales et les changements potentiels du volume des données.
  • Affectation de ressources : Selon les prévisions de croissance des données, les planificateurs de capacité déterminent les ressources de calcul, les capacités de stockage et la bande passante de réseau nécessaires pour gérer l'augmentation du chargement des données. Ces ressources sont allouées de manière à éviter la sous-utilisation ou la surutilisation.
  • Stratégies d'extensibilité : Les environnements en nuage offrent une extensibilité qui permet aux organisations d'augmenter ou de réduire les ressources en fonction de la demande. Les planificateurs de capacité décident de mettre en œuvre la mise à l'échelle verticale (augmentation des ressources des instances existantes) ou horizontale (ajout d'instances supplémentaires) pour tenir compte efficacement de la croissance des données.
  • Optimisation du rendement : À mesure que les données augmentent, la planification de la capacité met l'accent sur le maintien d'un rendement optimal. Cela inclut l'évaluation et le réglage de précision des configurations, des bases de données et des composants d'application de l'environnement en nuage afin d'éviter les goulots d'étranglement et d'assurer une bonne réactivité.
  • Surveillance et alertes : Mettez en oeuvre des outils de surveillance qui suivent l'utilisation des ressources, le débit des données et les mesures de performance. Configurez des alertes pour aviser les administrateurs lorsque les seuils de ressources approchent des limites de capacité.
  • Ajustement automatique et élasticité : Tirez parti des fonctions en nuage natives telles que l'ajustement automatique et l'élasticité pour ajuster automatiquement les ressources en réponse à l'évolution des charges de travail de données. Cela garantit que l'environnement peut gérer les pics d'utilisation des données sans intervention manuelle.
  • Compression et optimisation des données : Mettez en oeuvre la compression des données, en supprimant les données en double et les techniques d'optimisation afin de réduire l'empreinte physique du stockage des données tout en assurant leur accessibilité et leur performance.
  • Niveau de données : Mettez en oeuvre des stratégies de niveau de données qui catégorisent les données en fonction de leur fréquence d'accès et de leur importance. Les données fréquemment consultées peuvent être stockées dans des niveaux haute performance, tandis que les données moins consultées peuvent être déplacées vers des niveaux de stockage rentables.
  • Sélection des services de stockage : Sélectionnez les services de stockage en nuage appropriés en fonction des modèles d'accès aux données. Par exemple, les données fréquemment consultées peuvent être stockées sur des disques SSD (Solid State Drive), tandis que les données d'archivage peuvent résider dans des services de stockage à long terme.
  • Reprise après sinistre et continuité des activités : La planification de la capacité tient également compte des exigences en matière de reprise après sinistre et de continuité des activités, garantissant que l'environnement en nuage peut gérer efficacement les processus de réplication et de sauvegarde des données.
  • Tests et simulation : Les planificateurs de capacité effectuent souvent des tests de charge et des simulations pour valider que l'environnement en nuage peut gérer les scénarios de croissance des données anticipées sans dégradation de la performance.
  • Flexibilité et agilité : La planification de la capacité prend en compte l'agilité de l'organisation pour s'adapter rapidement et provisionner des ressources supplémentaires à mesure que les modèles de croissance des données évoluent au fil du temps.

Conservation des données et planification de l'archivage

La conservation et l'archivage des données dans l'environnement en nuage impliquent le stockage de données pour une conservation à long terme, la conformité et une utilisation future potentielle. La mise en œuvre de stratégies efficaces de conservation et d'archivage des données garantit que les données restent accessibles, sécurisées et organisées sur de longues périodes.

Les informations suivantes fournissent des stratégies à prendre en compte :

  • Définition des politiques de conservation des données : Établissez des politiques de conservation des données claires et bien définies qui décrivent la durée pendant laquelle des types de données spécifiques doivent être conservés en fonction des exigences juridiques, réglementaires et commerciales. Tenez compte de facteurs tels que la sensibilité des données, la réglementation de l'industrie et l'importance historique.
  • Classification des données et hiérarchisation : permet de classer les données en fonction de leur valeur, de leur importance et de leur fréquence d'accès. Cela vous permet d'appliquer les règles de conservation et les stratégies d'archivage de manière sélective. Implémentez un stockage hiérarchisé, avec différents niveaux de performance et de coût, pour stocker les données en fonction de ses modèles d'accès.
  • Mise en oeuvre de la gestion du cycle de vie des données : Définissez un cadre de gestion du cycle de vie des données qui englobe la création, l'utilisation, la conservation et l'archivage ou la suppression des données. Automatiser le déplacement des données entre différents niveaux de stockage en fonction de politiques prédéfinies.
  • Solutions d'archivage : Tirez parti de solutions d'archivage en nuage natives, conçues spécialement pour la conservation à long terme des données. Ces solutions offrent des options de stockage rentables optimisées pour les données rarement consultées.
  • Stockage non mutable : Utilisez des fonctions de stockage non mutables pour empêcher la modification ou la suppression des données pendant sa période de conservation. Ceci est crucial pour maintenir l'intégrité des données et la conformité aux exigences réglementaires.
  • Sauvegarde et instantané : Mettez en oeuvre des sauvegardes et des instantanés réguliers pour saisir des données à des moments précis. Ces sauvegardes peuvent servir de points de restauration en cas de perte ou de corruption de données.
  • Indexation et catalogage de données : Tenir à jour un index organisé et interrogeable ou un catalogue de données archivées. Cela facilite l'extraction et réduit le temps et les efforts nécessaires pour localiser des enregistrements archivés spécifiques.
  • Gestion des métadonnées : Incluez les métadonnées sur les données archivées, telles que la date de création, le responsable, la période de conservation et le contexte. Les métadonnées améliorent la compréhension et le contexte des données archivées.
  • Conformité et considérations juridiques : Assurez-vous que les stratégies de conservation et d'archivage des données sont conformes aux réglementations de l'industrie, aux lois sur la protection des données et aux exigences juridiques pertinentes. Cela permet d'éviter les risques juridiques potentiels.
  • Chiffrement des données : Appliquez le chiffrement aux données archivées pour assurer leur sécurité et leur confidentialité lors du stockage à long terme. Le chiffrement protège les données contre les accès non autorisés et les violations.
  • Contrôle de l'accès aux données : Mettez en oeuvre des contrôles d'accès stricts pour limiter les personnes pouvant extraire ou restaurer des données archivées. L'accès basé sur les rôles garantit que seul le personnel autorisé peut accéder au contenu archivé.
  • Vérifications et vérifications périodiques : Vérifiez et vérifiez périodiquement vos politiques de conservation des données et d'archivage pour vous assurer qu'elles restent à jour et conformes aux besoins d'affaires en constante évolution et aux exigences de conformité.
  • Politiques de destruction des données : Élaborez des procédures pour supprimer ou détruire des données en toute sécurité une fois la période de conservation expirée et les exigences juridiques ou commerciales ne nécessitent plus leur conservation.
  • Tester la récupération de données : Testez périodiquement le processus de restauration pour les données archivées afin de vous assurer qu'il peut être extrait avec succès si nécessaire.

Surveillance et optimisation de la performance

Les informations suivantes décrivent le rôle important de la surveillance de l'utilisation, de la performance et de l'optimisation des données dans l'environnement en nuage :

  • Assurance performance : La surveillance de l'utilisation et de la performance des données permet aux organisations de garantir le rendement attendu de leurs ressources en nuage. Il aide à détecter les goulots d'étranglement de performance, les problèmes de latence et les ralentissements, ce qui permet un dépannage et une optimisation proactifs.
  • Utilisation efficace des ressources : Le service de surveillance fournit des informations sur l'utilisation des ressources en nuage. En analysant les modèles d'utilisation des données, les organisations peuvent identifier les ressources surutilisées ou sous-utilisées et prendre des décisions éclairées pour optimiser l'affectation des ressources et réduire les coûts.
  • Gestion des coûts : Une surveillance efficace des données permet de contrôler les coûts en identifiant le gaspillage de ressources ou le provisionnement inutile. Les organisations peuvent redimensionner leurs ressources, mettre fin aux instances inactives et optimiser l'utilisation du stockage, ce qui permet de réaliser des économies.
  • Extensibilité et élasticité : La surveillance de l'utilisation et de la performance des données permet aux organisations d'adapter leurs ressources en nuage sur demande. Les informations en temps réel permettent une mise à l'échelle dynamique, ce qui garantit que l'environnement en nuage peut gérer l'augmentation des charges de travail.
  • Conformité à l'expérience utilisateur et au CNS : La surveillance garantit que les services en nuage répondent aux attentes en matière de performance et aux contrats de niveau de service. En suivant l'utilisation des données et les temps de réponse, les organisations peuvent assurer une expérience utilisateur positive et la conformité aux engagements en matière de service.
  • Intégrité et sécurité des données : Le service de surveillance permet de détecter les anomalies qui pourraient indiquer un accès non autorisé, des violations de données ou une corruption de données. Il contribue au maintien de l'intégrité des données et à l'identification des menaces potentielles pour la sécurité.
  • Analyse prédictive : Les modèles d'utilisation des données collectés au fil du temps peuvent être analysés pour prévoir les besoins futurs en ressources, ce qui permet aux organisations de planifier à l'avance l'évolutivité et le provisionnement des ressources.
  • Opportunités d'optimisation : La surveillance continue fournit des informations guidées par les données sur les domaines à améliorer. Les organisations peuvent identifier les possibilités d'optimisation du rendement, de compression des données et de réglage des interrogations pour améliorer l'efficacité.
  • Reprise après sinistre et continuité des activités : La surveillance garantit que les mécanismes de réplication, de sauvegarde et de reprise après sinistre fonctionnent comme prévu. Cela contribue à maintenir la disponibilité des données et à assurer la continuité des activités en cas d'événements inattendus.
  • Conformité réglementaire : La surveillance de l'utilisation et de l'accès aux données aide les organisations à démontrer leur conformité aux réglementations de l'industrie et aux lois sur la protection des données. Il fournit une piste de vérification pour le traitement et l'accès aux données.
  • Résolution proactive des problèmes : La surveillance en temps réel permet aux organisations d'identifier et de résoudre les problèmes avant qu'ils ne dégénèrent, ce qui réduit les temps d'arrêt, les pertes de données et les incidences potentielles sur les activités d'affaires.
  • Gouvernance et responsabilisation du nuage : La surveillance favorise la responsabilisation en suivant l'utilisation, l'accès et les modifications des données. Elle permet d'appliquer les politiques de gouvernance des données et de s'assurer que les données sont gérées conformément aux normes établies.
  • Planification de la capacité : Les tendances d'utilisation des données saisies au moyen de la surveillance facilitent la planification de la capacité. Les organisations peuvent anticiper les besoins en ressources et prendre des décisions éclairées en matière d'évolutivité et de provisionnement.
  • Amélioration continue : La surveillance de l'utilisation et de la performance des données est un élément crucial du cycle d'amélioration continue. Elle permet aux organisations de peaufiner itérativement leur environnement en nuage, leurs architectures de données et leurs applications en fonction de commentaires en temps réel.

Autres points à considérer

L'architecture de données traite des considérations supplémentaires suivantes :

  • Stratégie de migration des données : Planifiez et exécutez la migration des données sur place existantes vers le nuage tout en minimisant les interruptions.
  • Sauvegarde et récupération : Mettez en oeuvre des mécanismes robustes de sauvegarde et de récupération pour assurer la disponibilité des données et la continuité des activités.
  • Gestion du catalogue de données et des métadonnées : Établissez un catalogue de données et un système de gestion des métadonnées pour fournir des données clés sur les ressources de données disponibles et leurs caractéristiques.

Contraintes et bloqueurs

Les contraintes et les bloqueurs dans l'architecture de données pour l'adoption du nuage peuvent inclure :

  • Confidentialité et conformité des données : Traitez les contraintes réglementaires liées à la confidentialité, à la sécurité et à la conformité des données lors du traitement des données sensibles ou réglementées.
  • Limites de ressources : L'adoption du nuage peut être limitée par des limites budgétaires, la disponibilité des ressources ou l'expertise technique.
  • Intégration de systèmes existants : L'intégration aux systèmes existants peut poser des problèmes en matière de compatibilité et de migration des formats de données.
  • Résistance culturelle : surmonter la résistance au changement et encourager la collaboration entre les équipes des TI et des affaires peut être un obstacle.

Étapes suivantes

Définir l'architecture d'application pour l'adoption du nuage