Implémentez un workflow d'apprentissage automatique évolutif à l'aide d'Oracle AI Data Platform et d'OCI Data Science
La solution combine les forces des deux plateformes :
- Plate-forme de données d'IA : fournit une gestion des données centralisée et régie, un traitement Spark à grande échelle, une orchestration de workflow et une architecture de données médaillon.
- Data Science : offre un environnement et une infrastructure d'exécution flexibles pour le développement de machine learning basé sur les blocs-notes et les travaux, le déploiement de modèles et le traitement de modèles pour les charges de travail de production.
Cette architecture est conçue pour prendre en charge les plates-formes de données d'entreprise centralisées, le traitement des données à grande échelle, les charges de travail d'apprentissage automatique à moyenne et grande échelle et la collaboration entre les ingénieurs de données et les data scientists.
Les cas d'emploi les plus courants sont :
- Prévision de la vente au détail : Génération de prévisions de la demande quotidienne en fonction des données historiques et des nouvelles données incluses.
- Optimisation du renouvellement de l'assurance : Optimisation des prix de renouvellement de l'assurance pour maximiser les marges tout en respectant les contraintes commerciales. Un nouveau lot d'offres de renouvellement est généré chaque semaine.
- Surveillance des événements de journal de télécom et détection des dérives : analyse des flux d'événements opérationnels à grande échelle pour détecter la dérive des données, identifier les anomalies et générer des rapports et des informations quotidiens.
Architecture
Ce schéma illustre cette architecture de référence.
Description de l'image aidp-ml-workloads-architecture.png
Aidep-ml-chargements-architecture-oracle.zip#GUID-73867B97-5BE4-434A-85C4-097DB840B323
L'architecture est divisée en quatre domaines principaux.
Plate-forme de données d'IA (AIDP)
La plate-forme de données d'IA est responsable de l'assimilation, de la transformation, de la gouvernance et de la préparation des données.
- Intégration de données : inclusion de données provenant de diverses sources d'entreprise à l'aide de divers outils tels qu'OCI Data Integration et OCI Streaming avec Apache Kafka
- AI Lakehouse : stockage évolutif et dynamique
- Workflows Spark : traitement et transformation évolutifs des données à l'aide de l'architecture des médaillons avec des couches Bronze, Argent et Or
- Flux d'agents : Interactions de données en langage naturel
Ces ressources sont principalement créées et gérées par des ingénieurs de données.
Plate-forme Data Science
Data Science gère le cycle de vie du machine learning, avec différentes ressources utilisées pendant les phases de R&D et de production.
La phase de R&D comprend :
- Sessions de bloc-notes : expérimentation ML et entraînement de modèles
- Catalogue de modèles : gestion des versions et des modèles
- Déploiement de modèle : Déploiement pour le service de modèle sclalable
La phase de production inclut l'automatisation des tâches planifiées pour les pipelines d'inférence de batch reproductibles et l'automatisation de la production
Surveillance OCI
OCI Monitoring fournit une visibilité opérationnelle centralisée sur les deux plates-formes pour la surveillance, la visualisation et les alertes liées à la dérive des données et à la dérive des modèles. OCI Monitoring garantit la fiabilité opérationnelle et la préparation à la production.
Interaction de plate-forme
L'interaction entre la plate-forme Data Science et la plate-forme de données AI sert principalement les objectifs suivants :
- La plate-forme Data Science extrait les données gérées par la plate-forme de données d'IA pour l'entraînement des modèles (données historiques) et l'automatisation de la production (nouveaux cas nécessitant une notation).
- La plate-forme Data Science enrichit les données en ajoutant des scores de prédiction pour les cas nouvellement traités.
La couche de données utilisée pour l'entraînement et l'automatisation de la production peut varier d'une application à l'autre, selon le schéma et l'architecture définis par l'ingénieur de données. Dans de nombreux cas, les données proviennent de la couche d'argent sélectionnée, mais elles peuvent également provenir des couches de bronze ou d'or, ou d'une combinaison de plusieurs couches.
De même, les données enrichies contenant les scores de prédiction sont souvent écrites dans la couche Gold, mais elles peuvent également être stockées dans d'autres couches de données, en fonction des exigences de l'application et de l'architecture des données.
Les données utilisées pour la détection de dérive de données peuvent provenir des couches Bronze, Argent ou Or, en fonction du cas d'utilisation spécifique et de l'architecture des données.
Composants d'architecture
- Oracle AI Data Platform
Oracle AI Data Platform est une plate-forme unifiée qui simplifie le catalogage, la préparation et l'analyse des données dans votre parc de données. Il rassemble les données, l'IA, les analyses et la gouvernance au sein d'une expérience utilisateur cohérente vous permettant de créer des applications sécurisées et évolutives alimentées par l'IA. Oracle AI Data Platform unifie Autonomous AI Lakehouse, Oracle Analytics Cloud, OCI Object Storage, OCI Generative AI et Fusion Data Intelligence.
Sur cette plate-forme, Oracle AI Data Platform Workbench fournit un environnement de développement dédié dans lequel vous pouvez concevoir, orchestrer et déployer des pipelines et des modèles de données, définir des stratégies RBAC et utiliser des technologies open source telles que Spark pour préparer, analyser et enrichir vos données.
- Intégration des données OCI
Oracle Cloud Infrastructure Data Integration est un service sans serveur entièrement géré permettant de concevoir et d'exécuter des pipelines de données. Elle permet une extraction, une transformation et un chargement transparents des données vers des cibles OCI telles qu'Autonomous AI Lakehouse et OCI Object Storage. Les utilisateurs peuvent créer des flux d'intégration via une interface intuitive et sans code qui met à l'échelle automatiquement les environnements d'exécution. Il prend en charge à la fois ETL avec le traitement basé sur Spark et ELT avec SQL Pushdown pour les performances et l'efficacité. Le service offre également des outils de préparation des données et protège contre la dérive de schéma grâce à la gestion basée sur des règles.
- Data Science
Oracle Cloud Infrastructure Data Science est une plate-forme entièrement gérée et sans serveur que les équipes de science des données peuvent utiliser pour créer, entraîner et gérer des modèles de machine learning (ML) sur OCI Il peut facilement s'intégrer à d'autres services OCI tels qu'Oracle Autonomous AI Lakehouse, Oracle Cloud Infrastructure Object Storage, etc. Vous pouvez créer et évaluer des modèles de machine learning de haute qualité qui augmentent la flexibilité de l'entreprise en mettant les données fiables de l'entreprise à fonctionner rapidement, et vous pouvez prendre en charge des objectifs commerciaux basés sur les données avec un déploiement plus facile des modèles de machine learning.
- OCI Identity and Access Management
Oracle Cloud Infrastructure Identity and Access Management (IAM) fournit un contrôle d'accès utilisateur pour OCI et Oracle Cloud Applications. L'API IAM et l'interface utilisateur vous permettent de gérer les domaines d'identité et les ressources qu'ils contiennent. Chaque domaine d'identité OCI IAM représente une solution autonome de gestion des identités et des accès ou une population d'utilisateurs différente.
- Surveillance OCI
Oracle Cloud Infrastructure Monitoring surveille activement et passivement vos ressources cloud et utilise des alarmes pour vous avertir lorsque les mesures répondent à des déclencheurs spécifiés.
- OCI Object Storage
OCI Object Storage fournit un accès à des quantités importantes de informations structurées et non, de tout type de contenu, y compris les sauvegardes de base de donnée, les données analytiques et le contenu enrichi tel que des images et des vidéos. Vous pouvez stocker des données en toute sécurité directement à partir des applications ou de la plate-forme cloud. Vous pouvez redimensionner le stockage sans dégradation des performances ni de la fiabilité de services.
Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archive pour le stockage "à froid" que vous conservez pour de longues périodes et auquel il est rarement accessible.
- Région OCI
Une région OCI est une zone géographique précise qui contient des centres de données, hébergeant des domaines de disponibilité. Les régions sont indépendantes les une des autres et peuvent les séparer d'un pays ou d'un continent à l'autre, et les grandes distances peuvent les séparer.
- Passerelle de service
Une passerelle de service fournit un accès à partir d'un VCN à d'autres services, tels qu'Oracle Cloud Infrastructure Object Storage. Le trafic entre le VCN et le service Oracle passe par la structure réseau Oracle et ne traverse pas Internet.
- OCI Streaming
Oracle Cloud Infrastructure Streaming offre une solution de stockage évolutive et durable entièrement gérée, adaptée à l'intégration de flux de données importants transmis dans continu, que vous pouvez accéder et traiter en temps réel. Vous pouvez utiliser OCI Streaming pour l'inclusion d'importants volumes de données tels que ceux des journaux d'application, de La télémétrie opérationnelle et des données de flux de clic sur Le Web, ou pour d'autres cas d'emploi dans lesquels les données est générées et traitées de façon continue et séquentielle dans un modèle d'échange d'échange de messages de Type publication-abonnement.
- Réseau et sous-réseau cloud virtuel OCI
Un réseau cloud virtuel est un réseau personnalisable défini par logiciel que vous configurez dans une région OCI. Comme les Réseaux de centre de données traditionnels, les Réseaux cloud virtuels vous donnent un contrôle sur l'environnement réseau. Un VCN peut comporter plusieurs blocs de routage interdomaine sans classe (CIDR) qui ne se chevauchent pas et que vous pouvez modifier une fois le VCN créé. Vous pouvez segmenter un réseau cloud virtuel en plusieurs sous-réseaux ciblant une région ou un domaine de disponibilité. Chaque sous-réseau est composé d'une plage contiguë d'adresses qui ne chevauchent pas celles des autres sous-réseaux du réseau cloud virtuel. Vous pouvez modifier la taille d'un sous-réseau après sa création. Un sous-réseau peut être public ou privé.
Recommandations
Vos exigences peuvent différer.
- Automatisez les pipelines d'inférence reproductibles à l'aide de travaux et de programmations Data Science.
- Utilisez les outils de déploiement et de service Data Science pour prendre en charge la mise à l'échelle, la surveillance opérationnelle et la reproductibilité.
- Surveillez les charges de travail de machine learning de production pour l'état opérationnel, la dérive des données et la dérive des modèles.
- Établissez une propriété opérationnelle claire entre les équipes d'ingénierie des données et de science des données.
Remarques
- Implémentez des stratégies OCI Identity and Access Management et de contrôle d'accès basé sur les rôles (RBAC) sur les deux plates-formes.
- Surveillez les charges de travail de production pour vérifier l'état opérationnel, la dérive des données et la dérive des modèles.
- Utilisez un stockage régi évolutif pour la conservation et l'analyse des données à long terme.