Activez des plates-formes en libre-service sécurisées et évolutives pour l'IA générative et les LLM dans OCI

Donnez aux data scientists, aux développeurs et aux équipes informatiques les moyens de créer, tester et déployer indépendamment des modèles d'IA avancés, tout en garantissant une gouvernance et une optimisation de l'infrastructure au niveau de l'entreprise.

Cette solution fournit les fonctionnalités de base nécessaires pour prendre en charge les initiatives d'intelligence artificielle générative et de grands modèles de langage (LLM) dans un modèle en libre-service, alliant accès sécurisé, infrastructure évolutive et gouvernance d'entreprise sur Oracle Cloud Infrastructure (OCI).

Cas d'utilisation et services pris en charge :

  • Validation de la sécurité BYOLLM (apportez votre propre modèle de langage volumineux) / code

    Les modèles tiers (par exemple, Hugging Face) sont déployés dans l'environnement isolé "playground" avec accélération GPU et font l'objet d'une validation de sécurité automatisée. Les stratégies OCI Functions, Oracle Identity Cloud Service (IDCS) et OCI Identity and Access Management (IAM) sont utilisées pour l'inspection, le contrôle d'accès et l'exécution sécurisée.

  • Terrain de jeu de la science des données

    Le terrain de jeu de la data science est un environnement flexible et évolutif conçu pour l'expérimentation de la data science. Alimenté par une infrastructure GPU avancée, il offre une intégration transparente avec Oracle Database 23ai et un stockage vectoriel et d'objets optimisé pour la gestion et l'intégration de documents, idéal pour le prototypage rapide et la mise à l'échelle efficace des projets d'IA.

  • IA multimodale

    OCI prend en charge les modèles multimodaux en intégrant des entrées de texte, de voix et d'image. Ces modèles sont hébergés sur des instances de GPU hautes performances.

  • Reconnaissance vocale

    OCI Speech est le service de reconnaissance vocale d'Oracle qui convertit l'audio en texte avec une grande précision. Intégré à OCI, il prend en charge plusieurs langues, la transcription en temps réel et par lots, et offre des fonctionnalités avancées telles que la diarisation des locuteurs, la confiance au niveau des mots et le filtrage offensant des langages. Il se connecte également de manière transparente à d'autres services OCI pour un traitement évolutif en temps réel.

  • génération augmentée de récupération

    OCI fournit une solution complète de génération augmentée par extraction (RAG) en intégrant Oracle Database 23ai et OCI Object Storage aux services d'IA générative. Les données sont transformées en incorporations vectorielles et stockées dans Oracle Autonomous Database pour permettre une recherche sémantique efficace. Les réponses générées sont enrichies d'informations pertinentes et à jour. Les workflows RAG sont orchestrés via OCI Connector Hub, prenant en charge l'exécution basée sur les événements, l'assimilation automatisée des données et l'évolutivité en temps réel.

    Les workflows RAG sont orchestrés via OCI Connector Hub, avec prise en charge de l'exécution et de l'intégration basées sur les événements avec les pipelines d'ingestion de données.

  • Base de données vectorielle

    Oracle Database 23ai offre des fonctionnalités de base de données vectorielle natives via le type de données VECTOR, permettant le stockage des intégrations et la recherche sémantique à l'aide du langage SQL standard. Il prend en charge l'indexation vectorielle, la génération d'intégration externe ou basée sur ONNX et le contrôle de précision pour les requêtes de similarité. Optimisée pour Exadata, elle élimine le besoin de banques de vecteurs distinctes, prenant en charge des cas d'utilisation tels que la RAG, les recommandations et l'IA générative dans un environnement Oracle unifié.

  • Agents OCI Generative AI

    Ces agents sont optimisés par le service OCI Generative AI ou des modèles tiers exécutés sur l'infrastructure de GPU Bare Metal OCI.

  • Vitesse OCI

    Pour garantir des performances et un débit élevés, les instances Bare Metal (par exemple, A100, H200, B200 et GB200) sont utilisées à la fois pour l'entraînement et l'inférence de modèles volumineux, afin de prendre en charge des charges globales de production et d'expérimentation rapides.

Architecture

Cette architecture illustre comment Oracle Cloud Infrastructure (OCI) prend en charge les workflows d'IA générative de bout en bout pour le développement, l'intégration et l'interaction utilisateur.

Flux A : Intégration

  1. Applications client
  2. Oracle Integration
  3. OCI Object Storage (buckets)
  4. Détection des événements OCI
  5. OCI Streaming et OCI Connector Hub
  6. Fonctions OCI (exécution logique)
  7. Oracle Process Cloud Service (inférence par GPU)
  8. Couche de données (Oracle Database 23ai et buckets)

Flux B : Interaction utilisateur

  1. Interfaces utilisateur (Apex)
  2. Applications (OCI GenAI Agents, OCI Speech, Oracle Digital Assistant)
  3. Oracle Process Cloud Service (inférence par GPU)
  4. Couche de données (Oracle Database 23ai et buckets)

Flux C : Développement et Sandbox

  1. Sources de modèle externe
  2. Validation de la sécurité du code
  3. Développement et tests
  4. Du pipeline d'automatisation à la production

Le schéma suivant illustre cette architecture de référence.


Description de l'image ai-llm-workflow-architecture.png
description de l'illustration ai-llm-workflow-architecture.png,

ia-llm-workflow-architecture-oracle.zip

Présentation de l'architecture par domaine fonctionnel

  • Développement et formation (espace de travail en libre accès)

    L'architecture est structurée sous un compartiment centralisé pour les opérations de LLM :

    • Data Science fournit un espace de travail intégré pour le développement de modèles, les blocs-notes Jupyter et les structures de machine learning prédéfinies. Inclut des outils d'action rapide pour le déploiement de modèles et l'exécution de travaux.
    • Le déploiement de modèle héberge des machines virtuelles (VM) pour le test et le déploiement de modèles. Les utilisateurs peuvent valider les modèles ici avant de les mettre en production.
    • Playground est un environnement accéléré par GPU (machines virtuelles flexibles, A10, A100, LS40) offrant des ressources de calcul isolées et hautes performances pour des modèles personnalisés et tiers (par exemple, Hugging Face). Il sert de zone d'expérimentation pour les workflows Bring Your Own LLM (BYOLLM) (Apportez votre propre LLM).
  • Couche d'application et de fonction
    • Les API OCI Speech et de langage offrent des services prêts à l'emploi pour la transcription, la NLU et l'extraction d'entités.
    • OCI Functions est utilisé pour la transcription en temps réel, le traitement du langage naturel et l'exécution sans serveur de pipelines d'IA.
    • Les outils de front-end et de surveillance APEX fournissent des interfaces pour l'interaction utilisateur, l'analyse et la gouvernance.
    • Les agents OCI GenAI et Digital Assistant permettent des expériences conversationnelles à l'aide de données d'entreprise et de LLM intégrés.
  • Traitement (couche de production)
    • OCI Kubernetes Engine (OKE) prend en charge le déploiement en conteneur de modèles de production et de services d'inférence.
    • OCI Generative AI fournit un accès basé sur les API aux LLM hébergés ou personnalisés et affinés par Oracle, prenant en charge des cas d'utilisation d'entreprise sécurisés et évolutifs.
  • Infrastructure GPU (prise en charge de H100 et RDMA)
    • Les instances de GPU Bare Metal (H100 avec RDMA) permettent l'entraînement et l'inférence distribués multinoeuds avec une communication à haut débit et à faible latence, idéale pour les workloads LLM massifs.
    • Optimisée pour la technologie MIG (Multi-Instance GPU) Kubernetes et NVIDIA, cette configuration permet l'orchestration de GPU et le partage dynamique des ressources, ce qui permet une allocation fractionnaire de GPU et une planification multi-utilisateur entre les équipes.
  • Couche de données et de connaissances
    • Oracle Database 23ai, amélioré par la prise en charge de la recherche vectorielle et sémantique, sert de couche d'extraction pour les workflows de génération augmentée par extraction (RAG).
    • Les buckets OCI Object Storage stockent des données, des incorporations, des documents et des artefacts de modèle non structurés.
  • MLOps (pipeline de modèle de production)
    • L'architecture comprend un pipeline CI/CD pour la promotion de modèles de l'environnement de terrain de jeu à la production. Actuellement représenté par OCI DevOps est le service natif, entièrement géré, d'intégration continue et de livraison continue (CI/CD) d'OCI qui permet aux entreprises d'automatiser le déploiement de modèles de machine learning de l'expérimentation à la production.
    • Pipelines de construction intégrés avec Git.
    • Déploiement automatisé vers des machines virtuelles ou des conteneurs.
    • Intégration native avec OCI Artifacts Registry, OCI Functions et OCI API Gateway.
  • Couche intégration et sécurité
    • Les buckets OCI Object Storage servent de stockage central pour les modèles, les données d'entraînement, les sorties d'inférence et les incorporations.
    • Les événements OCI, OCI Streaming et OCI Connector Hub permettent l'orchestration basée sur les événements et l'intégration de services dans l'environnement.
    • Oracle Identity Cloud Service, les stratégies IAM, OCI Logging et les listes de sécurité fournissent des fonctionnalités robustes de gouvernance, d'authentification, de contrôle d'accès et de conformité sur tous les services OCI.
    • Oracle Integration est une plate-forme middleware prédéfinie qui permet une intégration sécurisée et transparente entre les systèmes on-premise et les services cloud, prenant en charge la synchronisation des données en temps réel, l'orchestration des API et l'automatisation des processus dans des applications hétérogènes.

L'architecture comporte les composants suivants :

  • Domaines de disponibilité

    Les domaines de disponibilité sont des centres de données autonomes indépendants au sein d'une région. Les ressources physiques de chaque domaine de disponibilité sont isolées de celles des autres, ce qui garantit la tolérance aux pannes. Les domaines de disponibilité ne partagent ni infrastructure (par exemple, alimentation, système de refroidissement), ni réseau de domaine de disponibilité interne. Par conséquent, une panne sur un domaine de disponibilité ne doit pas affecter les autres domaines de disponibilité de la région.

  • Bare Metal

    Les serveurs Bare Metal d'Oracle offrent isolation, visibilité et contrôle, à l'aide d'instances de calcul dédiées. Les serveurs prennent en charge les applications qui nécessitent un nombre élevé de coeurs, de grandes quantités de mémoire et une bande passante élevée. Elles peuvent évoluer jusqu'à 192 cœurs, 2,3 To de RAM et jusqu'à 1 Po de stockage de blocs. Les clients peuvent créer les environnements cloud sur les serveurs Bare Metal d'Oracle avec des améliorations significatives des performances par rapport aux autres clouds publics et data centers on-premise.

  • Compartiment

    Les compartiments sont des partitions logiques inter-régionales dans une location OCI. Utilisez des compartiments pour organiser, contrôler l'accès et définir des quotas d'utilisation pour vos ressources Oracle Cloud. Dans un compartiment donné, vous définissez des stratégies qui contrôlent l'accès et définissent des privilèges pour les ressources.

  • Connector Hub

    Oracle Cloud Infrastructure Connector Hub est une plate-forme de bus de message qui orchestre le déplacement de données entre les services OCI. Vous pouvez utiliser des connecteurs pour déplacer des données d'un service source vers un service cible. Les connecteurs vous permettent également d'indiquer éventuellement une tâche (telle qu'une fonction) à exécuter sur les données avant qu'elles ne soient fournies au service cible.

    Vous pouvez utiliser OCI Connector Hub pour créer rapidement une structure d'agrégation de journalisation pour les systèmes SIEM (Security Information and Event Management).

  • Passerelle de routage dynamique

    Le DRG est un routeur virtuel qui fournit un chemin pour le trafic de réseau privé entre les réseaux cloud virtuels d'une même région, entre un VCN et un réseau en dehors de la région, tel qu'un VCN dans une autre région OCI, un réseau sur site ou un réseau dans un autre fournisseur cloud.

  • FastConnect

    Oracle Cloud Infrastructure FastConnect crée une connexion privée dédiée entre votre centre de données et OCI. FastConnect offre davantage d'options de bande passante et de fonctiosn de réseau plus fiables et homogène par rapports aux connexions Internet.

  • Calcul haute performance

    Le calcul hautes performances est conçu pour les charges de travail qui nécessitent un réseau en cluster et des cœurs de processeur haut débit pour les charges de travail massivement parallèles.

  • Passerelle Internet

    Une passerelle Internet permet le trafic entre les sous-réseaux publics d'un VCN et le réseau Internet public.

  • Réseau sur site

    Ceci est un réseau local utilisé par votre organisation.

  • Région

    Une région OCI est une zone géographique précise qui contient des centres de données, hébergeant des domaines de disponibilité. Les régions sont indépendantes les une des autres et peuvent les séparer d'un pays ou d'un continent à l'autre par de grandes distances.

  • Table de routage

    Les tables de routage virtuelles contiennent des règles permettant de router le trafic des sous-réseaux vers des destinations en dehors d'un VCN, généralement via des passerelles.

  • Liste de sécurité

    Pour chaque sous-réseau, vous pouvez créer des règles de sécurité qui indiquent la source, la destination et le type de trafic autorisés à l'entrée et à la sortie du sous-réseau.

  • Passerelle de service

    Une passerelle de service fournit un accès à partir d'un VCN à d'autres services, tels qu'Oracle Cloud Infrastructure Object Storage. Le trafic entre le VCN et le service Oracle passe par la structure réseau Oracle et ne traverse pas Internet.

  • Tenancy

    Une location est une partition sécurisée et isolée qu'Oracle configure dans Oracle Cloud lorsque vous souscrivez à OCI. Vous pouvez créer, organiser et administrer vos ressources sur OCI dans votre location. Une location est synonyme d'entreprise ou d'organisation. Habituellement, une entreprise aura une seule location et reflétera sa structure organisationnelle au sein de cette location. Une location unique est généralement associée à un seul abonnement, et un seul abonnement n'a généralement qu'une seule location.

  • Réseau cloud virtuel (VCN) et sous-réseau

    Un VCN est un réseau personnalisable défini par logiciel que vous configurez dans une région OCI. Comme les Réseaux de centre de données traditionnels, les Réseaux cloud virtuels vous donnent un contrôle sur l'environnement réseau. Un VCN peut comporter plusieurs blocs de routage interdomaine sans classe (CIDR) qui ne se chevauchent pas et que vous pouvez modifier une fois le VCN créé. Vous pouvez segmenter un réseau cloud virtuel en plusieurs sous-réseaux ciblant une région ou un domaine de disponibilité. Chaque sous-réseau est composé d'une plage contiguë d'adresses qui ne chevauchent pas celles des autres sous-réseaux du réseau cloud virtuel. Vous pouvez modifier la taille d'un sous-réseau après sa création. Un sous-réseau peut être public ou privé.

  • Oracle Database 23ai

    La version 23ai d'Oracle Database se concentre sur l'IA et la productivité des développeurs. Il apporte l'IA à vos données avec l'ajout d'AI Vector Search à la base de données convergée d'Oracle. Cette fonctionnalité combinée à de nouveaux paradigmes de développement unifiés et à des fonctionnalités stratégiques permet aux développeurs et aux professionnels des données d'alimenter facilement les applications, le développement d'applications et les charges de travail stratégiques avec l'IA.

  • Evénements

    Les services sur OCI émettent des événements, qui sont des messages structurés décrivant les modifications apportées aux ressources. Les événements sont émis pour les opérations de création, de lecture, de mise à jour ou de suppression (CRUD), les modifications d'état du cycle de vie des ressources et les événements système qui affectent les ressources cloud.

  • Logging
    Oracle Cloud Infrastructure Logging est un service hautement évolutif et entièrement géré qui permet d'accéder aux types de journaux suivants à partir de vos ressources dans le cloud :
    • Journaux d'audit : journaux liés aux événements produits par OCI Audit.
    • Journaux de service : journaux publiés par des services individuels tels que OCI API Gateway, OCI Events, OCI Functions, OCI Load Balancing, OCI Object Storage et les journaux de flux VCN.
    • Journaux personnalisés : journaux contenant des informations de diagnostic issues d'applications personnalisées, d'autres fournisseurs cloud ou d'un environnement sur Site.
  • Monitoring

    Oracle Cloud Infrastructure Monitoring surveille activement et passivement vos ressources cloud et utilise des alarmes pour vous avertir lorsque les mesures répondent aux déclencheurs spécifiés.

  • OCI Registry

    Oracle Cloud Infrastructure Registry est un service géré par Oracle qui vous permet de simplifier votre workflow de développement à production. Registry facilite le stockage, le partage et la gestion d'artefacts de développement tels que les images Docker.

  • Discours

    Oracle Cloud Infrastructure Speech exploite la puissance de la langue parlée, ce qui vous permet de convertir facilement des fichiers multimédias contenant de la parole humaine en transcriptions de texte très précises. Vous pouvez y accéder à l'aide de la console, de l'API REST, de la CLI et du SDK.

  • Workflow

    Oracle Cloud Infrastructure Workflow est un moteur de workflow sans serveur doté d'un concepteur de flux graphique pour les développeurs et les architectes. Il accélère la création, l'exécution et l'orchestration de services OCI tels que OCI Functions ou l'IA/ML.

  • Service APEX

    Oracle APEX Application Development est une plate-forme de développement low code qui vous permet de créer des applications d'entreprise évolutives, riches en fonctionnalités et sécurisées qui peuvent être déployées partout où Oracle Database est installé. Vous n'avez pas besoin d'être un expert dans une vaste gamme de technologies pour fournir des solutions sophistiquées. Des fonctionnalités intégrées, telles que des thèmes d'interface utilisateur, des contrôles de navigation, des gestionnaires de formulaires et des rapports flexibles, permettent à APEX Service d'accélérer le processus du développement d'application.

  • API Gateway

    Oracle Cloud Infrastructure API Gateway vous permet de publier des API avec des adresses privées accessibles à partir de votre réseau, et que vous pouvez exposer au réseau Internet public si nécessaire. Les adresses prennent en charge la validation d'API, la transformation des demandes et des réponses, la spécification CORS, l'authentification et l'autorisation, ainsi que l'autorisation des demandes.

  • Volumes de blocs OCI

    Avec Oracle Cloud Infrastructure Block Volumes, vous pouvez créer, associer, connecter et déplacer des volumes de stockage, et modifier les performances de volume pour répondre aux exigences de stockage, de performances et d'application. Une fois un volume attaché et connecté à une instance, vous pouvez l'utiliser comme un disque dur classique. Vous pouvez également déconnecter un volume et l'attacher à une autre instance sans perdre des données.

  • Compute

    Avec Oracle Cloud Infrastructure Compute, vous pouvez provisionner et gérer des hôtes de calcul dans le cloud. Vous pouvez lancer des instances de calcul avec des formes qui répondent à vos besoins en ressources pour l'UC, la mémoire, la bande passante réseau et le stockage. Après avoir créé une instance de calcul, vous pouvez y accéder en toute sécurité, la redémarrer, attacher et détacher des volumes, et y mettre fin lorsque vous n'en avez plus besoin.

  • Data Science

    Oracle Cloud Infrastructure Data Science est une plate-forme entièrement gérée et sans serveur que les équipes de science des données peuvent utiliser pour créer, entraîner et gérer des modèles de machine learning (ML) sur OCI Il peut facilement s'intégrer à d'autres services OCI tels qu'Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage, etc. Vous pouvez créer et évaluer des modèles de machine learning de haute qualité qui augmentent la flexibilité de l'entreprise en mettant les données fiables de l'entreprise à fonctionner rapidement, et vous pouvez prendre en charge des objectifs commerciaux basés sur les données avec un déploiement plus facile des modèles de machine learning. Data Science permet aux data scientists et aux ingénieurs de machine learning d'utiliser gratuitement les packages du référentiel Anaconda.

    La fonctionnalité de travaux Data Science permet aux analystes de données de définir et d'exécuter des tâches d'apprentissage automatique pouvant être répétées sur une infrastructure entièrement gérée.

    La fonctionnalité de déploiement de modèle Data Science permet aux analystes de données de déployer des modèles entraînés en tant qu'adresses HTTP entièrement gérées, capables de fournir des prédictions en temps réel, d'intégrer des informations dans les processus et les applications et de permettre à l'entreprise de réagir aux événements pertinents lorsqu'ils se produisent.

  • DevOps

    Oracle Cloud Infrastructure DevOps (opérations de développement) est une plate-forme complète d'intégration continue/de livraison continue (CI/CD) qui permet aux développeurs de simplifier et d'automatiser le cycle de développement de leurs logiciels. OCI DevOps permet aux développeurs et aux opérateurs de développer, de créer, de tester et de déployer des logiciels en collaboration. Les développeurs et les opérateurs bénéficient d'une visibilité sur l'ensemble du cycle de développement grâce à un historique des validations source via les phases de création, de test et de déploiement.

  • Fonctions

    Oracle Cloud Infrastructure Functions est une plate-forme de fonctions en tant que service (FaaS) entièrement gérée, colocative, hautement évolutive et à la demande. Il est optimisé par le moteur open source du projet Fn. OCI Functions vous permet de déployer votre code, l'appeler directement ou le déclencher en réponse à des événements. OCI Functions utilise des conteneurs Docker hébergés dans Oracle Cloud Infrastructure Registry.

  • Gestion des identités et des informations

    Oracle Cloud Infrastructure Identity and Access Management (IAM) fournit un contrôle d'accès utilisateur pour OCI et Oracle Cloud Applications. L'API IAM et l'interface utilisateur vous permettent de gérer les domaines d'identité et les ressources qu'ils contiennent. Chaque domaine d'identité OCI IAM représente une solution autonome de gestion des identités et des accès ou une population d'utilisateurs différente.

  • Intégration

    Oracle Integration est un environnement entièrement géré et préconfiguré qui vous permet d'intégrer des applications cloud et sur site, d'automatiser les processus métier et de développer des applications visuelles. Il utilise un serveur de fichiers compatible SFTP pour stocker et extraire des fichiers et vous permet d'échanger des documents avec des partenaires commerciaux professionnels en utilisant un portefeuille de centaines d'adaptateurs et de recettes pour vous connecter à des applications Oracle et tierces.

  • Cluster Kubernetes

    Un cluster Kubernetes est un ensemble de machines qui exécutent des applications en conteneur. Kubernetes fournit une plate-forme open source portable et extensible pour la gestion des charges de travail et des services en conteneur dans ces noeuds. Un cluster Kubernetes est constitué de noeuds de processus actif et de noeuds de plan de contrôle.

  • Plan de contrôle Kubernetes

    Un plan de contrôle Kubernetes gère les ressources pour les noeuds de processus actif et les pods d'un cluster Kubernetes. Les composants du plan de contrôle détectent les événements, y répondent, effectuent la planification et déplacent les ressources du cluster.

    Les composants du plan de contrôle sont les suivants :
    • kube-apiserver : exécute le serveur d'API Kubernetes.
    • etcd : banque de valeurs de clé distribuée pour toutes les données de cluster.
    • kube-scheduler : détermine sur quel noeud les nouveaux pods non affectés seront exécutés.
    • kube-controller-manager : exécute les processus de contrôleur.
    • cloud-controller-manager : lie votre cluster à une API propre au cloud.
  • OCI Kubernetes Engine

    Oracle Cloud Infrastructure Kubernetes Engine (OCI Kubernetes Engine ou OKE) est un service entièrement géré, évolutif et hautement disponible que vous pouvez utiliser pour déployer vos applications en conteneur vers le cloud. Vous indiquez les ressources de calcul dont vos applications ont besoin, et OKE les provisionne sur OCI dans une location existante. OKE utilise Kubernetes pour automatiser le déploiement, la mise à l'échelle et la gestion des applications en conteneur dans les clusters d'hôtes.

  • Noeud de processus actif de Kubernetes

    Un noeud de processus actif Kubernetes est une machine de processus actif qui exécute des applications en conteneur dans un cluster Kubernetes. Chaque cluster comporte au moins un noeud de processus actif.

  • Stockage d'objet

    OCI Object Storage fournit un accès à des quantités importantes de informations structurées et non structurées de tout type de contenu, y compris les sauvegardes de base de donnée, les données analytiques et le contenu enrichi tel que des images et des vidéos. Vous pouvez stocker les données directement à partir d'Internet ou de la plate-forme cloud, de manière sécurisée. Vous pouvez redimensionner le stockage sans dégradation des performances ni de la fiabilité de services.

    Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archive pour le stockage "à froid" que vous conservez durant de longues périodes et auquel il est rare d'y accéder.

  • Transmission en continu

    Oracle Cloud Infrastructure Streaming offre une solution de stockage évolutive et durable entièrement gérée, adaptée à l'assimilation de flux de données importants transmis En continu, que vous pouvez accéder et traiter en temps réel. Vous pouvez utiliser OCI Streaming pour l'inclusion d'importants volumes de données tels que ceux des journaux d'application, de La télémétrie opérationnelle et des données de flux de clic sur Le Web, ou pour d'autres cas d'emploi dans lesquels les données est générées et traitées de façon continue et séquentielle dans un modèle d'échange d'échange de messages de Type publication-abonnement.

  • Audit

    Le service Oracle Cloud Infrastructure Audit enregistre automatiquement des appels vers toutes les adresses d'API (interface de programmation d'applications publiques) OCI prises en charge en tant qu'événements de journal. Tous les services OCI prennent en charge la journalisation par Oracle Cloud Infrastructure Audit.

  • L'IA générative

    Oracle Cloud Infrastructure Generative AI est un service OCI entièrement géré qui fournit un ensemble de grands modèles (LLM) de langage de pointe et personnalisables couvrant une large gamme de cas d'emploi pour l'édition de texte, la synthèse, la recherche sémantique, etc. Utilisez le playground de test pour essayer les modèles préentraînés prêts à l'emploi, ou créez et hébergez vos propres modèles personnalisés affinés selon vos propres données sur des clusters d'AI dédiés.

  • Equilibreur de charge

    Oracle Cloud Infrastructure Load Balancing fournit une distribution automatisée du trafic à partir d'un point d'entrée unique vers plusieurs serveurs.

  • Passerelle NAT (Network Address translation)

    Une passerelle NAT permet aux ressources privées d'un VCN d'accéder aux hôtes sur Internet, sans exposer ces ressources aux connexions Internet entrantes.

  • IA générative

    Oracle Cloud Infrastructure Generative AI est un service OCI entièrement géré qui fournit un ensemble de grands modèles (LLM) de langage de pointe et personnalisables couvrant une large gamme de cas d'emploi pour l'édition de texte, la synthèse, la recherche sémantique, etc. Utilisez le playground de test pour essayer les modèles préentraînés prêts à l'emploi, ou créez et hébergez vos propres modèles personnalisés affinés selon vos propres données sur des clusters d'AI dédiés.

  • Digital Assistant

    Oracle Digital Assistant est une plate-forme qui vous permet de créer et déployer des assistants numériques pour vos utilisateurs. Avec Oracle Digital Assistant, vous pouvez créer des interfaces (ou chatbots) basées sur l'IA pour les applications métier via des interfaces texte, de discussion et vocales. Chaque assistant numérique dispose d'un ensemble de briques spécialisées pour aider les utilisateurs à effectuer diverses tâches dans les conversations en langage naturel. Par exemple, un assistant numérique individuel peut avoir des compétences qui se concentrent sur des types spécifiques de tâches tels que le suivi des stocks, la soumission de feuilles de temps et la création de notes de frais.

  • Règle

    Une stratégie Oracle Cloud Infrastructure Identity and Access Management indique qui peut accéder à quelles ressources et comment. L'accès est accordé au niveau du groupe et des compartiments, ce qui signifie qu'il est possible d'écrire une stratégie qui offre un type d'accès spécifique au sein d'un compartiment spécifique ou à la location.

  • Zone de sécurité

    Les zones de sécurité implémentent les meilleures pratiques de sécurité clés d'Oracle en appliquant des stratégies pour un compartiment entier, telles que le cryptage des données et la prévention de l'accès public aux réseaux. Une zone de sécurité est associée à un compartiment du même nom et inclut des stratégies de zone de sécurité (recette) qui s'appliquent au compartiment et à ses sous-compartiments. Vous ne pouvez pas ajouter ou déplacer un compartiment standard vers un compartiment de zones de sécurité.

Recommandations

Assurez la réussite, l'évolutivité et la durabilité de la plate-forme d'IA d'entreprise basée sur les interfaces OCI, en mettant l'accent sur le développement de LLM en libre-service, MLOps, l'optimisation de GPU et l'intégration de niveau entreprise.

  • Gouvernance des plates-formes et des stratégies
    • Créez un centre d'excellence interfonctionnel dédié pour l'IA :
      • Meilleures pratiques en matière d'entraînement et de déploiement de LLM
      • Allocation des ressources et gestion des quotas
      • Sécurité, conformité et utilisation éthique de l'IA
    • Évitez l'étalement incontrôlé des ressources en activant des quotas et des politiques de balisage dans OCI pour assurer la traçabilité et la responsabilité des coûts entre les services et les équipes.
  • Efficacité et planification des ressources GPU
    • Combinez le MIG NVIDIA pour optimiser l'utilisation des GPU. Affectez des GPU fractionnaires par travail ou utilisateur pour augmenter l'utilisation et réduire les coûts.
    • Solution de fractionnement GPU :
      • Le GPU multi-instance (MIG) est une fonctionnalité disponible sur les GPU NVIDIA A100 et H100 qui permet le partitionnement d'un seul GPU physique en plusieurs instances (ou tranches) isolées par le matériel, appelées instances GPU.

        Chaque instance fonctionne en tant que GPU indépendant avec ses propres éléments :

        • Mémoire dédiée
        • Coeurs de calcul
        • Bande passante de cache et de mémoire

        Cela permet aux équipes d'exécuter plusieurs workloads d'IA simultanément sur un seul GPU avec des performances prévisibles et une isolation au niveau du matériel.

        OCI Kubernetes Engine (OKE) est configuré pour prendre en charge la planification MIG, ce qui permet :

        • Chaque pod pour demander une instance MIG spécifique (par exemple, 1/7 d'un élément A100).
        • Le planificateur Kubernetes pour allouer intelligemment les tranches de GPU disponibles en fonction des demandes.
        • Instances MIG à afficher via le plug-in de périphérique NVIDIA et node-feature-discovery, ce qui garantit qu'elles sont repérables et planifiables par OKE.
        • Les GPU compatibles MIG (par exemple, A100 ou H100) sont déployés sur des instances Bare Metal OCI ou en tant que noeuds de processus actif OKE.
        • OKE gère les workloads d'IA en conteneur avec la planification MIG.
    • Profil MIG Fraction de tranche Mémoire dédiée Convient pour...
      1g.5gb 1/7 5 GB Inférence légère, test
      2g.10gb 2/7 10 Go Affinage de petits modèles
      3g.20gb 3/7 20 Go Modèles de taille moyenne
      7g.40gb GPU complet 40 GB Formation à grande échelle
    • Utilisez OCI Monitoring pour éviter les goulets d'étranglement lors des phases à forte demande (par exemple, les sprints d'entraînement de modèle).
  • Cycle de vie des modèles et automatisation
    • Standardisez l'intégration continue et le déploiement continu en déployant des modèles via les pipelines OCI DevOps intégrés à Git et Container Registry pour automatiser :
      • Emballage modèle
      • Test et validation
      • Déploiement vers OKE ou Functions
    • Inclure les étapes d'annulation et de validation en intégrant des tests A/B, des déploiements canari et une logique d'annulation pour éviter les régressions dans le comportement du modèle.
  • Architecture des données
    • Déployez Oracle Database 23ai pour stocker les incorporations et activer la recherche sémantique via Oracle AI Vector Search. Combiner avec :
      • OCI Object Storage pour les documents
      • Fonctions OCI pour l'orchestration de l'extraction
    • Maintenir la fraîcheur des vecteurs en recalculant et en mettant à jour régulièrement les incorporations lorsque les documents source changent pour assurer la précision de la sortie RAG.
  • Sécurité, conformité et observabilité
    • Mettez en place une segmentation basée sur IAM à l'aide des stratégies, compartiments et groupes OCI IAM pour définir des limites claires entre les environnements de développement, de test et de production.
    • Journaliser et auditer chaque action critique en activant les journaux OCI Logging, OCI Monitoring et OCI Audit pour tous les composants critiques (OKE, Functions, Storage, noeuds GPU).
  • Intégration multicloud et hybride
    • Utilisez OCI FastConnect, la passerelle de service et les adresses privées pour assurer une intégration sécurisée et à haut débit avec les services d'IA sur site et tiers (par exemple, Azure OpenAI, AWS Bedrock).
    • Évitez l'exposition au réseau Internet public pour les charges de travail sensibles. Utilisez autant que possible des sous-réseaux privés, des passerelles NAT et l'authentification de service à service.
  • Enamblement en libre-service pour les développeurs
    • Fournissez des modèles de démarrage et des API organisés en offrant un ensemble de pipelines OCI Functions, OCI DevOps et de modèles de bloc-notes pour intégrer rapidement et en toute sécurité de nouveaux utilisateurs dans l'environnement en libre-service.
    • Equilibrez l'autonomie avec des garanties en donnant aux utilisateurs les moyens d'agir tout en gardant le contrôle grâce à des politiques, des quotas et des meilleures pratiques partagées pour le développement de modèles responsables.

Points à prendre en compte

Tenez compte des points suivants lors du déploiement de cette architecture de référence.

  • Les performances
    • Déployez des instances de GPU hautes performances, telles que A100, H100, H200, B200 et GB200, adaptées à des exigences de charge globale spécifiques, notamment l'entraînement, l'inférence et l'IA distribuée à grande échelle.
    • Tirez parti des clusters de GPU compatibles RDMA pour les workloads distribués à bande passante élevée et à faible latence.
    • Surveillez en permanence l'utilisation des ressources afin d'atténuer les conflits de manière proactive.
  • Sécurité (Security)
    • Implémentez la compartimentation et les sous-réseaux privés pour isoler différents environnements opérationnels.
    • Appliquez des contrôles d'accès stricts à l'aide d'OCI IAM et d'IDCS.
    • Conservez des traces complètes de journalisation et d'audit pour toutes les opérations importantes.
  • Disponibilité
    • Répartissez les ressources critiques entre plusieurs domaines de pannes pour garantir la tolérance aux pannes.
    • Utilisez OCI Kubernetes Engine (OKE) avec le redimensionnement automatique pour maintenir l'élasticité.
    • Valider les stratégies de sauvegarde, de récupération et de réplication des données pour atteindre les objectifs de continuité des activités.
  • Coût
    • Optimisez l'efficacité de l'utilisation des GPU via le fractionnement MIG NVIDIA.
    • Implémentez des stratégies de stockage hiérarchisé, en tirant parti des stratégies de cycle de vie OCI Object Storage.
    • Utilisez le balisage au niveau du projet et les quotas budgétaires pour maintenir la responsabilité financière.
  • Intégration et déploiement
    • Standardisez les workflows d'intégration continue et de déploiement continu avec OCI DevOps pour rationaliser et automatiser le cycle de vie des modèles.
    • Assurez des pratiques d'intégration multicloud cohérentes à l'aide d'OCI FastConnect et de passerelles de routage dynamique pour des flux de données sécurisés.
  • Gestion de données
    • Gérez et actualisez régulièrement les intégrations sémantiques dans Oracle Database 23ai pour une extraction précise.
    • Catégorisez le stockage de manière appropriée en fonction de modèles d'utilisation des données (standard et archive).
  • Adoption et gestion des utilisateurs
    • Fournissez des ressources d'intégration structurées pour accélérer l'adoption du libre-service.
    • Évaluez en permanence les environnements en libre-service et ajustez les stratégies pour équilibrer la liberté des utilisateurs et la gouvernance opérationnelle.

En savoir plus

Découvrez comment OCI fournit des solutions d'IA générative évolutives, sécurisées et prêtes à l'emploi.

Consultez les ressources supplémentaires suivantes :

Accusés de réception

  • Auteurs : Diego Mariano, Diogo Santiago
  • Contributeurs : Douglas Silva, John Sulyok