Mettre en place des plates-formes en libre-service sécurisées et évolutives pour l'IA générative et les LLM dans OCI

Permettez aux scientifiques de données, aux développeurs et aux équipes informatiques de créer, de tester et de déployer des modèles d'IA avancés de manière indépendante, tout en assurant la gouvernance et l'optimisation de l'infrastructure au niveau de l'entreprise.

Cette solution offre les capacités de base nécessaires pour prendre en charge les initiatives d'intelligence artificielle (IA) générative et de grands modèles de langage (LLM) dans un modèle en libre-service, combinant un accès sécurisé, une infrastructure évolutive et une gouvernance de niveau entreprise sur Oracle Cloud Infrastructure (OCI).

Cas d'utilisation et services pris en charge :

  • Bring Your Own Large Language Model (BYOLLM) / Validation de la sécurité du code

    Les modèles tiers (par exemple, Hugging Face) sont déployés dans un environnement " terrain de jeu " isolé avec accélération GPU et subissent une validation de sécurité automatisée. Les politiques Service des fonctions pour OCI, Oracle Identity Cloud Service (IDCS) et Service de gestion des identités et des accès pour OCI (IAM) sont utilisées pour l'inspection, le contrôle d'accès et l'exécution sécurisée.

  • Aire de jeux pour la science des données

    Le terrain de jeu de la science des données est un environnement flexible et extensible conçu pour l'expérimentation en science des données. Propulsé par une infrastructure GPU avancée, il offre une intégration transparente avec Oracle Database 23ai et un stockage vectoriel et d'objets optimisé pour la gestion des documents et les intégrations, idéal pour le prototypage rapide et l'évolutivité efficace des projets d'IA.

  • IA multimodale

    OCI prend en charge les modèles multimodaux en intégrant des entrées de texte, de voix et d'image. Ces modèles sont hébergés sur des instances GPU haute performance.

  • Parole-texte

    OCI Speech est le service discours-texte d'Oracle qui convertit l'audio en texte avec une grande précision. Intégré à OCI, il prend en charge plusieurs langues, la transcription en temps réel et par lots, et offre des fonctionnalités avancées telles que la diarisation des locuteurs, la confiance au niveau des mots et le filtrage des langues offensant. Il se connecte également de façon transparente à d'autres services OCI pour un traitement évolutif et en temps réel.

  • Génération augmentée par extraction

    OCI fournit une solution complète de génération augmentée par extraction (RAG) en intégrant Oracle Database 23ai et le stockage d'objets OCI aux services d'IA générative. Les données sont transformées en intégrations vectorielles et stockées dans Oracle Autonomous Database pour permettre une recherche sémantique efficace. Les réponses générées sont enrichies d'informations pertinentes et à jour. Les flux de travail RAG sont orchestrés au moyen du centre de connecteurs OCI, ce qui prend en charge l'exécution basée sur des événements, l'ingestion automatisée de données et l'extensibilité en temps réel.

    Les flux de travail RAG sont orchestrés au moyen du centre de connecteurs OCI, avec la prise en charge de l'exécution basée sur les événements et de l'intégration avec les pipelines d'ingestion de données.

  • Base de données vectorielle

    Oracle Database 23ai offre des capacités natives de base de données vectorielle au moyen du type de données VECTOR, ce qui permet le stockage des intégrations et de la recherche sémantique à l'aide de SQL standard. Il prend en charge l'indexation vectorielle, la génération d'intégrations ONNX ou externes et le contrôle de précision pour les interrogations de similarité. Optimisée pour Exadata, elle élimine le besoin de magasins vectoriels distincts, prenant en charge des cas d'utilisation tels que la RAG, les recommandations et l'IA générative dans un environnement Oracle unifié.

  • Agents du service Intelligence artificielle générative pour OCI

    Ces agents sont optimisés par le service IA générative pour OCI ou par des modèles tiers exécutés sur l'infrastructure de processeurs graphiques sans système d'exploitation OCI.

  • Vitesse OCI

    Pour assurer un débit et une performance élevés, les instances sans système d'exploitation (par exemple, A100, H200, B200 et GB200) sont utilisées pour l'entraînement et l'inférence de grands modèles, ce qui prend en charge l'expérimentation rapide et les charges de travail de production.

Architecture

Cette architecture illustre comment Oracle Cloud Infrastructure (OCI) prend en charge les flux de travail d'IA générative de bout en bout dans les domaines du développement, de l'intégration et de l'interaction avec les utilisateurs.

Flux A : Intégration

  1. Applications client
  2. Oracle Integration
  3. Stockage d'objets pour OCI (seaux)
  4. Détection des événements OCI
  5. Service de diffusion en continu pour OCI et Centre de connecteurs OCI
  6. Service des fonctions pour OCI (exécution logique)
  7. Oracle Process Cloud Service (inférence par GPU)
  8. Couche de données (Oracle Database 23ai et seaux)

Flux B : Interaction utilisateur

  1. Interfaces utilisateur (Apex)
  2. Applications (agents OCI GenAI, Voix OCI, Oracle Digital Assistant)
  3. Oracle Process Cloud Service (inférence par GPU)
  4. Couche de données (Oracle Database 23ai et seaux)

Flux C : Développement et bac à sable

  1. Sources de modèle externe
  2. Validation de la sécurité du code
  3. Développement et test
  4. Pipeline d'automatisation à la production

Le diagramme suivant illustre cette architecture de référence.


Description de ai-llm-workflow-architecture.png :
Description de l'illustration ai-llm-workflow-architecture.png

ai-llm-workflow-architecture-oracle.zip

Aperçu de l'architecture par domaine fonctionnel

  • Développement et formation (espace de travail libre-service)

    L'architecture est structurée sous un compartiment centralisé pour les opérations LLM :

    • Le service de science des données fournit un espace de travail intégré pour le développement de modèles, les carnets Jupyter et les cadres d'apprentissage automatique prédéfinis. Comprend des outils d'action rapide pour le déploiement de modèles et l'exécution de tâches.
    • Le déploiement de modèle héberge des machines virtuelles pour les tests et le déploiement de modèle. Les utilisateurs peuvent valider les modèles ici avant de les mettre en production.
    • Le terrain de jeu est un environnement accéléré par GPU (machines virtuelles flexibles, A10, A100, LS40) offrant des ressources de calcul isolées et haute performance pour les modèles personnalisés et de tierce partie (par exemple, Hugging Face). Il sert de zone d'expérimentation pour les flux de travail Bring Your Own LLM (BYOLLM).
  • Couche d'application et de fonction
    • Le service de reconnaissance de la parole pour OCI et les API de langue offrent des services prêts à l'emploi pour la transcription, NLU et l'extraction d'entités.
    • Le service Fonctions OCI est utilisé pour la transcription en temps réel, le traitement du langage naturel et l'exécution sans serveur des pipelines d'IA.
    • Les outils frontaux et de surveillance d'APEX fournissent des interfaces pour l'interaction avec les utilisateurs, les analyses et la gouvernance.
    • Les agents OCI GenAI et Digital Assistant permettent des expériences conversationnelles à l'aide des données d'entreprise et des LLM intégrés.
  • Traitement (couche de production)
    • OCI Kubernetes Engine (OKE) prend en charge le déploiement en conteneur de modèles de production et de services d'inférence.
    • Le service d'intelligence artificielle générative pour OCI fournit un accès basé sur une API à des LLM personnalisés ou hébergés par Oracle, affinés, prenant en charge des cas d'utilisation d'entreprise sécurisés et évolutifs.
  • Infrastructure GPU (prise en charge de H100 et RDMA)
    • Les instances de GPU sans système d'exploitation (H100 avec RDMA) permettent une formation et une inférence réparties sur plusieurs noeuds avec communication à haut débit et à faible latence, ce qui est idéal pour les charges de travail de grand modèle de langage.
    • Optimisée pour la technologie GPU multi-instances (MIG) Kubernetes et NVIDIA, cette configuration permet l'orchestration GPU et le partage dynamique des ressources, permettant une allocation fractionnelle de GPU et une planification multi-utilisateurs entre les équipes.
  • Couche de données et de connaissances
    • Oracle Database 23ai, amélioré par la prise en charge de la recherche vectorielle et sémantique, agit comme couche d'extraction pour les flux de travail de génération augmentée par extraction (RAG).
    • Les seaux du service Stockage d'objets pour OCI stockent des données non structurées, des intégrations, des documents et des artefacts de modèle.
  • MLOps (pipeline de modèle de production)
    • L'architecture comprend un pipeline d'intégration continue/développement continu pour promouvoir des modèles de l'environnement de terrain de jeu à la production. Actuellement représenté par OCI DevOps est le service natif d'OCI d'intégration et de développement en continu (CI/CD) entièrement géré qui permet aux organisations d'automatiser le déploiement des modèles d'apprentissage automatique, de l'expérimentation à la production.
    • Pipelines de construction intégrés avec Git.
    • Déploiement automatisé vers des machines virtuelles ou des conteneurs.
    • Intégration native avec le registre d'artefacts OCI, le service des fonctions pour OCI et le service de passerelle d'API pour OCI.
  • Couche d'intégration et de sécurité
    • Les seaux de stockage d'objets OCI servent de stockage central pour les modèles, les données d'entraînement, les sorties d'inférence et les intégrations.
    • Les événements OCI, le service de diffusion en continu pour OCI et le centre de connecteurs OCI permettent une orchestration basée sur les événements et l'intégration de services dans l'environnement.
    • Oracle Identity Cloud Service, les politiques IAM, le service de journalisation pour OCI et les listes de sécurité offrent des fonctionnalités robustes de gouvernance, d'authentification, de contrôle d'accès et de conformité pour tous les services OCI.
    • Oracle Integration est une plate-forme intergicielle prédéfinie qui permet une intégration sécurisée et transparente entre des systèmes sur place et des services en nuage et qui prend en charge la synchronisation des données en temps réel, l'orchestration d'API et l'automatisation de processus dans des applications hétérogènes.

L'architecture comporte les composants suivants :

  • Domaines de disponibilité

    Les domaines de disponibilité sont des centres de données indépendants et autonomes dans une région. Les ressources physiques de chaque domaine de disponibilité sont isolées des ressources des autres domaines de disponibilité, ce qui garantit la tolérance aux pannes. Les domaines de disponibilité ne partagent pas les éléments d'infrastructure (alimentation ou refroidissement, par exemple) ni le réseau de domaines de disponibilité interne. Ainsi, une défaillance d'un domaine de disponibilité ne doit pas avoir d'incidence sur les autres domaines de disponibilité de la région.

  • Sans système d'exploitation

    Les serveurs sans système d'exploitation d'Oracle assurent l'isolement, la visibilité et le contrôle à l'aide d'instances de calcul dédiées. Les serveurs prennent en charge des applications qui nécessitent un nombre élevé de coeurs, de grandes quantités de mémoire et une bande passante élevée. Ils peuvent mettre à l'échelle jusqu'à 192 coeurs, 2,3 To de mémoire vive et jusqu'à 1 Po de stockage par blocs. Les clients peuvent créer des environnements en nuage sur des serveurs sans système d'exploitation Oracle offrant des performances nettement améliorées par rapport aux autres nuages publics ou aux centres de données sur place.

  • Compartiment

    Les compartiments sont des partitions logiques interrégionales dans une location OCI. Utilisez des compartiments pour organiser, contrôler l'accès et définir des quotas d'utilisation pour vos ressources Oracle Cloud. Dans un compartiment donné, vous définissez des politiques qui contrôlent l'accès et définissent des privilèges pour les ressources.

  • Centre de connecteurs

    Oracle Cloud Infrastructure Connector Hub est une plate-forme de bus de messages qui orchestre le déplacement des données entre les services sur OCI. Vous pouvez utiliser des connecteurs pour déplacer des données d'un service source vers un service cible. Les connecteurs vous permettent également de spécifier une tâche (par exemple, une fonction) à exécuter sur les données avant qu'elles ne soient transmises au service cible.

    Vous pouvez utiliser le centre de connecteurs OCI pour créer rapidement un cadre d'agrégation de journaux pour les systèmes de gestion des informations de sécurité et des événements (SIEM).

  • Passerelle de routage dynamique (DRG)

    La passerelle DRG est un routeur virtuel qui fournit un chemin pour le trafic réseau privé entre des réseaux en nuage virtuels de la même région, entre un VCN et un réseau en dehors de la région, tel qu'un VCN dans une autre région OCI, un réseau sur place ou un réseau dans un autre fournisseur de nuage.

  • FastConnect

    Oracle Cloud Infrastructure FastConnect crée une connexion privée dédiée entre votre centre de données et OCI. FastConnect fournit des options de bande passante supérieure et permet une utilisation du réseau plus fiable par rapport aux connexions Internet.

  • Calcul de haute performance

    Le calcul haute performance est conçu pour les charges de travail qui nécessitent un réseau en grappe et des cœurs de processeur haut débit pour les charges de travail massivement parallèles.

  • Passerelle Internet

    Une passerelle Internet permet le trafic entre les sous-réseaux publics d'un VCN et le réseau Internet public.

  • Réseau sur place

    Il s'agit d'un réseau local utilisé par votre organisation.

  • Région

    Une région OCI est une zone géographique localisée qui contient un ou plusieurs centres de données, des domaines de disponibilité d'hébergement. Les régions sont indépendantes les unes des autres, et de grandes distances peuvent les séparer (à travers les pays ou même les continents).

  • Table de routage

    Les tables de routage virtuelles contiennent des règles pour acheminer le trafic des sous-réseaux vers des destinations en dehors d'un VCN, généralement au moyen de passerelles.

  • Liste de sécurité

    Pour chaque sous-réseau, vous pouvez créer des règles de sécurité qui spécifient la source, la destination et le type de trafic autorisé à entrer et à sortir du sous-réseau.

  • Passerelle de service

    Une passerelle de service fournit un accès à partir d'un VCN à d'autres services, tels que Oracle Cloud Infrastructure Object Storage. Le trafic entre le réseau VCN et le service Oracle circule sur la structure réseau Oracle et ne passe pas par Internet.

  • Location

    Une location est une partition sécurisée et isolée qu'Oracle configure dans Oracle Cloud lors de votre inscription à OCI. Vous pouvez créer, organiser et administrer vos ressources sur OCI dans votre location. Une location est synonyme d'une société ou d'une organisation. Habituellement, une société aura une seule location et reflétera sa structure organisationnelle au sein de cette location. Une seule location est généralement associée à un seul abonnement, et un seul abonnement ne comporte généralement qu'une seule location.

  • Réseau en nuage virtuel (VCN) et sous-réseau

    Un VCN est un réseau défini par logiciel personnalisable que vous configurez dans une région OCI. Comme les réseaux de centre de données traditionnels, les réseaux en nuage virtuels vous permettent de contrôler votre environnement de réseau. Un VCN peut disposer de plusieurs blocs de routage inter-domaine (CIDR) sans chevauchement que vous pouvez modifier après avoir créé le VCN. Vous pouvez segmenter un VCN en sous-réseaux, dont la portée peut concerner une région ou un domaine de disponibilité. Un sous-réseau est constitué d'un intervalle contigu d'adresses qui ne chevauchent pas les autres sous-réseaux dans le réseau en nuage virtuel. Vous pouvez modifier la taille d'un sous-réseau après sa création. Un sous-réseau peut être public ou privé.

  • Oracle Database 23ai

    La version 23ai d'Oracle Database met l'accent sur l'IA et la productivité des développeurs. Elle intègre l'IA à vos données avec l'ajout de la recherche vectorielle d'IA à la base de données convergée d'Oracle. Cette capacité, combinée aux nouveaux paradigmes de développement unifiés et aux capacités essentielles, permet aux développeurs et aux professionnels des données d'alimenter en intelligence artificielle les applications, le développement d'applications et les charges de travail essentielles.

  • Événements

    Les services sur OCI émettent des événements, qui sont des messages structurés décrivant les modifications apportées aux ressources. Les événements sont émis pour les opérations de création, de lecture, de mise à jour ou de suppression (CRUD), les modifications d'état du cycle de vie des ressources et les événements système qui ont une incidence sur les ressources en nuage.

  • Journalisation
    Oracle Cloud Infrastructure Logging est un service hautement évolutif entièrement géré qui permet d'accéder aux types de journaux suivants à partir de vos ressources en nuage :
    • Journaux de vérification : Journaux liés aux événements produits par le service de vérification pour OCI.
    • Journaux de service : Journaux publiés par des services individuels tels que le service Passerelle d'API OCI, les événements OCI, le service Fonctions OCI, l'équilibrage de charge OCI, le service Stockage d'objets OCI et les journaux de flux de réseau VCN.
    • Journaux personnalisés : Journaux contenant des informations de diagnostic provenant d'applications personnalisées, d'autres fournisseurs de services infonuagiques ou d'un environnement sur place.
  • Surveillance

    Oracle Cloud Infrastructure Monitoring surveille vos ressources en nuage, de manière active et passive, et utilise des alarmes pour vous aviser lorsque les mesures répondent aux déclencheurs spécifiés.

  • Service de registre pour OCI

    Oracle Cloud Infrastructure Registry est un service géré par Oracle qui vous permet de simplifier votre flux de travail, du développement à la production. Le service Registry facilite le stockage, le partage et la gestion d'artefacts de développement, tels que des images Docker.

  • Parole

    Oracle Cloud Infrastructure Speech exploite la puissance de la langue parlée, ce qui vous permet de convertir facilement des fichiers multimédias contenant de la parole humaine en transcriptions de texte très précises. Vous pouvez y accéder à l'aide de la console, de l'API REST, de l'interface de ligne de commande et de la trousse SDK.

  • Flux de travail

    Oracle Cloud Infrastructure Workflow est un moteur de flux sans serveur doté d'un concepteur de flux graphique destiné aux développeurs et aux architectes. Il accélère la création, l'exécution et l'orchestration de services OCI tels que le service des fonctions pour OCI ou l'intelligence artificielle/apprentissage automatique.

  • Service APEX

    Oracle APEX Application Development est une plate-forme de développement à code réduit qui vous permet de créer des applications d'entreprise évolutives, sécurisées, riches en fonctionnalités et pouvant être déployées partout où Oracle Database est installé. Vous n'avez pas besoin d'être un expert dans une vaste gamme de technologies pour fournir des solutions sophistiquées. Le service APEX comprend des fonctions intégrées telles que des thèmes d'interface utilisateur, des contrôles de navigation, des programmes de traitement de formulaires et des rapports flexibles qui accélèrent le processus de développement d'applications.

  • Passerelle d'API

    Le service Passerelle d'API pour Oracle Cloud Infrastructure API Gateway vous permet de publier des API avec des points d'extrémité privés accessibles à partir de votre réseau et que vous pouvez exposer au réseau Internet public si nécessaire. Les points d'extrémité prennent en charge la validation, la transformation des demandes et des réponses, la CORS, l'authentification et l'autorisation, ainsi que la limitation des demandes pour les API.

  • Volumes par blocs OCI

    Avec Oracle Cloud Infrastructure Block Volumes, vous pouvez créer, attacher, connecter et déplacer des volumes de stockage et modifier la performance des volumes pour répondre à vos exigences en matière de stockage, de performance et d'applications. Une fois un volume attaché et connecté à une instance, vous pouvez l'utiliser comme un disque dur classique. Vous pouvez également déconnecter un volume et l'associer à une autre instance sans perdre de données.

  • Calcul

    Avec le service de calcul pour Oracle Cloud Infrastructure, vous pouvez provisionner et gérer des hôtes de calcul dans le nuage. Vous pouvez lancer des instances de calcul avec des formes qui répondent à vos besoins en ressources pour l'unité centrale, la mémoire, la bande passante de réseau et le stockage. Après avoir créé une instance de calcul, vous pouvez y accéder en toute sécurité, la redémarrer, attacher et détacher des volumes, et y mettre fin lorsque vous n'en avez plus besoin.

  • Service de science des données

    Oracle Cloud Infrastructure Data Science est une plate-forme sans serveur entièrement gérée que les équipes de science des données peuvent utiliser pour créer, entraîner et gérer des modèles d'apprentissage automatique sur OCI. Il peut facilement s'intégrer à d'autres services OCI tels qu'Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage, etc. Vous pouvez créer et évaluer des modèles d'apprentissage automatique de haute qualité qui augmentent la flexibilité de l'entreprise en mettant rapidement à profit des données fiables de l'entreprise, et vous pouvez soutenir des objectifs d'affaires axés sur les données avec un déploiement plus facile des modèles d'apprentissage automatique. Le service Science des données permet aux spécialistes des données et aux ingénieurs d'apprentissage automatique d'utiliser gratuitement les ensembles du référentiel Anaconda.

    La fonction Tâches du service Science des données permet aux experts en science des données de définir et d'exécuter des tâches d'apprentissage automatique pouvant être répétées sur une infrastructure entièrement gérée.

    La fonction de déploiement de modèle du service Science des données permet aux experts en science des données de déployer des modèles entraînés en tant que points d'extrémité HTTP entièrement gérés qui peuvent fournir des prédictions en temps réel, fournissant des informations aux processus et aux applications, et permettant à l'entreprise de réagir aux événements pertinents lorsqu'ils se produisent.

  • DevOps

    Oracle Cloud Infrastructure DevOps (opérations de développement) est une plate-forme complète d'intégration et de développement en continu permettant aux développeurs de simplifier et d'automatiser leur cycle de développement logiciel. OCI DevOps permet aux développeurs et aux opérateurs de développer, de créer, de tester et de déployer des logiciels de manière collaborative. Les développeurs et les opérateurs bénéficient d'une visibilité tout au long du cycle de développement grâce à un historique des validations de source lors des phases de création, de test et de déploiement.

  • Fonctions

    Oracle Cloud Infrastructure Functions est une plate-forme de fonctions-service (FaaS) entièrement gérée, multilocataire, hautement évolutive et sur demande. Il est propulsé par le moteur open source Fn Project. Le service Fonctions pour OCI vous permet de déployer votre code et de l'appeler directement ou de le déclencher en réponse à des événements. Le service Service des fonctions pour OCI utilise des conteneurs Docker hébergés dans Oracle Cloud Infrastructure Registry.

  • Gestion des identités et des accès

    Le service Oracle Cloud Infrastructure Identity and Access Management (IAM) fournit un contrôle d'accès utilisateur pour OCI et Oracle Cloud Applications. L'API IAM et l'interface utilisateur vous permettent de gérer les domaines d'identité et les ressources qu'ils contiennent. Chaque domaine d'identité OCI IAM représente une solution autonome de gestion des identités et des accès ou une population d'utilisateurs différente.

  • Intégration

    Oracle Integration est un environnement préconfiguré entièrement géré qui vous permet d'intégrer des applications en nuage et sur place, d'automatiser les processus d'affaires et de développer des applications visuelles. Il utilise un serveur de fichiers conforme à SFTP pour stocker et extraire des fichiers et vous permet d'échanger des documents avec des partenaires commerciaux d'affaires à l'aide d'un portefeuille de centaines d'adaptateurs et de recettes pour vous connecter à des applications Oracle et tierces.

  • Grappe Kubernetes

    Une grappe Kubernetes est un ensemble de machines qui exécutent des applications conteneurisées. Kubernetes fournit une plate-forme portable, extensible et à code source libre pour gérer les charges de travail et les services conteneurisés dans ces noeuds. Une grappe Kubernetes est formée de noeuds de travail et de noeuds de plan de contrôle.

  • Plan de contrôle Kubernetes

    Un plan de contrôle Kubernetes gère les ressources pour les noeuds de travail et les pods au sein d'une grappe Kubernetes. Les composants du plan de contrôle détectent les événements et y répondent, planifient et déplacent les ressources du cluster.

    Voici les composants du plan de contrôle :
    • kube-apiserver : Exécute le serveur d'API Kubernetes.
    • etcd : Stockage clé-valeur réparti pour toutes les données de grappe.
    • kube-scheduler : Détermine sur quel noeud les nouveaux pods non affectés seront exécutés.
    • kube-controller-manager : Exécute les processus de contrôleur.
    • cloud-controller-manager : relie votre grappe à l'API propre au nuage.
  • Moteur Kubernetes pour OCI

    Oracle Cloud Infrastructure Kubernetes Engine (OCI Kubernetes Engine ou OKE) est un service entièrement géré, évolutif et hautement disponible que vous pouvez utiliser pour déployer vos applications conteneurisées dans le nuage. Vous spécifiez les ressources de calcul dont vos applications ont besoin et OKE les provisionne sur OCI dans une location existante. OKE utilise Kubernetes pour automatiser le déploiement, l'ajustement et la gestion des applications conteneurisées sur des grappes d'hôtes.

  • Noeud de travail Kubernetes

    Un noeud de travail Kubernetes est une machine de traitement qui exécute des applications conteneurisées dans une grappe Kubernetes. Chaque grappe comporte au moins un noeud de travail.

  • Stockage d'objets

    Le service de stockage d'objets pour OCI donne accès à de grandes quantités de données structurées et non structurées de tous types, notamment des sauvegardes de base de données, des données analytiques et du contenu enrichi, comme des images et des vidéos. Vous pouvez stocker des données en toute sécurité directement à partir d'Internet ou de la plate-forme en nuage. Vous pouvez adapter le stockage sans que la performance ou la fiabilité des services soit affectée.

    Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archives pour le stockage "à froid" que vous conservez pendant de longues périodes et auquel vous accédez rarement.

  • Flux

    Le service de flux d'Oracle Cloud Infrastructure Streaming fournit un stockage entièrement géré, évolutif et durable pour l'ingestion de flux de données en continu à volume élevé auxquels vous pouvez accéder et traiter en temps réel. Vous pouvez utiliser le service de diffusion en continu pour OCI pour l'ingestion de gros volumes de données, tels que les journaux d'application, la télémétrie opérationnelle, les données de flux de clics Web, ou pour d'autres cas d'utilisation où les données sont produites et traitées en continu et séquentiellement dans un modèle de messagerie de publication-abonnement.

  • Audit

    Le service Oracle Cloud Infrastructure Audit enregistre automatiquement les appels à tous les points d'extrémité d'API (interface de programmation d'application publique) OCI pris en charge en tant qu'événements de journal. Tous les services OCI prennent en charge la journalisation par Oracle Cloud Infrastructure Audit.

  • Intelligence artificielle générative

    Oracle Cloud Infrastructure Generative AI est un service OCI entièrement géré qui fournit un jeu de grands modèles de langage (LLM) de pointe personnalisables qui couvrent un large éventail de cas d'utilisation pour la génération de texte, la récapitulation, la recherche sémantique, etc. Utilisez le terrain de jeu pour tester les modèles préentraînés prêts à l'emploi, ou créez et hébergez vos propres modèles personnalisés réglés avec précision à l'aide de vos données dans des grappes dédiées à l'IA.

  • Équilibreur de charge

    Oracle Cloud Infrastructure Load Balancing assure la répartition automatisée du trafic d'un point d'entrée unique vers plusieurs serveurs.

  • Passerelle de traduction d'adresses de réseau (NAT)

    Une passerelle NAT permet aux ressources privées d'un VCN d'accéder aux hôtes sur Internet, sans les exposer aux connexions Internet entrantes.

  • Intelligence artificielle générative

    Oracle Cloud Infrastructure Generative AI est un service OCI entièrement géré qui fournit un jeu de grands modèles de langage (LLM) de pointe personnalisables qui couvrent un large éventail de cas d'utilisation pour la génération de texte, la récapitulation, la recherche sémantique, etc. Utilisez le terrain de jeu pour tester les modèles préentraînés prêts à l'emploi, ou créez et hébergez vos propres modèles personnalisés réglés avec précision à l'aide de vos données dans des grappes dédiées à l'IA.

  • Digital Assistant

    Oracle Digital Assistant is a platform that allows you to create and deploy digital assistants for your users. Avec Oracle Digital Assistant, vous pouvez créer des interfaces basées sur l'IA (ou agents conversationnels) pour les applications d'affaires au moyen d'interfaces de texte, de clavardage et vocales. Chaque assistant numérique possède une ou plusieurs compétences spécialisées pour aider les utilisateurs à effectuer une variété de tâches dans des conversations en langage naturel. Par exemple, un assistant numérique individuel peut avoir des compétences qui se concentrent sur des types de tâche spécifiques, tels que le suivi des stocks, la soumission de feuilles de temps et la création de rapports de frais.

  • Politique

    Une politique Oracle Cloud Infrastructure Identity and Access Management spécifie qui peut accéder à quelles ressources et comment. L'accès est accordé au niveau du groupe et du compartiment, ce qui permet d'écrire une politique qui donne à un groupe un type d'accès spécifique dans un compartiment spécifique ou à la location.

  • Zone de sécurité

    Les zones de sécurité mettent en oeuvre les meilleures pratiques de sécurité d'Oracle en appliquant des politiques pour un compartiment entier, par exemple en chiffrant les données et en empêchant l'accès public aux réseaux. Une zone de sécurité est associée à un compartiment du même nom et comprend des politiques de zone de sécurité (recette) qui s'appliquent au compartiment et à ses sous-compartiments. Vous ne pouvez pas ajouter ou déplacer un compartiment standard vers un compartiment de zone de sécurité.

Recommandations

Assurez le succès, l'extensibilité et la durabilité de la plateforme d'IA d'entreprise basée sur les OCI, en mettant l'accent sur le développement de LLM en libre-service, MLOps, l'optimisation des GPU et une intégration de niveau entreprise.

  • Gouvernance de plateforme et de stratégie
    • Créez un centre d'excellence interfonctionnel dédié pour l'IA afin de gouverner :
      • Meilleures pratiques de formation et de déploiement LLM
      • Affectation des ressources et gestion des quotas
      • Sécurité, conformité et utilisation éthique de l'IA
    • Évitez l'étalement incontrôlé des ressources en activant des quotas et des politiques de marquage dans OCI pour assurer la traçabilité et la responsabilité des coûts dans tous les services et équipes.
  • Efficacité et programmation des ressources GPU
    • Combinez le MIG NVIDIA pour optimiser l'utilisation des processeurs graphiques. Affectez des processeurs graphiques fractionnaires par tâche ou utilisateur pour augmenter l'utilisation et réduire les coûts.
    • Solution de fractionnement GPU :
      • Le GPU à instances multiples (MIG) est une fonction disponible sur les GPU NVIDIA A100 et H100 qui permet le partitionnement d'un GPU physique unique en plusieurs instances (ou tranches) isolées par matériel, appelées instances GPU.

        Chaque instance fonctionne en tant que GPU indépendant avec son propre processeur graphique :

        • Mémoire dédiée
        • Coeurs de calcul
        • Mémoire cache et bande passante de mémoire

        Cela permet aux équipes d'exécuter plusieurs charges de travail d'intelligence artificielle simultanément sur un seul processeur graphique avec des performances prévisibles et un isolement au niveau du matériel.

        Le moteur Kubernetes pour OCI (OKE) est configuré pour prendre en charge la programmation MIG, ce qui permet :

        • Chaque pod pour demander une instance MIG spécifique (par exemple, 1/7e d'un A100).
        • Le programmateur Kubernetes permet d'affecter intelligemment les tranches de processeurs graphiques disponibles en fonction des demandes.
        • Les instances MIG doivent être exposées au moyen du plugiciel de périphérique NVIDIA et de la détection des fonctions de noeud, ce qui garantit qu'elles sont détectables et programmables par OKE.
        • Les processeurs graphiques MIG (par exemple, A100 ou H100) sont déployés sur des instances sans système d'exploitation OCI ou en tant que noeuds de travail OKE.
        • OKE gère les charges de travail d'intelligence artificielle conteneurisées avec une programmation MIG.
    • Profil MIG Fraction de tranche Mémoire dédiée Convient pour...
      1g.5gb 1/7 5 Go Inférence légère, test
      2g.10gb 2/7 10 Go Réglage fin des petits modèles
      3g.20gb 3/7 20 Go Modèles de taille moyenne
      7g.40gb GPU complet 40 Go Formation à grande échelle
    • Utilisez le service Surveillance pour OCI pour éviter les goulots d'étranglement dans les phases à forte demande (par exemple, les sprints d'entraînement de modèle).
  • Cycle de vie et automatisation des modèles
    • Standardisez l'intégration et le développement en continu en déployant des modèles au moyen de pipelines OCI DevOps intégrés à Git et Container Registry pour automatiser les opérations suivantes :
      • Emballage de modèle
      • Test et validation
      • Déploiement vers OKE ou Functions
    • Incluez les étapes de repositionnement et de validation en intégrant des tests A/B, des déploiements de test canari et une logique de repositionnement pour éviter les régressions dans le comportement du modèle.
  • Architecture des données
    • Déployez Oracle Database 23ai pour stocker les intégrations et activer la recherche sémantique au moyen d'Oracle AI Vector Search. Combinez-le avec :
      • Stockage d'objets OCI pour les documents
      • Service des fonctions pour OCI pour l'orchestration de l'extraction
    • Maintenez la fraîcheur vectorielle en recalculant et en mettant à jour régulièrement les plongements lorsque les documents sources changent pour assurer la précision de la sortie RAG.
  • Sécurité, conformité et observabilité
    • Appliquer la segmentation basée sur le service IAM en utilisant les politiques, les compartiments et les groupes OCI IAM pour définir des limites claires entre les environnements de développement, de test et de production.
    • Enregistrez et vérifiez chaque action critique en activant le service Journalisation pour OCI, le service Surveillance pour OCI et les journaux du service Vérification pour OCI pour tous les composants critiques (OKE, Fonctions, Stockage, noeuds GPU).
  • Intégration multinuage et hybride
    • Utilisez OCI FastConnect, la passerelle de service et les points d'extrémité privés pour assurer une intégration sécurisée et à haut débit avec les services d'intelligence artificielle sur place et de tierce partie (par exemple, Azure OpenAI, AWS Bedrock).
    • Évitez l'accès à Internet public pour les charges de travail sensibles. Utilisez des sous-réseaux privés, des passerelles NAT et l'authentification de service à service dans la mesure du possible.
  • Adhésion en libre-service pour les développeurs
    • Fournissez des modèles de départ et des API organisés en offrant un jeu de pipelines OCI Functions, OCI DevOps et des modèles de carnet pour intégrer rapidement et en toute sécurité de nouveaux utilisateurs dans l'environnement en libre-service.
    • Équilibrez l'autonomie avec des protections en habilitant les utilisateurs tout en maintenant le contrôle grâce à des politiques, des quotas et des meilleures pratiques partagées pour le développement responsable de modèles.

Points à considérer

Tenez compte des points suivants lors du déploiement de cette architecture de référence.

  • Performance
    • Déployez des instances de GPU haute performance, telles que A100, H100, H200, B200 et GB200, adaptées à des exigences de charge de travail spécifiques, notamment la formation, l'inférence et l'IA répartie à grande échelle.
    • Tirez parti des grappes de processeurs graphiques activées pour RDMA pour les charges de travail réparties à bande passante élevée et à faible latence.
    • Surveillez en continu l'utilisation des ressources pour limiter les contentions de manière proactive.
  • Sécurité
    • Mettez en oeuvre la compartimentation et les sous-réseaux privés pour isoler différents environnements opérationnels.
    • Appliquer des contrôles d'accès stricts au moyen de l'OCI IAM et IDCS.
    • Maintenez des traces complètes de journalisation et de vérification pour toutes les opérations importantes.
  • Disponibilité
    • Répartir les ressources critiques dans plusieurs domaines d'erreur pour assurer la tolérance aux pannes.
    • Utilisez le moteur OCI Kubernetes (OKE) avec ajustement automatique pour maintenir l'élasticité.
    • Valider les stratégies de sauvegarde, de récupération et de réplication des données pour atteindre les objectifs de continuité d'activité.
  • Coût
    • Optimisez l'efficacité de l'utilisation des processeurs graphiques au moyen du fractionnement MIG NVIDIA.
    • Mettez en oeuvre des stratégies de stockage hiérarchisé, en tirant parti des politiques de cycle de vie du stockage d'objets OCI.
    • Utilisez le balisage au niveau du projet et les quotas budgétaires pour maintenir la responsabilité financière.
  • Intégration et développement
    • Normalisez les flux de travail d'intégration et de développement en continu avec OCI DevOps pour rationaliser et automatiser le cycle de vie des modèles.
    • Assurez la cohérence des pratiques d'intégration multinuage à l'aide d'OCI FastConnect et de passerelles de routage dynamique (DRG) pour les flux de données sécurisés.
  • Data Management
    • Gérez et actualisez régulièrement les intégrations sémantiques dans Oracle Database 23ai pour une extraction précise.
    • Catégoriser le stockage de manière appropriée en fonction des modèles d'utilisation des données (standard par rapport aux archives).
  • Adoption et gestion par les utilisateurs
    • Fournir des ressources d'intégration structurée pour accélérer l'adoption du libre-service.
    • Évaluez en continu les environnements en libre-service et ajustez les politiques pour équilibrer la liberté des utilisateurs et la gouvernance opérationnelle.

Informations complémentaires

Apprenez-en davantage sur la façon dont OCI offre des solutions d'IA générative évolutives, sécurisées et prêtes pour l'entreprise.

Vérifiez ces ressources supplémentaires :

Remerciements

  • Auteurs : Diego Mariano, Diogo Santiago
  • Contributeurs : Douglas Silva, John Sulyok