Mettre en oeuvre une plate-forme de gestion d'API pour les modèles et les services d'intelligence artificielle d'entreprise
Il est probable que votre organisation ait mis en œuvre l'IA, si tel est le cas, vous êtes parmi les nombreuses organisations qui ont du mal à appliquer la sécurité au niveau de l'entreprise et à normaliser les processus lors de la création d'applications à partir de modèles d'IA privés et publics.
La consommation de modèles d'IA peut poser des défis communs aux organisations de tous les secteurs, y compris :
- Complexité de l'intégration : La gestion des intégrations point à point entre les applications et les modèles d'IA entraîne souvent de la complexité lorsque les organisations souhaitent adopter différents modèles.
- Normalisation de la sécurité : La mise en oeuvre de mesures de sécurité cohérentes sur les différents modèles d'IA s'avère être un défi de taille.
- Contrôle de l'accès : Il peut être difficile de gérer efficacement l'application du contrôle de l'accès basé sur les rôles aux API de modèle d'IA en fonction des rôles et des responsabilités des utilisateurs.
- Monétisation : Création de modèles d'IA qui n'ont pas de capacités de monétisation si des modèles sont mis à la disposition de consommateurs externes.
- Consommation et Resource Management : Définition de quotas pour les abonnés afin de limiter la consommation des modèles d'IA.
- Ralentissement : Limitation de la vitesse et de la limitation des API du modèle d'IA.
- Surveillance : Fonctionnalités de surveillance et de suivi pour visualiser la consommation des API de modèle d'IA.
Cette architecture décrit une solution pour aider les clients à tirer parti des fonctions d'Oracle Cloud Infrastructure API Gateway et d'autres services OCI pour relever ces défis dans une solution d'IA.
Architecture
Cette architecture utilise la passerelle d'API OCI comme intergiciel pour gérer l'intégration point à point entre les modèles d'IA et d'autres services OCI. Utilisez cette architecture pour les cas d'utilisation de l'IA qui nécessitent des flux de sécurité au niveau de l'entreprise et la normalisation des processus.
Titre standard
De nombreux modèles d'IA de base et d'autres services d'IA utilisent différents mécanismes d'authentification tels que OAuth 2.0, Open ID, JWT, etc. Le service Passerelle d'API OCI peut aider à normaliser l'authentification d'API pour les modèles d'IA.
Couche de virtualisation ou d'abstraction
Comme la plupart des entreprises modernes tirent parti des derniers modèles d'IA de différents fournisseurs spécialisés dans des domaines particuliers, la consommation de modèles d'IA directement à partir des applications peut créer une complexité d'intégration point à point. Le service Passerelle d'API OCI est utilisé comme couche de virtualisation de service pour faciliter le passage d'un modèle d'IA à un autre.
La passerelle d'API OCI et la chambre forte OCI peuvent abstraire les données d'identification d'API du modèle d'IA des consommateurs, tandis que les données d'identification du modèle d'IA sont stockées dans la chambre forte OCI. Les consommateurs accèdent aux points d'extrémité du service Passerelle d'API OCI avec les données d'identification de client générées à partir d'applications confidentielles créées pour ce consommateur. Le service Passerelle d'API OCI authentifie les utilisateurs par rapport aux données d'identification du client et, lors de l'authentification réussie, le service Passerelle d'API OCI extrait les données d'identification d'API du modèle à partir du service Chambre forte OCI pour appeler le point d'extrémité d'API du modèle dorsal.
Contrôle et gouvernance des accès
Le service Passerelle d'API OCI peut appliquer un contrôle d'accès granulaire aux API de modèle d'IA pour accorder l'accès à l'API en fonction du domaine, du rôle ou de la responsabilité du consommateur. Les déploiements du service Passerelle d'API OCI permettent d'emballer des API basées sur le domaine pour permettre aux consommateurs de demander un abonnement à des déploiements spécifiques. Les fonctions de limitation et de limitation de débit du service Passerelle d'API OCI aident à contrôler l'utilisation et la performance des modèles d'IA.
Contrôle des coûts
Les plans et les quotas d'utilisation peuvent être mis à profit pour contrôler efficacement les coûts de consommation du modèle d'IA. Les plans d'utilisation vous permettent de créer différents niveaux de plan qui peuvent être affectés aux consommateurs en fonction de la priorité et de la valeur commerciale. Pour les entreprises qui mettent des services d'IA tiers à la disposition de leurs équipes, les plans d'utilisation peuvent assurer que l'utilisation des employés est gérée et surveillée pour éviter d'entraîner des coûts élevés.
Le cache OCI avec Redis peut être intégré au service de passerelle d'API OCI pour réduire les coûts et améliorer la performance des API de modèle d'IA en mettant en mémoire cache les demandes fréquentes et en déchargeant les demandes d'inférence sur les modèles.
Journalisation et surveillance
Le tableau de bord de production de rapports prêt à l'emploi du service Passerelle d'API OCI aide les entreprises à obtenir des informations sur l'utilisation et la performance du modèle d'IA et à identifier les opportunités d'économies.
Vous pouvez diffuser les journaux dans Oracle Cloud Infrastructure Logging Analytics à des fins de dépannage, de surveillance du comportement de consommation du modèle d'IA, de génération de rapports personnalisés pour surveiller la consommation de ressources et de prise de décisions éclairées sur les futurs investissements du portefeuille d'IA de votre organisation. Les journaux peuvent être transmis aux systèmes de facturation si les organisations veulent monétiser des modèles d'IA peaufinés.
Le service Passerelle d'API OCI peut émettre des mesures dans le service Surveillance OCI, où des mesures de plan d'utilisation peuvent être utilisées pour surveiller les principaux clients consommateurs et d'autres dimensions pour résoudre les problèmes de déploiement et de passerelle d'API OCI.
Service de réseau
Le service Passerelle d'API OCI est accessible à partir de l'Internet public et au moyen d'une connexion réseau privée.
Les utilisateurs et les applications d'Internet peuvent accéder à la passerelle d'API OCI dans un sous-réseau public dirigé par une passerelle Internet.
Les utilisateurs et les applications sur place peuvent accéder au service de passerelle d'API OCI dans un sous-réseau privé au moyen d'OCI FastConnect ou d'un RPV. Les applications Microsoft Azure ou Google Cloud peuvent accéder au service Passerelle d'API OCI dans un sous-réseau privé au moyen de l'interconnexion Oracle correspondante pour Microsoft Azure ou d'Oracle Interconnect pour Google Cloud.
Le diagramme suivant présente l'architecture.
api-gateway-ai-architecture.zip
Le diagramme suivant illustre le flux de travail entre le service Passerelle d'API OCI, les modèles d'intelligence artificielle et d'autres services Oracle :
Le flux de travail ressemble à ce qui suit :
- Les consommateurs d'IA d'Internet se connectent aux API du service d'IA au moyen de la passerelle d'API. Les consommateurs comprennent à la fois des applications Web et mobiles créées à l'aide de n'importe quelle technologie d'interface utilisateur telle que Oracle Visual Builder, Oracle Analytics Cloud, l'application Visual Builder Cloud Service intégrée dans Oracle SaaS. Les consommateurs sur place peuvent établir un tunnel sécurisé haute performance entre OCI et les centres de données sur place qui permet aux consommateurs sur place d'accéder aux modèles d'IA sans utiliser Internet.
- La passerelle d'API OCI est intégrée à la gestion des identités et des accès OCI pour l'authentification afin d'obtenir une application de sécurité standardisée au moyen de OAuth 2.0 et d'une authentification de base.
- Le service de chambre forte pour OCI stocke les données d'identification d'API du modèle d'IA de manière sécurisée et peut abstraire les données d'identification d'API dorsale des consommateurs.
- Diffusez les journaux du service Passerelle d'API OCI dans le service Journalisation OCI pour conserver les journaux plus longtemps et créer des rapports au moyen de l'analyse de journalisation pour générer des données clés.
- Effectuer l'intégration à la cache OCI avec Redis pour réduire les coûts et améliorer la performance des API de modèle d'IA en mettant en mémoire cache les demandes fréquentes.
- Le service des fonctions pour OCI peut être utilisé comme enveloppe autour des modèles d'intelligence artificielle qui n'ont pas de points d'extrémité REST. Le service des fonctions pour OCI prend en charge la mise en oeuvre à partir de différents langages tels que Python, Java, Node, Go, Ruby et C#.
- Intégrez la passerelle d'API OCI aux services d'intelligence artificielle directement si le service d'intelligence artificielle expose des points d'extrémité REST.
- Oracle Integration Cloud Service peut mettre en oeuvre des transformations complexes ou mettre en oeuvre une logique d'orchestration avant de retourner la sortie d'inférence aux consommateurs.
L'architecture comprend les composants suivants :
- Région
Une région Oracle Cloud Infrastructure est une zone géographique localisée qui contient un ou plusieurs centres de données, appelés domaines de disponibilité. Les régions sont indépendantes les unes des autres, et de grandes distances peuvent les séparer (dans différents pays ou continents).
- Domaines de disponibilité
Les domaines de disponibilité sont des centres de données indépendants et autonomes dans une région. Les ressources physiques de chaque domaine de disponibilité sont isolées des ressources des autres domaines de disponibilité, ce qui garantit la tolérance aux pannes. Les domaines de disponibilité ne partagent pas les éléments d'infrastructure (alimentation ou refroidissement, par exemple) ni le réseau de domaines de disponibilité interne. Par conséquent, une défaillance d'un domaine de disponibilité ne devrait pas affecter les autres domaines de disponibilité de la région.
- Domaines d'erreur
Un domaine d'erreur est un regroupement de matériel et d'infrastructure au sein d'un domaine de disponibilité. Chaque domaine de disponibilité comporte trois domaines d'erreur avec une puissance et un matériel indépendants. Lorsque vous répartissez des ressources entre plusieurs domaines d'erreur, vos applications peuvent tolérer les pannes physiques de serveur, la maintenance du système et les pannes d'alimentation au sein d'un domaine d'erreur.
- Réseau en nuage virtuel (VCN) et sous-réseau
Un VCN est un réseau défini par logiciel personnalisable que vous avez configuré dans une région Oracle Cloud Infrastructure. Comme les réseaux en nuage virtuels traditionnels, ils vous offrent un contrôle sur votre environnement de réseau. Un VCN peut disposer de plusieurs blocs CIDR sans chevauchement que vous pouvez modifier après avoir créé le VCN. Vous pouvez segmenter un VCN en sous-réseaux, dont la portée peut concerner une région ou un domaine de disponibilité. Un sous-réseau est constitué d'un intervalle contigu d'adresses qui ne chevauchent pas les autres sous-réseaux dans le réseau en nuage virtuel. Vous pouvez modifier la taille d'un sous-réseau après sa création. Un sous-réseau peut être public ou privé.
- Passerelle d'API
Oracle API Gateway vous permet de publier des API avec des points d'extrémité privés qui sont accessibles depuis votre réseau, mais que vous pouvez exposer au réseau Internet public, au besoin. Les points d'extrémité prennent en charge la validation, la transformation des demandes et des réponses, la spécification CORS, l'authentification et l'autorisation, ainsi que la limitation des demandes pour les API.
- Oracle Functions
Oracle Cloud Infrastructure Functions est une plate-forme de fonctions-service (FaaS) sur demande, entièrement gérée, multilocataire et hautement évolutive. Il est alimenté par le moteur open source Fn Project. Les fonctions vous permettent de déployer votre code et de l'appeler directement ou de le déclencher en réponse à des événements. Oracle Functions utilise des conteneurs Docker hébergés dans Oracle Cloud Infrastructure Registry.
- Cache avec Redis
Oracle Cloud Infrastructure Cache with Redis est une solution complète de mise en mémoire cache gérée sur la base de Redis à code source libre. Ce service entièrement géré accélère les lectures et les écritures de données, améliorant ainsi considérablement les temps de réponse des applications et la performance des bases de données pour offrir une expérience client améliorée.
- Intégration
Oracle Integration est un service entièrement géré qui vous permet d'intégrer vos applications, d'automatiser les processus, d'obtenir des données clés sur vos processus d'affaires et de créer des applications visuelles.
- Chambre forte
Oracle Cloud Infrastructure Vault vous permet de gérer, de manière centralisée, les clés de chiffrement qui protègent vos données et les données d'identification de clé secrète que vous utilisez pour sécuriser l'accès à vos ressources dans le nuage. Vous pouvez utiliser le service de chambre forte pour créer et gérer des chambres fortes, des clés et des clés secrètes.
- JournalisationLe service de journalisation est un service hautement évolutif entièrement géré qui permet d'accéder aux types de journal suivants à partir de vos ressources en nuage :
- Journaux du service de vérification : Journaux liés aux événements émis par le service de vérification.
- Journaux de service : Journaux émis par des services individuels tels que passerelle d'API, événements, fonctions, équilibreur de charge, stockage d'objets et journaux de flux VCN.
- Journaux personnalisés : Journaux contenant des informations de diagnostic provenant d'applications personnalisées, d'autres fournisseurs de services infonuagiques ou d'un environnement sur place.
- Surveillance
Le service Oracle Cloud Infrastructure Monitoring surveille activement et passivement vos ressources en nuage à l'aide de mesures pour surveiller les ressources et les alarmes pour vous aviser lorsque ces mesures répondent aux déclencheurs spécifiés par l'alarme.
- Service de gestion des identités et des accès (GIA)
Oracle Cloud Infrastructure Identity and Access Management (IAM) est le plan de contrôle d'accès pour Oracle Cloud Infrastructure (OCI) et Oracle Cloud Applications. L'API IAM et l'interface utilisateur vous permettent de gérer les domaines d'identité et les ressources du domaine d'identité. Chaque domaine d'identité IAM OCI représente une solution autonome de gestion des identités et des accès ou une population d'utilisateurs différente.
- Politique
Une politique Oracle Cloud Infrastructure Identity and Access Management spécifie qui peut accéder à quelles ressources, et comment. L'accès est accordé au niveau du groupe et du compartiment, ce qui permet d'écrire une politique qui donne à un groupe un type d'accès spécifique à un compartiment spécifique ou à la location.
- Cache avec Redis
Oracle Cloud Infrastructure Cache with Redis est une solution complète de mise en mémoire cache gérée sur la base de Redis à code source libre. Ce service entièrement géré accélère les lectures et les écritures de données, améliorant ainsi considérablement les temps de réponse des applications et la performance des bases de données pour offrir une expérience client améliorée.
- Vision
Le service de visualisation d'Oracle Cloud Infrastructure est un service d'intelligence artificielle qui permet d'effectuer une analyse d'image basée sur l'apprentissage profond à grande échelle. Avec des modèles prédéfinis prêts à l'emploi, les développeurs peuvent facilement intégrer la reconnaissance d'images et la reconnaissance de texte à leurs applications sans aucune expertise en apprentissage automatique.
- Intelligence artificielle générative
Oracle Cloud Infrastructure Generative AI est un service OCI entièrement géré qui fournit un jeu de grands modèles de langage (LLM) de pointe et personnalisables, qui couvrent un large éventail de cas d'utilisation pour la génération de texte, la récapitulation, la recherche sémantique, et plus encore. Utilisez le terrain de jeu pour tester les modèles préentraînés prêts à l'emploi, ou créez et hébergez vos propres modèles personnalisés réglés avec précision à l'aide de vos données dans des grappes dédiées à l'IA.
- Analyse de document
Le service de compréhension de documents d'Oracle Cloud Infrastructure est un service d'intelligence artificielle qui permet d'effectuer une analyse approfondie des documents, basée sur l'apprentissage, à grande échelle. Avec des modèles prédéfinis prêts à l'emploi, les développeurs peuvent facilement intégrer le traitement intelligent des documents dans leurs applications sans aucune expertise en apprentissage automatique.
- Digital Assistant
Oracle Digital Assistant est une plate-forme qui vous permet de créer et de déployer des assistants numériques pour vos utilisateurs. Avec Oracle Digital Assistant, vous pouvez créer des interfaces (ou des agents conversationnels) basées sur l'IA pour des applications d'affaires au moyen d'interfaces de texte, de clavardage et vocales. Chaque assistant numérique dispose d'un ensemble d'une ou de plusieurs compétences spécialisées pour aider les utilisateurs à effectuer diverses tâches dans des conversations en langage naturel. Par exemple, un assistant numérique peut avoir des compétences axées sur des types particuliers de tâches, comme le suivi des stocks, la soumission des feuilles de temps et la création des rapports de frais.
- Oracle Database 23ai
Oracle Database 23ai apporte la puissance de l'IA aux données et aux applications d'entreprise. La recherche vectorielle Oracle AI permet de rechercher facilement des documents, des images et des données relationnelles stockés dans des bases de données critiques en fonction de leur contenu conceptuel.
- Oracle Autonomous Database Select AI
Oracle Autonomous Database Select AI permet à Oracle Autonomous Database d'utiliser l'IA générative avec des modèles de langage étendu (LLM) pour convertir les entrées de l'utilisateur en SQL Oracle. Oracle Autonomous Database Select AI traite l'invite en langage naturel, complète l'invite avec des métadonnées, puis génère et exécute une interrogation SQL.
- Oracle HeatWave Gen AI
Oracle HeatWave Gen AI with vector store peut être utilisé pour une mise en œuvre de génération augmentée de récupération (RAG) afin d'améliorer la précision et la performance des modèles d'IA.
Points à considérer
Lors de la mise en oeuvre du service de passerelle d'API OCI pour le modèle d'API d'intelligence artificielle, tenez compte des éléments suivants :
- Sécurité
Les modèles d'IA utilisent de grandes quantités de données d'entreprise. Les équipes de gouvernance doivent s'assurer que les mesures de sécurité gèrent les données en appliquant les contrôles de masquage, de chiffrement et d'accès.
- Modélisation de l'IA - Conditions d'utilisation et licences
Les modèles d'IA de tiers sont livrés avec leurs propres licences et conditions d'entente. Les équipes de gouvernance de l'IA doivent être informées des conditions d'utilisation légales afin d'assurer la conformité lors de l'exposition des modèles au moyen du service de passerelle d'API OCI.
Informations complémentaires
En savoir plus sur l'infrastructure d'intelligence artificielle pour OCI et le service de passerelle d'API pour OCI.
Vérifiez les ressources supplémentaires suivantes :
OCI AI
- Infrastructure d'IA OCI
- Intelligence artificielle générative OCI
- Créer des applications optimisées pour le LLM à l'aide de l'intelligence artificielle générative OCI
OCI
- Aperçu du service de passerelle d'API
- Cadre des meilleures pratiques pour Oracle Cloud Infrastructure
- Estimateur de coûts d'Oracle Cloud
Multi-Cloud