Créez des applications d'IA générative à l'aide du modèle Llama 2 sur Oracle Cloud Infrastructure

Oracle Cloud Infrastructure Generative AI (OCI Generative AI) est un service entièrement géré qui fournit un ensemble de grands modèles de langage de pointe et personnalisables couvrant une large gamme de cas d'emploi pour la génération de texte.

Meta Llama 2 est un modèle de langage de grande taille open source, proposé en tant que modèle de base préentraîné entièrement géré (meta.llama-2-70b-chat) avec des paramètres 70B sur Oracle Cloud Infrastructure (OCI). L'invite utilisateur et la réponse peuvent comporter jusqu'à 4 096 sèmes pour chaque exécution. Vous pouvez rapidement créer vos applications d'IA générative sur OCI et héberger le modèle Llama 2 en vous procurant un cluster d'IA dédié sur OCI.

Architecture

Vous pouvez utiliser Llama 2 comme modèles de base préentraînés sans vous soucier de l'infrastructure sous-jacente. Exécutez vos invites, ajustez les paramètres, mettez à jour vos invites et relancez le modèle jusqu'à ce que les résultats vous conviennent. Obtenez ensuite le code à partir de la console et copiez-le dans vos applications. Vous pouvez également héberger le modèle Llama 2 sur un cluster dédié et l'intégrer à votre application à l'aide d'adresses d'API.

Dans cette architecture de référence, Object Storage est provisionné dans OCI pour le stockage de données, Data Integration pour les transformations, OCI Data Science Workspace pour la création de modèles, base de données vectorielle pour le stockage des intégrations, service OCI Generative AI avec un cluster d'IA dédié pour l'hébergement et outil de développement OCI - APEX pour l'interface utilisateur.

Le diagramme suivant illustre cette architecture de référence.

Description de l'image oci-generative-ai-llama-arch.png

Description de l'illustration oci-generative-ai-llama-arch.png

oci-generative-ai-llama-arch-oracle.zip

Avantages de la création d'une LLM sur OCI

Service d'IA générative : OCI Generative AI est un service entièrement géré disponible via une API pour intégrer de manière transparente ces modèles de langage polyvalents dans un large éventail de cas d'utilisation, notamment l'aide à la rédaction, la synthèse et la discussion.

Clusters d'IA dédiés : les clusters d'IA dédiés sont des ressources de calcul que vous pouvez utiliser pour affiner des modèles personnalisés ou pour héberger des adresses d'IA dédiées pour des modèles. Les clusters sont dédiés à vos modèles et ne sont pas partagés avec les utilisateurs d'autres locations.

Remarques :

La nouvelle fonctionnalité de recherche de similarité de vecteur d'IA est disponible dans Oracle Database 23ai.

L'architecture comporte les composants suivants :

Object Storage
Le stockage d'objets permet d'accéder rapidement à de grandes quantités de données, structurées ou non, de tout type de contenu, y compris des sauvegardes de base de données, des données analytiques et du contenu riche tel que des images et des vidéos. Vous pouvez stocker les données, puis les extraire directement à partir d'Internet ou de la plate-forme cloud, et ce, en toute sécurité. Vous pouvez faire évoluer le stockage sans dégradation des performances ni de la fiabilité des services. Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archives pour le stockage "à froid" que vous conservez pendant longtemps et auquel vous accédez rarement.
Intégration OCI
Les services d'intégration Oracle Cloud Infrastructure connectent toutes les applications et sources de données, y compris Salesforce, SAP, Shopify, Snowflake et Workday, pour automatiser les processus de bout en bout et centraliser la gestion. La large gamme d'intégrations, avec des adaptateurs prédéfinis et une personnalisation low-code, simplifie la migration vers le cloud tout en rationalisant les opérations hybrides et multiclouds.
OCI Data Science
Oracle Cloud Infrastructure (OCI) Data Science est une plateforme entièrement gérée et sans serveur qui permet aux équipes de science des données de créer, d'entraîner et de gérer des modèles d'apprentissage automatique.
OCI Generative AI
Oracle Cloud Infrastructure Generative AI est un service entièrement géré qui fournit un ensemble de grands modèles de langage (LLM) de pointe couvrant une large gamme de cas d'emploi pour la génération de texte. Utilisez le terrain de jeu pour essayer les modèles préentraînés prêts à l'emploi, ou créez et hébergez votre propre modèle Llama2 dédié en fonction des données de votre entreprise sur des clusters d'AI dédiés.

Recommandations

Utilisez les recommandations suivantes comme point de départ. Vos exigences peuvent différer de l'architecture décrite ici.

Maintenance et haute disponibilité
Cette architecture de référence utilise presque uniquement les services PaaS gérés par Oracle. Il n'est pas nécessaire d'installer, d'appliquer des patches, de mettre à jour ou de mettre à niveau le logiciel à l'aide de cette
Evolutivité et taille
Cette architecture de référence utilise les services PaaS et est prête à l'emploi et évolutive pour la plupart des services qu'elle inclut.
Connectivité
Toutes les connexions au sein d'OCI doivent être établies via un réseau privé. Vous pouvez utiliser l'option Adresses privées pour vous connecter aux services OCI PaaS.

Points à prendre en compte

Tenez compte des points suivants lors du déploiement de cette architecture de référence.

Sécurité
Les clusters d'IA dédiés dans OCI Generative AI sont des ressources de calcul que vous pouvez utiliser pour héberger des adresses pour les modèles LLM Llama 2. Les clusters sont dédiés à vos modèles et ne sont pas partagés avec les utilisateurs d'autres locations.
Limites de ressources
Tenez compte des meilleures pratiques, des limites par service et des quotas de compartiment pour votre location.

En savoir plus

Consultez ces ressources supplémentaires pour en savoir plus sur les fonctionnalités de cette architecture de référence.

Remerciements

Auteur : Pavan Kumar Manuguri