1. Créez des applications d'IA génératives à l'aide du modèle Llama 2 sur Oracle Cloud Infrastructure
  2. Créez des applications d'IA génératives à l'aide du modèle Llama 2 sur Oracle Cloud Infrastructure

Créez des applications d'IA génératives à l'aide du modèle Llama 2 sur Oracle Cloud Infrastructure

Oracle Cloud Infrastructure Generative AI (OCI Generative AI) est un service entièrement géré qui fournit un jeu de grands modèles de langage (GML) de pointe, personnalisables, qui couvrent un large éventail de cas d'utilisation pour la génération de texte.

Meta Llama 2 est un modèle de langage de grande envergure à code source libre, qui est offert en tant que modèle fondamental préentraîné entièrement géré (meta.llama-2-70b-clavardage) avec des paramètres 70B sur Oracle Cloud Infrastructure (OCI). L'invite et la réponse de l'utilisateur peuvent atteindre 4 096 jetons pour chaque exécution. Vous pouvez rapidement créer des applications d'IA générative sur OCI et héberger le modèle Llama 2 en procurant une grappe d'IA dédiée sur OCI.

Architecture

Vous pouvez utiliser Llama 2 comme modèles fondamentaux préentraînés sans vous soucier de l'infrastructure sous-jacente. Exécuter vos invites, ajuster les paramètres, mettre à jour vos invites et exécuter de nouveau le modèle jusqu'à ce que les résultats vous conviennent. Obtenez ensuite le code à partir de la console et copiez-le dans vos applications. Vous pouvez également héberger le modèle Llama 2 sur une grappe dédiée et l'intégrer à votre application à l'aide de points d'extrémité d'API.

Dans cette architecture de référence, le stockage d'objets est provisionné dans OCI pour le stockage de données, le service d'intégration de données pour les transformations, l'espace de travail du service de science des données pour OCI pour la création de modèles, la base de données vectorielle pour le stockage d'intégrations, le service d'IA générative OCI avec une grappe d'IA dédiée pour l'hébergement et l'outil de développement pour OCI - APEX pour l'

Le diagramme suivant illustre cette architecture de référence.


Description d'oci-generative-ai-llama-arch.png :
Description de l'illustration oci-generative-ai-llama-arch.png

oci-generative-ai-llama-arch-oracle.zip

Avantages de la création d'un LLM sur OCI

Service d'intelligence artificielle générative : L'intelligence artificielle générative OCI est un service entièrement géré disponible au moyen d'une API qui intègre ces modèles de langage polyvalents dans un large éventail de cas d'utilisation, notamment l'aide à la rédaction, la récapitulation et le clavardage.

Grappes dédiées à l'IA : Les grappes dédiées à l'IA sont des ressources de calcul que vous pouvez utiliser pour régler avec précision des modèles personnalisés ou héberger des points d'extrémité dédiés à l'IA pour les modèles. Les grappes sont dédiées à vos modèles et ne sont pas partagées avec les utilisateurs d'autres locations.

Note :

Une nouvelle fonction de recherche de similarité de vecteurs IA est disponible dans Oracle Database 23ai.

L'architecture comprend les composants suivants :

  • Stockage d'objets

    Le service de stockage d'objets permet d'accéder rapidement à de grandes quantités de données non structurées de tous types, notamment des sauvegardes de base de données, des données analytiques et du contenu enrichi, comme des images et des vidéos. Vous pouvez stocker des données en toute sécurité, puis les extraire directement à partir d'Internet ou de la plate-forme en nuage. Vous pouvez adapter le stockage sans que la performance ou la fiabilité des services soit affectée. Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archives pour le stockage "à froid" que vous stockez pendant de longues périodes et auquel vous accédez rarement.

  • Intégration à OCI

    Les services d'intégration d'Oracle Cloud Infrastructure connectent n'importe quelle application et source de données, y compris Salesforce, SAP, Shopify, Snowflake et Workday, pour automatiser les processus de bout en bout et centraliser la gestion. La vaste gamme d'intégrations, avec des adaptateurs prédéfinis et une personnalisation avec codage réduit, simplifie la migration vers le nuage tout en simplifiant les opérations hybrides et multinuages.

  • Service de science des données pour OCI

    Le service de science des données d'Oracle Cloud Infrastructure (OCI) est une plate-forme sans serveur entièrement gérée, utilisée par les équipes d'experts en science des données pour créer, entraîner et gérer des modèles d'apprentissage automatique.

  • Intelligence artificielle générative OCI

    Oracle Cloud Infrastructure Generative AI est un service entièrement géré qui fournit un jeu de modèles de langage (GML) de pointe qui couvrent un large éventail de cas d'utilisation pour la génération de texte. Utilisez le terrain de jeu pour tester les modèles prédéfinis prêts à l'emploi, ou créez et hébergez votre propre modèle Llama2 dédié à partir des données de votre entreprise dans des grappes dédiées à l'IA.

Recommandations

Utilisez les recommandations suivantes comme point de départ. Vos exigences peuvent différer de l'architecture décrite ici.
  • Maintenance et haute disponibilité

    Cette architecture de référence utilise presque uniquement les services PaaS gérés par Oracle. Il n'est pas nécessaire d'installer, de corriger, de mettre à jour ou de mettre à niveau le logiciel à l'aide de cette solution.

  • Évolutivité et taille

    Cette architecture de référence utilise les services PaaS et est prête à l'emploi pour la plupart des services qu'elle inclut.

  • Connectivité

    Toutes les connexions dans OCI doivent être établies au moyen d'un réseau privé. Vous pouvez utiliser l'option de points d'extrémité privés pour vous connecter aux services OCI PaaS.

Points à considérer

Tenez compte des points suivants lors du déploiement de cette architecture de référence.

  • Sécurité

    Les grappes d'IA dédiées dans l'IA générative OCI sont des ressources de calcul que vous pouvez utiliser pour héberger des points d'extrémité pour les modèles LLM Llama 2. Les grappes sont dédiées à vos modèles et ne sont pas partagées avec les utilisateurs d'autres locations.

  • Limites de ressources

    Tenez compte des meilleures pratiques, des limites par service et des quotas de compartiment pour votre location.

Informations complémentaires

Consultez ces ressources supplémentaires pour en savoir plus sur les fonctions de cette architecture de référence.

Remerciements

  • Auteur : Pavan Kumar Manuguri