Projets
Les projets d'IA générative d'OCI organisent les conversations, les réponses, les fichiers et les bacs à sable sous des paramètres partagés. Configurer la conservation des données, la mémoire et le réseau utilisés par les bacs à sable dans le projet.
Les projets sont isolés les uns des autres pour soutenir la gestion du cycle de vie et les limites de conformité. Référencez l'OCID du projet dans les appels d'API et de trousse SDK pour appliquer les paramètres du projet lors de l'exécution.
À propos des projets
Un projet est une ressource OCI qui organise les artefacts propres à l'agent créés au moyen du service d'intelligence artificielle générative, notamment les réponses, les conversations, les fichiers, les conteneurs et les bacs à sable. Les projets étant isolés les uns des autres, les artefacts d'un projet ne sont pas accessibles à partir d'un autre projet. Un projet est requis pour appeler l'API compatible OCI OpenAI pour les tâches liées à l'agent.
Un paramètre de projet peut inclure :
- Conservation des données pour les réponses et les conversations
- Paramètres de mémoire à long terme
- Paramètres de compactage de l'historique de conversation (compaction de mémoire à court terme)
- Paramètres d'activation du bac à sable et du réseau sortant
- Groupes chauds qui préparent la capacité pour les nouvelles demandes de bac à sable
- La suppression d'un projet supprime tous les artefacts associés (réponses, conversations, fichiers et conteneurs) créés dans ce projet.
- Les appels d'API utilisent l'OCID du projet.
Bacs à sable et groupes chauds
Permettre aux bacs à sable d'un projet d'exécuter des commandes de code et d'interpréteur de commandes dans des espaces de travail temporaires isolés. Vous pouvez créer plusieurs bacs à sable dans le projet et traiter chaque bac à sable par son ID. Voir Bacs à sable dans le service d'intelligence artificielle générative pour OCI.
Les bacs à sable d'un projet partagent la configuration de réseau sortant du projet et les autorisations OCI accordées aux bacs à sable à partir de ce projet. Utiliser des projets distincts ou des politiques ayant une portée appropriée pour les charges de travail nécessitant un accès différent.
Les groupes chauds préparent la capacité d'inactivité pour les nouvelles demandes de bac à sable. Vous pouvez configurer des groupes lors de la création d'un projet et les voir dans l'onglet Groupes chauds du projet. Voir Groupes chauds pour les bacs à sable.
Les paramètres de conservation des réponses et des conversations s'appliquent à ces artefacts. L'expiration du bac à sable et la conservation des instantanés sont configurées séparément. Voir Exécutions dans le bac à sable et limites de ressources.
Mémoire de l'agent
La mémoire d'agent permet aux agents de conserver et d'utiliser un contexte dans toutes les interactions. Il prend en charge à la fois la mémoire à court terme dans une conversation et la mémoire à long terme dans toutes les conversations, ce qui améliore la continuité, la pertinence et l'efficacité.
Mémoire à court terme
La mémoire à court terme fait référence au contexte de conversation reporté dans une conversation en cours. L'API Responses et l'API Conversations simplifient la gestion de l'état des conversations, ce qui permet des interactions multitours.
Mémoire à long terme
La mémoire à long terme fournit un contexte persistant dans toutes les conversations. Lorsque cette option est activée, le service extrait les informations clés des conversations et les stocke afin qu'elles puissent être rappelées lors des interactions futures dans le même projet.
La mémoire à long terme est utile pour les scénarios nécessitant une continuité entre les sessions, tels que :
- Mémoriser des préférences utilisateur stables
- Conserver le contexte d'arrière-plan récurrent
- Maintenir la continuité entre les interactions
Compaction mémoire à court terme
À mesure que l'historique des conversations augmente, l'envoi de l'historique complet peut augmenter l'utilisation et la latence des jetons. Le compactage de la mémoire à court terme résume et comprime l'historique des conversations précédentes en une représentation plus petite et structurée. Cela permet de conserver les détails clés tout en réduisant la quantité de contexte envoyée au modèle.
Cette approche :
- Conserve les informations clés des tours précédents
- Réduit l'utilisation du jeton pour les conversations longues
- Améliore la latence en maintenant le contexte léger
Conservation des données
La conservation des données définit la durée de conservation des artefacts de projet avant leur suppression automatique. Dans les projets OCI Generative AI, vous définissez la conservation séparément pour les réponses et les conversations.
- Conservation des réponses : Contrôle la durée de conservation des réponses générées.
- Conservation des conversations : Contrôle la durée de conservation des conversations après la dernière mise à jour.
Les paramètres de conservation vous aident à contrôler la durée du stockage et à vous aligner sur les exigences de traitement des données de votre organisation.
Limites
Autorisations QuickStart
Gérer
Vous pouvez effectuer les tâches suivantes pour créer, répertorier et utiliser des projets et gérer la mémoire :