Proyectos
Los proyectos de OCI Generative AI organizan conversaciones, respuestas, archivos y sandboxes en configuraciones compartidas. Configure la retención de datos, la memoria y las redes que utilizan los sandboxes en el proyecto.
Los proyectos están aislados entre sí para soportar los límites de conformidad y gestión del ciclo de vida. Haga referencia al OCID del proyecto en llamadas de API y SDK para aplicar la configuración del proyecto en tiempo de ejecución.
Acerca de los proyectos
Un proyecto es un recurso de OCI que organiza artefactos específicos del agente creados a través del servicio de IA generativa, incluidas respuestas, conversaciones, archivos, contenedores y sandboxes. Los proyectos están aislados entre sí, por lo que no se puede acceder a los artefactos de un proyecto desde otro. Se necesita un proyecto para llamar a la API compatible con OpenAI de OCI para tareas relacionadas con el agente.
Una configuración de proyecto puede incluir:
- Retención de datos para respuestas y conversaciones
- Configuración de memoria a largo plazo
- Configuración de compactación de historial de conversaciones (compactación de memoria a corto plazo)
- Configuración de activación de sandbox y red saliente
- Agrupaciones cálidas que preparan la capacidad para nuevas solicitudes de sandbox
- Al suprimir un proyecto, se suprimen todos los artefactos asociados (respuestas, conversaciones, archivos y contenedores) creados en ese proyecto.
- Las llamadas de API utilizan el OCID del proyecto.
Sandboxes y piscinas calientes
Active sandboxes en un proyecto para ejecutar comandos de shell y código en espacios de trabajo aislados y temporales. Puede crear varios sandboxes en el proyecto y abordar cada sandbox por su ID. Consulte Sandboxes in OCI Generative AI.
Los sandboxes de un proyecto comparten la configuración de red saliente del proyecto y los permisos de OCI otorgados a los sandboxes de ese proyecto. Utilice proyectos independientes o políticas de ámbito adecuado para las cargas de trabajo que necesitan un acceso diferente.
Los grupos cálidos preparan la capacidad inactiva para las nuevas solicitudes de sandbox. Puede configurar agrupaciones al crear un proyecto y verlas en el separador Grupos cálidos del proyecto. Consulte Pools cálidos para sandboxes.
La configuración de retención de respuestas y conversaciones se aplica a esos artefactos. La caducidad del entorno de prueba y la retención de instantáneas se configuran por separado. Consulte Tiempos de ejecución de sandbox y límites de recursos.
Memoria del agente
La memoria del agente permite a los agentes retener y utilizar el contexto entre interacciones. Soporta tanto la memoria a corto plazo dentro de una conversación como la memoria a largo plazo en todas las conversaciones, lo que ayuda a mejorar la continuidad, la relevancia y la eficiencia.
Memoria a corto plazo
La memoria a corto plazo se refiere al contexto de conversación que se lleva a cabo dentro de una conversación en curso. La API de respuestas y la API de conversaciones simplifican la gestión del estado de la conversación, lo que permite interacciones de varios giros.
Memoria a largo plazo
La memoria a largo plazo proporciona un contexto persistente en las conversaciones. Cuando está activado, el servicio extrae información clave de las conversaciones y la almacena para que se pueda recuperar en interacciones futuras dentro del mismo proyecto.
La memoria a largo plazo es útil para escenarios que requieren continuidad entre sesiones, como:
- Recordando preferencias de usuario estables
- Retención del contexto en segundo plano recurrente
- Mantenimiento de la continuidad entre interacciones
Compactación de memoria a corto plazo
A medida que el historial de conversaciones crece, el envío del historial completo puede aumentar el uso y la latencia de los tokens. La compactación de memoria a corto plazo resume y comprime el historial de conversaciones anteriores en una representación más pequeña y estructurada. Esto ayuda a preservar los detalles clave al tiempo que reduce la cantidad de contexto enviado al modelo.
Este enfoque:
- Conserva la información clave de turnos anteriores
- Reduce el uso de tokens para conversaciones largas
- Mejora la latencia al mantener el contexto ligero
Retención de Datos
La retención de datos define cuánto tiempo se mantienen los artefactos de proyecto antes de que se eliminen automáticamente. En los proyectos de IA generativa de OCI, estableces la retención por separado para las respuestas y las conversaciones.
- Retención de respuestas: controla cuánto tiempo se mantienen las respuestas generadas.
- Retención de conversaciones: controla cuánto tiempo se mantienen las conversaciones después de la actualización más reciente.
La configuración de retención le ayuda a controlar la duración del almacenamiento y a alinearse con los requisitos de manejo de datos de su organización.
Límites
Permisos QuickStart
Gestionar
Puede realizar las siguientes tareas para crear, mostrar y utilizar proyectos y gestionar la memoria: