Memoria del agente
La memoria del agente permite a los agentes retener y utilizar el contexto entre interacciones. Admite tanto la memoria a corto plazo dentro de una conversación como la memoria a largo plazo en todas las conversaciones, lo que ayuda a mejorar la continuidad, la relevancia y la eficiencia.
Memoria a corto plazo
La memoria a corto plazo se refiere al contexto de conversación que se lleva a cabo dentro de una conversación en curso. La API de respuestas y la API de conversaciones simplifican la gestión del estado de la conversación, lo que permite interacciones de varios giros.
Memoria a largo plazo
La memoria a largo plazo proporciona un contexto persistente en las conversaciones. Cuando está activado, el servicio extrae información clave de las conversaciones y la almacena para que se pueda recuperar en interacciones futuras dentro del mismo proyecto.
La memoria a largo plazo es útil para escenarios que requieren continuidad entre sesiones, como:
- Recordando preferencias de usuario estables
- Retención del contexto en segundo plano recurrente
- Mantenimiento de la continuidad entre interacciones
Compactación de memoria a corto plazo
A medida que el historial de conversaciones crece, el envío del historial completo puede aumentar el uso y la latencia de los tokens. La compactación de memoria a corto plazo resume y comprime el historial de conversaciones anteriores en una representación más pequeña y estructurada. Esto ayuda a preservar los detalles clave al tiempo que reduce la cantidad de contexto enviado al modelo.
Este enfoque:
- Conserva la información clave de turnos anteriores
- Reduce el uso de tokens para conversaciones largas
- Mejora la latencia al mantener el contexto ligero