Uso de Compactación de Memoria a Corto Plazo para Conversaciones

En la API Conversations, cuando se activa la compactación de memoria a corto plazo, OCI Generative AI compacta automáticamente el historial de conversaciones anterior en una representación más pequeña a medida que crece la conversación. Esto ayuda a preservar el contexto importante a la vez que reduce el uso y la latencia del token.

Al enviar solicitudes, no es necesario gestionar la compactación. Puede seguir enviando solicitudes con el mismo ID de conversación y el servicio gestiona la compactación.

Ejemplo:

# first turn
response = client.responses.create(
    model="openai.gpt-oss-120b",
    input="I'm planning a team offsite. We prefer outdoor activities, a moderate budget, and vegetarian-friendly food options.",
    conversation=conversation1.id
)

# second turn
response = client.responses.create(
    model="openai.gpt-oss-120b",
    input="We also need the location to be within a two-hour drive from San Francisco.",
    conversation=conversation1.id
)

# third turn
response = client.responses.create(
    model="openai.gpt-oss-120b",
    input="Please avoid destinations that are usually crowded on weekends.",
    conversation=conversation1.id
)

# fourth turn
response = client.responses.create(
    model="openai.gpt-oss-120b",
    input="Now recommend three offsite options based on those preferences.",
    conversation=conversation1.id
)

A medida que crece la conversación, OCI Generative AI puede compactar giros anteriores automáticamente y, al mismo tiempo, preservar los detalles importantes necesarios para las respuestas posteriores.