Documentazione dell'infrastruttura Oracle Cloud

Progetti

I progetti AI generativa OCI organizzano conversazioni, risposte, file e sandbox in impostazioni condivise. Configura la conservazione dei dati, la memoria e il networking utilizzati dalle sandbox nel progetto.

I progetti sono isolati l'uno dall'altro per supportare la gestione del ciclo di vita e i limiti di compliance. Fare riferimento all'OCID del progetto nelle chiamate API e SDK per applicare le impostazioni del progetto in runtime.

Informazioni su Projects

Un progetto è una risorsa OCI che organizza artifact specifici dell'agente creati tramite il servizio di intelligenza artificiale generativa, tra cui risposte, conversazioni, file, container e sandbox. I progetti sono isolati l'uno dall'altro, pertanto gli artifact di un progetto non sono accessibili da un altro progetto. È necessario un progetto per chiamare l'API compatibile con OCI OpenAI per i task relativi all'agente.

Un'impostazione di progetto può includere:

  • Conservazione dei dati per risposte e conversazioni
  • Impostazioni memoria a lungo termine
  • Impostazioni compattazione cronologia conversazioni (compattazione memoria a breve termine)
  • Impostazioni di abilitazione sandbox e networking in uscita
  • Pool caldi che preparano la capacità per le nuove richieste sandbox
  • L'eliminazione di un progetto comporta l'eliminazione di tutti gli artifact associati (risposte, conversazioni, file e contenitori) creati all'interno del progetto.
  • Le chiamate API utilizzano l'OCID progetto.

Sandbox e piscine calde

Consente alle sandbox di un progetto di eseguire comandi di codice e shell in aree di lavoro temporanee e isolate. È possibile creare più sandbox nel progetto e indirizzare ogni sandbox in base al relativo ID. Consulta Sandbox in OCI Generative AI.

Le sandbox di un progetto condividono la configurazione di rete in uscita del progetto e le autorizzazioni OCI concesse alle sandbox di tale progetto. Utilizza progetti separati o criteri definiti in modo appropriato per carichi di lavoro che richiedono un accesso diverso.

I pool caldi preparano la capacità inattiva per le nuove richieste sandbox. È possibile configurare i pool durante la creazione di un progetto e visualizzarli nella scheda Pool caldi del progetto. Vedere Warm pool per sandbox.

Le impostazioni di conservazione delle risposte e delle conversazioni si applicano a tali artifact. La scadenza della sandbox e la conservazione degli snapshot vengono configurate separatamente. Vedere Limiti delle risorse e dei runtime sandbox.

Memoria agente

La memoria agente consente agli agenti di conservare e utilizzare il contesto tra le interazioni. Supporta sia la memoria a breve termine all'interno di una conversazione che la memoria a lungo termine nelle conversazioni, contribuendo a migliorare la continuità, la pertinenza e l'efficienza.

Memoria a breve termine

La memoria a breve termine si riferisce al contesto di conversazione portato avanti in una conversazione in corso. L'API Responses e Conversations semplifica la gestione dello stato delle conversazioni, consentendo interazioni in più turni.

Memoria a lungo termine

La memoria a lungo termine fornisce un contesto persistente nelle conversazioni. Se abilitato, il servizio estrae le informazioni chiave dalle conversazioni e le memorizza in modo che possano essere richiamate nelle interazioni future all'interno dello stesso progetto.

La memoria a lungo termine è utile per scenari che richiedono continuità tra le sessioni, ad esempio:

  • Memorizzazione delle preferenze utente stabili
  • Mantieni contesto background ricorrente
  • Mantenimento della continuità tra le interazioni

Compattazione memoria a breve termine

Man mano che la cronologia delle conversazioni aumenta, l'invio della cronologia completa può aumentare l'uso e la latenza del token. La compattazione della memoria a breve termine riassume e comprime la cronologia delle conversazioni precedenti in una rappresentazione più piccola e strutturata. Ciò consente di conservare i dettagli chiave riducendo al contempo la quantità di contesto inviata al modello.

Questo approccio:

  • Mantiene le informazioni chiave dai turni precedenti
  • Riduce l'uso dei token per conversazioni lunghe
  • Migliora la latenza mantenendo il contesto leggero

Conservazione dati

La conservazione dei dati definisce il tempo di conservazione degli artifact del progetto prima che vengano rimossi automaticamente. Nei progetti di OCI Generative AI, puoi impostare la fidelizzazione separatamente per le risposte e le conversazioni.

  • Conservazione delle risposte: controlla il tempo di conservazione delle risposte generate.
  • Conservazione delle conversazioni: controlla il tempo di conservazione delle conversazioni dopo l'aggiornamento più recente.

Le impostazioni di conservazione ti aiutano a controllare la durata dello storage e ad allinearti ai requisiti di gestione dei dati della tua organizzazione.

Autorizzazioni QuickStart

  1. Aggiungere il criterio IAM minimo necessario per ottenere un OCID progetto. 
    allow group <your-group-name> to use generative-ai-project 
in compartment <your-compartment>
  2. (Facoltativo) Invece dell'autorizzazione precedente, se è necessario creare ed eliminare progetti, aggiungere il criterio seguente: 
    allow group <your-group-name> to manage generative-ai-project 
in compartment <your-compartment>

    Per istruzioni, vedere Policy IAM per OCI Generative AI.