Procedure ottimali

Questa sezione presenta le best practice essenziali per implementare gli agenti AI aziendali nella produzione.

1. Definire l'ambito dell'agente

Ogni agente di produzione ha bisogno di uno scopo ben definito.

Definire quanto segue per ciascun agente:

  • Obiettivi aziendali
  • Metriche relative ai successi
  • Azioni consentite
  • Azioni vietate
  • Requisiti di approvazione umani
  • Percorsi escalation

Agenti di progettazione per risolvere problemi aziendali specifici piuttosto che fungere da assistenti generici. Agenti più piccoli e specializzati riducono la complessità di convalida, sicurezza, monitoraggio e manutenzione rispetto a un singolo agente monolitico.

Esempio di banca in pratica: Loan Servicing Agent ha come ambito esattamente cinque attività: risposta alle domande relative al saldo del prestito e alla cronologia dei pagamenti, spiegazione dell'idoneità al rifinanziamento, generazione di promemoria di pagamento, creazione di ticket di assistenza e inoltro di richieste di disagio a uno specialista umano. Non può approvare una modifica del prestito, rinunciare a una commissione, modificare una data di scadenza del pagamento o rilasciare fondi. Mantenere l'ambito limitato riduce i rischi operativi e normativi migliorando al contempo l'accuratezza.


Segue la descrizione dell'ambito-example.png
Descrizione dell'ambito dell'illustrazione - example.png

Implementazione della produzione: LangGraph definisce i nodi dedicati per la classificazione degli intenti, il recupero degli account, la ricerca dei criteri, la creazione dei ticket e la consegna umana. L'API di risposta AI di Oracle Enterprise esegue il ragionamento, mentre ogni azione che cambia lo stato viene delegata a un'API aziendale gestita anziché eseguita direttamente dal modello.

2. Crea architetture di agenti modulari

Gli agenti aziendali utilizzano architetture modulari che separano il ragionamento dall'esecuzione.

Di seguito sono riportati i componenti tipici.

  • Interfaccia utente
  • Livello di pianificazione e ragionamento
  • Orchestrazione degli strumenti
  • Connettori aziendali
  • Servizi di memoria
  • Servizi di recupero (RAG)
  • Motore criteri
  • Livello di osservabilità
  • Livello di sicurezza

La separazione delle responsabilità aiuta i team a migliorare i componenti in modo indipendente senza influire sul sistema generale e semplifica i test e il debug.

Esempio di banca in pratica: il flusso di lavoro utilizza fasi indipendenti anziché un prompt di grandi dimensioni: estrarre la richiesta del cliente, recuperare i record relativi a prestiti e conti, controllare i criteri di assistenza applicabili, calcolare eventuali cifre pertinenti (importo dei pagamenti, data di scadenza successiva), redigere una risposta e richiedere l'approvazione umana quando necessario. Il modulo di rilevamento delle frodi e delle difficoltà può essere aggiornato indipendentemente dal modulo di comunicazione con il cliente.


Segue la descrizione dell'immagine architecture-example.png
Descrizione dell'illustrazione architecture-example.png

Implementazione della produzione: LangGraph orchestra ogni fase come nodo isolato. LangChain OCI fornisce connettori riutilizzabili alla piattaforma di assistenza prestiti della banca, mentre l'API di risposta AI di Oracle Enterprise gestisce il ragionamento all'interno di ogni fase in modo indipendente.

3. Implementa una gestione efficace degli strumenti

Un agente è sicuro quanto gli strumenti a cui può accedere.

Definire quanto segue per ogni strumento:

  • Schemi di input espliciti
  • Convalida output
  • Requisiti di autenticazione
  • Regole di autorizzazione
  • Limiti timeout
  • Riprova comportamento
  • Limiti di frequenza
  • Garanzie di idempotenza

Non esporre mai le API senza restrizioni direttamente a un modello linguistico di grandi dimensioni (LLM, large language model). Eseguire invece il wrapping delle API aziendali con interfacce di strumenti controllate che convalidano ogni richiesta prima dell'esecuzione.

Esempio di banca in pratica: l'agente può avviare un "pagamento promemoria" o un "biglietto di servizio", ma non accede direttamente al libro contabile del core banking. Ogni azione passa attraverso uno strumento di manutenzione che convalida l'identità del cliente, conferma che l'account è in regola, controlla che l'azione richiesta sia entro i limiti delle policy e chiama solo allora l'API bancaria di base.


Segue la descrizione della governance-example.png
Descrizione dell'illustrazione governance-example.png

Implementazione della produzione: LangChain OCI espone lo strumento di gestione dei servizi come funzione strutturata con uno schema di input/output rigoroso. Oracle Identity verifica l'autorizzazione del chiamante prima che lo strumento venga eseguito e ogni richiamo, sia riuscito che rifiutato, viene registrato per l'audit.

4. Applicazione di una gestione efficace delle identità e degli accessi

Gli agenti di produzione devono operare in base ai criteri di identità aziendali.

Le procedure ottimali includono:

  • Accesso con privilegi minimi
  • Credenziali di breve durata
  • OAuth o provider di identità aziendali
  • Controllo dell'accesso basato sui ruoli (RBAC)
  • Gestione dei segreti attraverso vault sicuri
  • Log di audit completo

Gli agenti non devono mai ricevere autorizzazioni più ampie degli utenti umani che rappresentano.

Esempio di banca in pratica: un responsabile del prestito che utilizza l'agente può visualizzare e agire solo sui conti all'interno del portafoglio assegnato. Quando l'agente esegue l'autenticazione per conto di tale funzionario, eredita le stesse autorizzazioni e non più. Se il funzionario chiede informazioni su un account al di fuori del proprio portafoglio, lo strumento sottostante rifiuta la richiesta prima che il modello generi una risposta.


Segue la descrizione dell'immagine iam-example.png
Descrizione dell'illustrazione iam-example.png

Implementazione della produzione: Oracle Identity Cloud Service (IDCS) esegue l'autenticazione di ogni sessione utente. Ogni chiamata di strumento viene controllata in base all'identità, al ruolo e alla proprietà della risorsa dell'utente. Questo controllo garantisce che l'agente non superi mai i diritti di accesso propri del dipendente richiedente.

5. Usa la Retrieval-Augmented Generation (RAG) per la conoscenza aziendale

Gli agenti aziendali utilizzano il recupero piuttosto che affidarsi esclusivamente all'addestramento del modello.

Attenersi alle seguenti procedure:

  • Memorizza le conoscenze aziendali negli indici ricercabili
  • Recupera dinamicamente documenti pertinenti
  • Applica autorizzazioni documento durante il recupero
  • Cita le fonti quando possibile
  • Conoscenza aziendale della versione

Un'architettura RAG ben progettata migliora la precisione, riduce le allucinazioni e garantisce che le risposte rimangano aggiornate senza riqualificare i modelli.

Esempio di banca in pratica: quando un cliente chiede informazioni sull'idoneità al rifinanziamento, l'agente recupera il manuale dei criteri di manutenzione corrente, il foglio tassi applicabile e le informazioni normative pertinenti piuttosto che fare affidamento sui dati di formazione del modello sottostante. Ogni risposta cita la sezione politica specifica che la supporta. Quando la banca aggiorna i termini di rifinanziamento, l'agente riflette la modifica.


Segue la descrizione di rag-example.png
Descrizione dell'illustrazione rag-example.png

Implementazione della produzione: LangGraph include un nodo di recupero dedicato. I manuali dei criteri e i fogli tariffari vengono suddivisi in chunk e incorporati direttamente in Oracle AI Database 26ai utilizzando il tipo di dati VECTOR nativo, con indici HNSW per una ricerca rapida di somiglianza e indici vettoriali ibridi che uniscono la corrispondenza semantica e full-text per ricerche precise dei criteri. I risultati dei filtri di sicurezza a livello di riga prima del recupero includono solo i documenti che l'utente può visualizzare e LangChain OCI esegue query su questa area di memorizzazione in modo che l'API di risposta AI di Oracle Enterprise combini i passaggi filtrati dalle autorizzazioni con la domanda del cliente per produrre una risposta basata e citabile.

6. Progettazione per approvazione Human-in-the-Loop

Alcune decisioni richiedono l'approvazione umana.

Richiedere l'approvazione umana esplicita per le operazioni ad alto rischio, tra cui:

  • Transazioni finanziarie
  • Comunicazioni con i clienti
  • Modifiche all'infrastruttura
  • Distribuzioni di produzione
  • Eliminazione dati
  • Azioni legali o di conformità

I flussi di lavoro di approvazione riducono i rischi operativi consentendo al contempo l'automazione per le attività a basso rischio.

Esempio di banca in pratica: l'agente può inviare automaticamente un promemoria di pagamento o generare un preventivo di liquidazione, ma qualsiasi richiesta che implichi un alloggio con problemi di salute, ad esempio un differimento del pagamento, una rinuncia a una commissione o un programma di rimborso modificato, pause e instrada a uno specialista del prestito umano. Lo specialista riceve un riepilogo della situazione del cliente, della cronologia del conto e dei suggerimenti dell'agente prima di decidere.


Segue la descrizione dell'immagine cldl-exampe.png
Descrizione dell'illustrazione hitl-exampe.png

Implementazione della produzione: i passi di approvazione vengono implementati come checkpoint LangGraph. Lo stato del flusso di lavoro viene mantenuto finché un essere umano non risponde. Lo stato persistente consente al processo di riprendere il punto in cui è stato sospeso, anche se richiede ore o giorni.

7. Dai la priorità a affidabilità e resilienza

Le implementazioni aziendali affidabili anticipano i guasti piuttosto che assumere le condizioni ideali.

Agenti di progettazione per gestire in modo esteso i seguenti errori:

  • Errori API
  • Indisponibilità di rete
  • Errori parziali degli strumenti
  • Limitazione di frequenza
  • Limitazioni della finestra di contesto
  • Indisponibilità del modello
  • Risposte non valide

Le pratiche di progettazione consigliate includono interruttori di circuito, criteri di nuovi tentativi con backoff esponenziale, timeout delle richieste, modelli di fallback, elaborazione basata su code, code di messaggi non recapitabili e checkpoint di flussi di lavoro con tempi di esecuzione lunghi. I sistemi resilienti si ripristinano automaticamente senza richiedere l'intervento dell'operatore.

Esempio di banca in pratica: durante una richiesta di manutenzione di routine, l'API di core banking scade e il servizio di identità diventa brevemente non disponibile. Anziché terminare la sessione del cliente, l'agente esegue nuovi tentativi con backoff esponenziale, torna a una vista di sola lettura memorizzata nella cache dell'account per le domande informative e riprende automaticamente tutte le funzionalità quando i servizi vengono ripristinati. Questo approccio riduce al minimo l'interruzione del servizio al cliente.


Segue la descrizione dell'immagine affidabili-example.png
Descrizione dell'illustrazione affidabilità-example.png

Implementazione della produzione: LangGraph il checkpoint preserva lo stato del flusso di lavoro tra gli errori. La distribuzione AI di Oracle Enterprise ridimensiona automaticamente gli endpoint di inferenza sotto carico e i connettori API aziendali implementano criteri di nuovi tentativi e interruttori di circuito per impostazione predefinita.

8. Definizione di osservabilità completa

I sistemi AI aziendali richiedono lo stesso livello di osservabilità dei sistemi software distribuiti.

Acquisisci prompt, risposte, chiamate agli strumenti, latenza, consumo di token, costi, tassi di successo, tassi di errore, approvazioni umane, feedback degli utenti e tracce di esecuzione. Il tracing distribuito tra i flussi di lavoro degli agenti semplifica la risoluzione dei problemi e l'ottimizzazione delle prestazioni.

Esempio di banca in pratica: i clienti iniziano a riportare risposte più lente dall'agente di assistenza. Piuttosto che indovinare, gli ingegneri ispezionano le tracce distribuite e trovano la suddivisione: risposta del modello 1,1 secondi, recupero dei criteri 140 ms, ricerca del core banking 4,6 secondi, controllo dell'identità 250 ms. Le tracce identificano il collo di bottiglia come una lenta chiamata al servizio bancario di base, non l'agente stesso.


Segue la descrizione dell'obosservabilità-example.png
Descrizione dell'illustrazione observability-example.png

Implementazione della produzione: ogni nodo LangGraph emette trace, metriche e log. OpenTelemetry mette in correlazione il percorso completo delle richieste attraverso LangGraph, l'API di risposta AI di Oracle Enterprise, i connettori aziendali, l'indice di recupero e la distribuzione AI di Oracle Enterprise. Questa correlazione offre ai team operativi una visibilità end-to-end completa.

9. Valuta continuamente

Gli agenti di produzione richiedono una valutazione continua.

Gestisci set di dati di valutazione che coprono scenari aziendali, casi perimetrali, casi di errore, prompt avversari, attacchi alla sicurezza e test di regressione. Incorpora valutazioni automatizzate nelle pipeline CI/CD in modo che ogni aggiornamento di prompt, flusso di lavoro o modello venga convalidato prima del rilascio.

Esempio di banca in pratica: prima che qualsiasi modello o aggiornamento rapido raggiunga l'agente di gestione prestiti, viene eseguito su una suite di valutazione fissa: 2.000 conversazioni di manutenzione cronologica, 500 casi perimetrali normativi (ad esempio, divulgazioni richieste ai sensi della legge sui prestiti), 200 tentativi di inserimento rapido incorporati nei documenti caricati e un benchmark di precisione della conformità. Vengono promosse solo le versioni che soddisfano o superano la baseline di produzione corrente.


Segue la descrizione di assess-example.png
Descrizione dell'illustrazione assess-example.png

Implementazione della produzione: le pipeline CI/CD eseguono automaticamente la suite di valutazione in ogni modifica. Modifiche rapide, modifiche al flusso di lavoro e aggiornamenti del modello richiedono il passaggio di questi benchmark di regressione prima che la distribuzione sia autorizzata.

10. Proteggiti da iniezione rapida e perdita di dati

L'iniezione rapida rimane uno dei rischi più significativi nei sistemi agentici.

Le strategie di mitigazione includono la convalida dell'input, la sanificazione tempestiva, l'isolamento degli strumenti, la separazione del contesto, il filtro dell'output, la redazione dei dati sensibili e l'applicazione dei criteri prima dell'esecuzione. Gli agenti non devono mai seguire le istruzioni recuperate da documenti esterni o contenuti Web senza convalida.

Esempio di banca in pratica: un cliente carica un documento di supporto per una richiesta di rifinanziamento. I metadati del documento contengono testo nascosto che indica al sistema di approvare immediatamente la richiesta. Poiché il sistema considera i documenti caricati come dati non attendibili, l'agente ignora l'istruzione incorporata e continua a valutare la richiesta solo rispetto ai criteri di assistenza effettivi della banca.


Segue la descrizione di secure-example.png
Descrizione dell'illustrazione secure-example.png

Implementazione della produzione: LangGraph conserva le istruzioni di sistema, l'input dell'utente, i documenti recuperati e i risultati degli strumenti in canali separati. La convalida dei criteri viene eseguita prima di ogni richiamo dello strumento. Questa difesa stratificata impedisce alle istruzioni iniettate di influenzare un'azione sensibile. Come controllo aggiuntivo sotto il livello dell'applicazione, Oracle Deep Data Security applica criteri dichiarativi a livello di riga, colonna e cella direttamente in Oracle AI Database 26ai. Anche se un'istruzione iniettata fa sì che l'agente emetta una query non autorizzata, il database utilizza l'identità e il contesto di runtime propagati del funzionario per restituire solo i dati che il funzionario ha il diritto di vedere e mascherare tutto il resto come NULL.

11. Gestisci contesto e memoria

Considera la memoria come dati aziendali.

Le procedure ottimali includono la separazione della memoria di sessione dalla memoria a lungo termine, la cifratura della memoria memorizzata, la definizione dei criteri di conservazione, il supporto dell'eliminazione della memoria, l'aggiornamento della memoria di controllo delle versioni ed evitare la memorizzazione di informazioni personali non necessarie. Solo informazioni persistenti che migliorano le prestazioni future delle attività rispettando le normative sulla privacy.

Esempio di banca in pratica: Loan Servicing Agent inizializza una singola istanza OracleAgentMemory supportata dal connection pool di Oracle AI Database della banca. Ogni interazione con il cliente diventa un thread, applicato all'indirizzo user_id del cliente.

  • Quando un cliente dice qualcosa come "Preferirei essere contattato dal testo in futuro", l'agente chiama thread.add_messages(...), che scrive la conversazione raw nel database ed estrae automaticamente un Fact durevole, la preferenza preferita-contact-channel, senza una fase di estrazione separata.
  • Per informazioni l'agente conserva al di fuori del normale flusso conversazionale (ad esempio, "il caso di difficoltà del cliente è stato escalato a uno specialista il 3 luglio"), scrive esplicitamente utilizzando thread.add_memory(...).
  • In una chiamata successiva, l'agente recupera la cronologia pertinente con memory.search(query=..., scope=SearchScope(user_id=...)). Questo ambito mantiene la memoria partizionata per cliente. La sessione agente di un responsabile del prestito può eseguire ricerche solo nell'ambito per il quale è autorizzata (a livello di agente, utente o team), con autorizzazioni ereditate dall'identità aziendale del responsabile.

Questo design è mappato alla divisione richiesta dalla banca tra la memoria di sessione e la memoria a lungo termine: la cronologia dei messaggi raw funziona come sessione o memoria di lavoro, mentre i fatti e lo stato estratti funzionano come memoria durevole e cross-session. La memoria durevole aiuta l'agente a riconoscere le preferenze di un cliente di ritorno senza chiedere di nuovo. L'agente può anche utilizzare Similarity per contrassegnare una nuova richiesta che assomiglia a un caso di disagio precedente senza conservare i numeri di conto o i dati di autenticazione che la banca non desidera che un agente persista.


Segue la descrizione dell'immagine memory-example.png
Descrizione dell'illustrazione memory-example.png

Implementazione della produzione: la sessione e la memoria a lungo termine sono entrambi attivi in Oracle AI Database 26ai. I fact e lo stato estratti vengono memorizzati utilizzando il tipo di dati VECTOR nativo e indicizzati con indici vettoriali HNSW. Elastic Vector Memory mantiene il recupero veloce man mano che la memoria cresce. Gli indici vettoriali ibridi combinano la ricerca semantica e full-text per alimentare le ricerche di somiglianza, con precisione di ricerca ottimizzabile in percentuale. Governed Access utilizza la sicurezza del database integrata di Oracle, tra cui crittografia, mascheramento dei dati e audit delle attività. Le autorizzazioni vengono ereditate dallo stesso sistema di identità descritto nella Sezione 4. La conservazione viene eseguita come processo del ciclo di vita pianificato che rimuove la memoria oltre la finestra normativa della banca.

12. Crea guardrail AI responsabili

Le implementazioni aziendali richiedono più livelli di governance dell'AI.

Utilizzare custodie per affrontare contenuti dannosi, rilevamento di pregiudizi, filtraggio della tossicità, requisiti di conformità, protezione della privacy, proprietà intellettuale e obblighi normativi. Mantenere la supervisione umana per situazioni eccezionali.

Esempio di banca in pratica: il prestito è un'attività fortemente regolamentata, quindi l'agente esegue ogni risposta rivolta al cliente attraverso un guardrail di conformità prima che venga inviato. Il guardrail controlla la disponibilità di informazioni regolamentari necessarie (come un linguaggio di prestito equo) e schermi per un linguaggio che potrebbe essere interpretato come una dichiarazione discriminatoria su una classe protetta. Inoltre, impedisce all'agente di fare qualsiasi dichiarazione che assomigli a una decisione di credito vincolante e redatta le informazioni di identificazione personale prima che le informazioni siano registrate o citate in una risposta.


Segue la descrizione di gurdrails-example.png
Descrizione dell'illustrazione gurdrails-example.png

Implementazione della produzione: un motore di criteri si trova tra il livello di ragionamento e l'output rivolto al cliente e applica le regole di compliance e intelligenza artificiale responsabile come checkpoint finale. Il motore dei criteri blocca automaticamente le violazioni e le instrada a un revisore della conformità anziché presentarle al cliente.

13. Ottimizza costi e prestazioni

Gli agenti di produzione bilanciano la capacità con l'efficienza operativa.

Le tecniche di ottimizzazione includono l'instradamento dei modelli, l'inserimento delle risposte nella cache, l'inserimento nella cache semantica, l'ottimizzazione dei token, la compressione del contesto, l'inferenza in batch, le risposte in streaming e la selezione dinamica dei modelli. Non tutte le richieste richiedono il modello più grande disponibile; la selezione del modello appropriato per ogni attività può ridurre la latenza e i costi operativi.

Esempio di banca in pratica: una semplice domanda "Qual è la mia prossima data di scadenza del pagamento" viene instradata a un modello più piccolo e a bassa latenza supportato da una cache semantica, perché la risposta è una ricerca semplice. Una domanda di idoneità al rifinanziamento sfumata, che richiede un ragionamento in più fasi tra i documenti criteri, viene indirizzata a un modello più ampio. Questo routing dinamico ha ridotto il costo medio della risposta dell'agente di oltre la metà senza compromettere la precisione delle richieste complesse.


Segue la descrizione di ottimizzare-example.png
Descrizione dell'illustrazione ottimizzare-example.png

Implementazione della produzione: Oracle Enterprise AI Deployment supporta più livelli di modello distribuiti contemporaneamente e il nodo di instradamento di LangGraph seleziona il livello appropriato in base alla classificazione degli intenti, con una cache semantica di fronte AI tipi di richiesta di volume più elevato e di complessità più bassa.

14. Implementare procedure di distribuzione sicure

Considera le distribuzioni degli agenti come release software.

Le procedure consigliate includono prompt di controllo delle versioni e flussi di lavoro, distribuzioni canary, distribuzioni blu/verdi, flag delle funzioni, meccanismi di rollback, gestione della configurazione e Infrastructure as Code (IaC). Rivedere ed eseguire il test delle modifiche dei prompt utilizzando gli stessi processi del codice applicazione.

Esempio di banca in pratica: quando la banca introduce una nuova funzionalità di rifinanziamento-raccomandazione, non rilascia immediatamente la funzionalità a livello bancario. La banca distribuisce la capacità in fasi: ai funzionari di prestito interni solo nella settimana 1, al 5% dei clienti nella settimana 2, al 25% dei clienti nella settimana 3 e a tutti i clienti nella settimana 4. La banca monitora i tassi di errore in ogni fase e esegue automaticamente il rollback della funzionalità se i tassi superano una soglia definita.


Segue la descrizione della distribuzione-example.png
Descrizione della distribuzione dell'illustrazione-example.png

Implementazione della produzione: Oracle Enterprise AI Deployment gestisce gli endpoint dei modelli con controllo delle versioni, IaC esegue il provisioning di ambienti coerenti tra sviluppo, test e produzione e i flag delle funzioni controllano il rollout indipendentemente dalla distribuzione del modello di base.

15. Misura i risultati aziendali

Le metriche tecniche da sole sono insufficienti.

Monitora KPI incentrati sul business come il tasso di completamento delle attività, il tasso di intervento umano, la soddisfazione dei clienti, i tempi di risoluzione, i risparmi sui costi operativi, i miglioramenti della produttività, l'accuratezza e il tasso di compliance. Queste metriche dimostrano il valore aziendale e guidano gli sforzi di miglioramento continuo.

Esempio di banca nella pratica: sei mesi dopo il lancio, la banca tiene traccia dei risultati misurabili anziché della sola accuratezza del modello.

Indicatore prestazioni chiave Prima dell'agente Dopo agente
Tempo medio di soluzione 18 minuti 5 minuti
Risoluzione al primo contatti 62% 87%
Escalation umana 45% 14%
Soddisfazione cliente 4.1/5 4,7/5
Costo per interazione assistenza $8,4 $2,75

Questi risultati dimostrano un valore di business misurabile, non solo una performance tecnica.

Implementazione della produzione: OpenTelemetry le metriche vengono combinate con gli indicatori KPI aziendali ricavati dai sistemi CRM e di servizio prestiti della banca. I dashboard di progettazione mettono in correlazione indicatori tecnici come latenza, uso dei token e tasso di errori degli strumenti con risultati aziendali come i tempi di risoluzione e la soddisfazione del cliente. Questa correlazione consente un'ottimizzazione continua basata su un impatto operativo reale.