Documentazione dell'infrastruttura Oracle Cloud

Selezione dei modelli negli agenti AI generativa

Il servizio OCI Generative AI Agents supporta la selezione dei modelli, in cui puoi selezionare un modello linguistico di grandi dimensioni (LLM, large language model) come LLM di instradamento per il tuo agente durante la creazione o la modifica. Puoi scegliere tra modelli on-demand ospitati nel servizio OCI Generative AI o creare e utilizzare endpoint cluster AI dedicati per i modelli supportati.

La selezione del modello offre la flessibilità necessaria per ottimizzare le prestazioni dell'agente in base al carico di lavoro (ad esempio, per gli strumenti RAG e SQL).

Come selezionare un modello

Quando si crea o modifica un agente in OCI Console, andare alla sezione Selezione modello sotto la configurazione dell'agente.

  1. Selezionare il tipo LLM di instradamento:

    • È possibile scegliere tra le opzioni riportate di seguito.
      • Predefinito: utilizza il modello standard fornito dal servizio Agenti AI generativa (Llama 3.3 70B). Questo è adatto per agenti generici senza necessità di modelli personalizzati.
      • Modello AI generativa: scegli tra modelli on-demand ospitati direttamente nel servizio OCI Generative AI.
      • Endpoint AI generativa: selezionare uno dei modelli ospitati su endpoint cluster AI dedicati nel servizio OCI Generative AI.

  2. Selezionare un modello o un endpoint specifico:

    • Se è stato selezionato Modello AI generativa o Endpoint AI generativa dalla lista, la console visualizza una lista di opzioni disponibili. Sfogliare e selezionare il modello o l'endpoint preferibile.
    • La lista viene popolata in base ai modelli/endpoint disponibili della tenancy e alle autorizzazioni IAM

  3. Aggiorna iperparametri predefiniti:

    • Rivedere i valori predefiniti per gli iperparametri del modello.
    • Facoltativamente, aggiornare uno qualsiasi di questi iperparametri.
Suggerimento

  • È possibile utilizzare questi modelli quando si aggiungono strumenti RAG, SQL e Agent.
  • Per visualizzare ulteriori informazioni su questi modelli, abilitare il trace quando si crea un endpoint per questo agente.
  • Se l'elenco non viene compilato, vedere quale criterio è necessario aggiungere dagli esempi nella pagina Accesso utente a selezione modello negli agenti.

Modelli supportati

Modelli supportati e loro Hyperparameters
Modelli che è possibile selezionare Iperparametri che puoi aggiornare
  • Numero massimo di token di output
  • Temperatura
  • Top p
  • Top k
  • Penalità di frequenza
  • Penalità di presenza
  • Valore iniziale
  • Numero massimo di token di output
  • Temperatura
  • Top p
  • Penalità frequenza
  • Penalità presenza
  • Numero massimo di token di output
  • Temperatura
  • Top p
  • Penalità di frequenza
  • Penalità di presenza

Aree supportate

Sono supportate le seguenti aree:

  • Brasile (Est) - San Paolo
  • Germania (Centro) - Francoforte
  • Giappone centrale (Osaka)
  • Regno Unito (Sud) - Londra
  • Stati Uniti (Est) - Ashburn
  • Stati Uniti (Midwest) - Chicago
  • Stati Uniti (Ovest) - Phoenix

Per confermare le aree utilizzabili di un modello per la funzione di selezione del modello agenti, eseguire i task riportati di seguito.

  1. Nella pagina Modelli per area della documentazione sull'intelligenza artificiale generativa, selezionare uno dei modelli supportati elencati nella sezione Modelli supportati.
  2. Selezionare un'area per il modello visualizzata sia nelle aree disponibili del modello sia nelle sette aree supportate precedenti.
  3. Verificare se il modello è disponibile nella modalità desiderata (on-demand o dedicata).

    Per l'accesso ai modelli in modalità dedicata, sono supportati solo gli endpoint pubblici.