Documentazione dell'infrastruttura Oracle Cloud

Chat in AI generativa OCI

Utilizza i modelli di chat di grandi dimensioni forniti in OCI Generative AI per porre domande e ottenere risposte conversazionali attraverso un chatbot AI.

    1. Nella barra di navigazione della console selezionare un'area con intelligenza artificiale generativa, ad esempio Midwest degli Stati Uniti (Chicago). Vedere quali modelli vengono offerti nella propria area.
    2. Aprire il menu di navigazione e selezionare Analytics e AI. In Servizi AI selezionare AI generativa.
    3. Selezionare un compartimento nel quale si è autorizzati a lavorare. Se il campo di gioco non è visibile, chiedere a un amministratore di dare accesso alle risorse di intelligenza artificiale generativa, quindi tornare AI passi riportati di seguito.
    4. Selezionare Area di riproduzione.
    5. Selezionare Chat.
    6. Selezionare un modello per l'esperienza chat eseguendo una delle azioni riportate di seguito.
      • Nell'elenco Modello selezionare un modello pre-addestrato, ad esempio meta.llama-3.1-70b-instruct, cohere.command-r-08-2024, cohere.command-r-plus-08-2024 o un modello personalizzato. I modelli personalizzati vengono visualizzati come nome del modello (nome endpoint).
      • Selezionare Visualizza dettagli modello, selezionare un modello e quindi Scegli modello.
      Nota

      • Il modello meta.llama-3.1-405b-instruct non è disponibile per l'accesso su richiesta in tutte le aree. Per accedere a questo modello, eseguire una delle seguenti opzioni:

        • Impostazione dell'accesso dedicato: passare a un'area supportata per i cluster dedicati per il modello di chat meta.llama-3.1-405b-instruct. Creare quindi un cluster di hosting e un endpoint per questo modello.
        • Passa a un'area su richiesta: passa all'area Midwest degli Stati Uniti (Chicago) supportata per l'inferenza su richiesta per il modello chat meta.llama-3.1-405b-instruct.

      • Il modello meta.llama-3.2-11b-vision-instruct non è disponibile per l'accesso su richiesta in alcuna area. Per accedere a questo modello, eseguire l'opzione seguente:

      Consulta la documentazione per i costi e gli disattivazione dei moduli per la modalità di servizio su richiesta e dedicata.

    7. Per avviare una conversazione, digitare un prompt o selezionare un esempio dall'elenco Esempio da utilizzare come prompt base o da cui apprendere.
      Per i modelli che accettano immagini come meta.llama-3.2-90b-vision-instruct, è possibile aggiungere un'immagine .png o .jpg con una dimensione massima di 5 MB.
    8. (Facoltativo) Impostare nuovi valori per i parametri. Per i dettagli dei parametri, vedere le definizioni dei parametri selezionare il modello in uso, elencato in Modelli di chat.
    9. Selezionare Sottometti.
    10. Immettere un nuovo prompt o continuare la conversazione in chat, immettere un prompt di follow-up e selezionare Sottometti.
      Importante

      Nel campo di gioco, per i modelli di visione che accettano immagini, effettuare le operazioni riportate di seguito.
      • L'invio di un'immagine senza prompt non funziona. Quando si sottomette un'immagine, è necessario inviare una richiesta relativa all'immagine nella stessa richiesta. È quindi possibile inviare prompt di follow-up e il modello mantiene il contesto della conversazione.
      • Per aggiungere l'immagine e il testo successivi, è necessario cancellare la chat che comporta la perdita del contesto della conversazione precedente a causa della cancellazione della chat.
    11. (Facoltativo) Per modificare le risposte, selezionare Cancella chat, aggiornare i prompt e i parametri e selezionare Sottometti. Ripetere questa operazione finché non si è soddisfatti dell'output.
    12. (Facoltativo) Dopo i flussi di output, rivedere i token di input e di output visualizzati per il prompt.
      • Token di input: numero di token di input utilizzati per generare la risposta, inclusi i token prompt e chat-template (sistema, ruolo/formattazione, schemi di strumenti).
      • Token di output: numero di token di output generati dal modello. Include i token di ragionamento dove segnalati; alcuni modelli come Gemini e xAI escludono i token di ragionamento da questo campo.
    13. (Facoltativo) Per copiare il codice che ha generato l'output, selezionare Visualizza codice, selezionare un linguaggio di programmazione o un framework, selezionare Copia codice, incollare il codice in un file e salvare il file. Assicurarsi che il file mantenga il formato del codice incollato.
      Suggerimento

      Se si utilizza il codice in un'applicazione:

    14. (Facoltativo) Per avviare una nuova conversazione, selezionare Cancella chat.
      Nota

      • Quando si seleziona Cancella chat, la conversazione chat viene cancellata, ma i parametri del modello rimangono invariati ed è possibile continuare a utilizzare le ultime impostazioni applicate.

        Se si passa a una funzione diversa, ad esempio Generazione, e quindi si torna al campo di gioco Chat, i parametri della conversazione chat e del modello vengono ripristinati ai valori predefiniti.

      Scopri i parametri della chat Cohere.

  • Per eseguire la chat, utilizzare l'operazione chat-result nell'interfaccia CLI di inferenza AI generativa.

    Immettere il comando seguente per un elenco di opzioni da utilizzare con l'operazione chat-result.

    oci generative-ai-inference chat-result -h

    Per un elenco completo di parametri e valori per i comandi CLI di OCI Generative AI, vedere Generative AI Inference CLI e Generative AI Management CLI.

  • Eseguire l'operazione Chat per chattare utilizzando i modelli linguistici di grandi dimensioni.

    Per informazioni sull'uso dell'API e sulle richieste di firma, consultare la documentazione relativa all'API REST e le credenziali di sicurezza. Per informazioni sugli SDK, vedere SDK e CLI.