Documentazione di Oracle Cloud Infrastructure

Chat nell'AI generativa OCI

Utilizza i modelli di chat di grandi dimensioni forniti nell'AI generativa OCI per porre domande e ottenere risposte conversazionali tramite un chatbot AI.

    1. Nella barra di navigazione della console selezionare un'area con intelligenza artificiale generativa, ad esempio Midwest degli Stati Uniti (Chicago) o Sud del Regno Unito (Londra). Vedere quali modelli vengono offerti nella propria area.
    2. Aprire il menu di navigazione e selezionare Analytics & AI. In Servizi AI, selezionare AI generativa.
    3. Selezionare un compartimento in cui si è autorizzati a lavorare. Se l'area di gioco non è disponibile, chiedere a un amministratore di dare l'accesso alle risorse dell'intelligenza artificiale generativa, quindi tornare AI passi riportati di seguito.
    4. Selezionare Suolo di gioco.
    5. Selezionare Chat.
    6. Selezionare un modello per l'esperienza di chat eseguendo una delle azioni riportate di seguito.
      • Nell'elenco Modello selezionare un modello pre-addestrato, ad esempio meta.llama-3.1-70b-instruct, cohere.command-r-08-2024, cohere.command-r-plus-08-2024 o un modello personalizzato. I modelli personalizzati vengono visualizzati come nome modello (nome endpoint).
      • Selezionare Visualizza dettagli modello, selezionare un modello, quindi selezionare Scegli modello.
      Nota

      • Il modello meta.llama-3.1-405b-instruct non è disponibile per l'accesso su richiesta in tutte le aree. Per accedere a questo modello, eseguire una delle seguenti opzioni:

        • Impostazione dell'accesso dedicato: passare a un'area supportata per i cluster dedicati per il modello di chat meta.llama-3.1-405b-instruct. Creare quindi un cluster di hosting e un endpoint per questo modello.
        • Passa a un'area su richiesta: passare all'area Midwest degli Stati Uniti (Chicago) supportata per l'inferenza su richiesta per il modello di chat meta.llama-3.1-405b-instruct.

      • Il modello meta.llama-3.2-11b-vision-instruct non è disponibile per l'accesso on-demand in alcuna area. Per accedere a questo modello, effettuare le operazioni riportate di seguito.

      Consulta la documentazione per i costi e gli disattivazione dei moduli per la modalità di servizio su richiesta e dedicata.

    7. Per avviare una conversazione, digitare un prompt o selezionare un esempio dall'elenco Esempio da utilizzare come prompt base o da cui imparare.
      Per i modelli che accettano immagini come meta.llama-3.2-90b-vision-instruct, è possibile aggiungere un'immagine .png o .jpg con una dimensione pari o inferiore a 5 MB.
    8. (Facoltativo) Impostare nuovi valori per i parametri. Per i dettagli dei parametri, vedere le definizioni dei parametri selezionare il modello in uso, elencato in Modelli di chat.
    9. Selezionare Sottometti.
    10. Immettere un nuovo prompt o per continuare la conversazione chat, immettere un prompt di follow-up e selezionare Sottometti.
      Importante

      Nell'area di gioco, per i modelli di visione che accettano le immagini:
      • L'invio di un'immagine senza un prompt non funziona. Quando si sottomette un'immagine, è necessario inviare un prompt relativo all'immagine nella stessa richiesta. È quindi possibile sottomettere prompt di follow-up e il modello mantiene il contesto della conversazione.
      • Per aggiungere l'immagine e il testo successivi, è necessario cancellare la chat che comporta la perdita del contesto della conversazione precedente a causa della cancellazione della chat.
    11. (Facoltativo) Per modificare le risposte, selezionare Cancella chat, aggiornare i prompt e i parametri e selezionare Sottometti. Ripetere questa operazione finché non si è soddisfatti dell'output.
    12. (Facoltativo) Per copiare il codice che ha generato l'output, selezionare Visualizza codice, selezionare un linguaggio di programmazione o un framework, selezionare Copia codice, incollare il codice in un file e salvare il file. Assicurarsi che il file mantenga il formato del codice incollato.
      Suggerimento

      Se si utilizza il codice in un'applicazione:

    13. (Facoltativo) Per avviare una nuova conversazione, selezionare Cancella chat.
      Nota

      • Quando si seleziona Cancella chat, la conversazione chat viene cancellata, ma i parametri del modello rimangono invariati ed è possibile continuare a utilizzare le ultime impostazioni applicate.

        Se si passa a una funzione diversa, ad esempio Generazione, quindi si torna all'area di gioco Chat, i parametri della conversazione chat e del modello vengono ripristinati ai valori predefiniti.

      Scopri i parametri di chat Cohere.

  • Per chattare, utilizzare l'operazione chat-result nell'interfaccia CLI di inferenza AI generativa.

    Immettere il comando seguente per un elenco di opzioni da utilizzare con l'operazione chat-result.

    oci generative-ai-inference chat-result -h

    Per un elenco completo dei parametri e dei valori per i comandi OCIGenerative AI CLI, vedere Generative AI Inference CLI e Generative AI Management CLI.

  • Eseguire l'operazione Chat per chattare utilizzando i modelli di linguaggio di grandi dimensioni.

    Per informazioni sull'uso dell'API e delle richieste di firma, consulta la documentazione dell'API REST e le credenziali di sicurezza. Per informazioni sugli SDK, vedere SDK e l'interfaccia CLI.