Documentazione dell'infrastruttura Oracle Cloud

Distribuzione modello

Attenersi alla procedura riportata di seguito per distribuire i modelli con le azioni rapide AI.

Creazione distribuzione modello

È possibile creare una distribuzione modello dai modelli di base con il tag Pronto per la distribuzione in Esplora modelli o con modelli ottimizzati. Quando crei una distribuzione modello nelle azioni rapide AI, stai creando una distribuzione modello di OCI Data Science, che è una risorsa gestita nel servizio OCI Data Science. È possibile distribuire il modello come endpoint HTTP in OCI.

È necessario disporre dei criteri necessari per utilizzare la distribuzione del modello di Data Science. È possibile selezionare la forma di computazione per la distribuzione del modello. È possibile impostare la registrazione per monitorare la distribuzione del modello. Il log è facoltativo, ma si consiglia di risolvere gli errori con la distribuzione del modello. È necessario disporre del criterio necessario per abilitare il log. Per ulteriori informazioni sui log, vedere Log di distribuzione modello. Nell'opzione avanzata, puoi selezionare il numero di istanze da distribuire e la larghezza di banda del load balancer.

Per ulteriori informazioni e suggerimenti sulla distribuzione dei modelli, vedere Distribuzione dei modelli sul sito GitHub.

Nota

Per accedere alle distribuzioni dei modelli utilizzando gli endpoint privati, creare una sessione notebook con il tipo di rete impostato su Networking personalizzato. L'uscita personalizzata deve risiedere nella stessa VCN e subnet della risorsa endpoint privato.

  • È possibile distribuire i modelli utilizzando tre opzioni nella pagina Distribuisci modello:

    • Distribuisci modello singolo: distribuisci un modello in una forma di computazione.
    • Distribuisci più modelli: distribuisci più modelli su una singola istanza di computazione.
    • Distribuisci stack di modelli: distribuisci un modello di base e più varianti ottimizzate come stack su una singola forma di computazione.

    Questa sezione descrive ogni opzione di distribuzione.

    1. Andare a Esplora modelli.
    2. Selezionare la scheda modello per il modello che si desidera distribuire.
    3. Selezionare Distribuisci per distribuire il modello. Viene visualizzata la pagina Distribuisci modello con le tre opzioni. Seguire i passi in base al modello selezionato:
    4. Distribuisci modello singolo:
      1. Assegnare un nome alla distribuzione.
      2. Selezionare una forma di computazione.
      3. (Facoltativo) Selezionare un gruppo di registro.
      4. (Facoltativo) Selezionare un log di previsione e di accesso.
      5. (Facoltativo) Selezionare un endpoint privata.
        Nota

        È necessario creare un endpoint privato come prerequisito per la risorsa di distribuzione del modello.

        La funzione dell'endpoint privato per la distribuzione del modello è abilitata solo nel realm OC1. Per altri realm, creare una richiesta di servizio per Data Science.

        La lista per selezionare e utilizzare un endpoint privato nella distribuzione del modello viene visualizzata solo nella console se esiste un endpoint privato nel compartimento.
      6. Selezionare Mostra opzioni avanzate.
      7. Aggiornare il conteggio delle istanze e la larghezza di banda del load balancer.
      8. (Facoltativo) In Contenitore inferenze selezionare un contenitore inferenza.
      9. (Facoltativo) Selezionare Modalità di inferenza.
      10. Selezionare Distribuisci.
    5. Distribuisci modello multiplo: è supportato solo il contenitore vLLM. I modelli gestiti dal servizio possono essere combinati in un'unica distribuzione.
      1. Immettere un nome di distribuzione.
      2. Selezionare i modelli da distribuire.
      3. Selezionare una forma di computazione adatta ai modelli.
      4. (Facoltativo) Configurare i gruppi di log, prevedere e accedere ai log o agli endpoint privati.
      5. Selezionare Mostra opzioni avanzate.
      6. Aggiornare il conteggio delle istanze e la larghezza di banda del load balancer.
      7. (Facoltativo) In Contenitore inferenze selezionare un contenitore inferenza.
      8. (Facoltativo) Selezionare Modalità di inferenza.
      9. Selezionare Distribuisci.
    6. Distribuisci stack modelli: è supportato solo il contenitore vLLM.
      1. Immettere un nome di distribuzione.
      2. Selezionare il modello base.
      3. Selezionare i pesi o le varianti ottimizzati.
      4. Selezionare una forma di computazione.
      5. (Facoltativo) Configurare i gruppi di log, prevedere e accedere ai log o agli endpoint privati.

        I log sono consigliati per tenere traccia e risolvere i problemi delle operazioni di distribuzione.

      6. Selezionare Mostra opzioni avanzate.
      7. Aggiornare il conteggio delle istanze e la larghezza di banda del load balancer.
      8. (Facoltativo) In Contenitore inferenze selezionare un contenitore inferenza.
      9. (Facoltativo) Selezionare Modalità di inferenza.
      10. Selezionare Distribuisci.
    7. In Azioni rapide AI, selezionare Distribuzioni.
      Viene visualizzata la lista delle distribuzioni del modello. Per la distribuzione precedente creata, attendere che lo stato del ciclo di vita diventi Attivo prima di fare clic su di esso per utilizzarlo.
    8. Scorrere per visualizzare la finestra inferenza.
    9. Immettere il testo in Prompt per eseguire il test del modello.
    10. (Facoltativo) Adeguare i parametri del modello in base alle esigenze.
    11. Selezionare Genera.
      L'output viene visualizzato in Risposta.

  • Per un elenco completo dei parametri e dei valori per i comandi CLI delle azioni rapide AI, vedere CLI Azioni rapide AI.

  • Impossibile eseguire questo task utilizzando l'API.

Richiama distribuzione modello in azioni rapide AI

Puoi richiamare la distribuzione dei modelli in Azioni rapide AI dall'SDK CLI o Python.

Per ulteriori informazioni, vedere la sezione Suggerimenti per la distribuzione dei modelli in GitHub.

Artifact modello

Dove trovare gli artifact del modello.

Quando un modello viene scaricato in un'istanza di distribuzione modello, viene scaricato nella cartella /opt/ds/model/deployed_model/<object_storage_folder_name_and_path> .

Uso delle distribuzioni dei modelli in Autonomous Database Select AI

Puoi rendere disponibili le distribuzioni dei modelli create con AI Quick Actions per l'esecuzione di query in linguaggio naturale con Oracle Autonomous Database Select AI.

Requisiti indispensabili

  • Distribuzione del modello completata e OCID distribuzione modello.
  • Istanza di Autonomous Database con Select AI abilitata. Vedere Seleziona l'AI con Autonomous Database.
  • Autorizzazioni Oracle Cloud Infrastructure (OCI) necessarie per creare credenziali e profili.
  1. In Autonomous Database, creare una credenziale per accedere alla distribuzione del modello. 
    BEGIN
    DBMS_CLOUD.create_credential(
        credential_name   => '<CREDENTIAL_NAME>',
        user_ocid         => '<USER_OCID>',
        tenancy_ocid      => '<TENANCY_OCID>',
        private_key       => '<PRIVATE_KEY>',
        fingerprint       => '<FINGERPRINT>'
    );
END;
/

    Sostituire ogni segnaposto con valori specifici:

    • <CREDENTIAL_NAME>: nome della credenziale
    • <USER_OCID>: OCID utente OCI
    • <TENANCY_OCID>: OCID tenancy OCI
    • <PRIVATE_KEY>: chiave privata API in formato PEM
    • <FINGERPRINT>: impronta della chiave pubblica API

    Per informazioni dettagliate, vedere Gestione delle credenziali.

  2. Creare un profilo Select AI per connettere il database autonomo al modello distribuito.

    BEGIN
    DBMS_CLOUD_AI.CREATE_PROFILE(
        profile_name => '<PROFILE_NAME>',
        attributes => '
{
  "credential_name": "<CREDENTIAL_NAME>",
  "model": "<MODEL_NAME>",
  "provider": "openai",
  "provider_endpoint": "<MODEL_DEPLOYMENT_OCID>",
  "conversation": "",
  "object_list": [
    {"owner": "ADMIN", "name": "customers"}
  ]
}'
    );
END;
/
    Sostituire i segnaposto:
    • <PROFILE_NAME>: nome del profilo.
    • <CREDENTIAL_NAME>: nome della credenziale dal passo 1.
    • <MODEL_NAME>: nome del modello distribuito (ad esempio, odsc_2025llm).
    • <MODEL_DEPLOYMENT_OCID>: OCID di distribuzione modello.
    • Aggiornare "object_list" per riflettere lo schema e la tabella che si desidera esporre.