Documentazione dell'infrastruttura Oracle Cloud

Distribuzione modello

Attenersi alla procedura riportata di seguito per distribuire i modelli con le azioni rapide AI.

Creazione distribuzione modello

È possibile creare una distribuzione modello dai modelli di base con il tag Pronto per la distribuzione in Esplora modelli o con modelli ottimizzati. Quando crei una distribuzione modello nelle azioni rapide AI, stai creando una distribuzione modello di OCI Data Science, che è una risorsa gestita nel servizio OCI Data Science. È possibile distribuire il modello come endpoint HTTP in OCI.

È necessario disporre dei criteri necessari per utilizzare la distribuzione del modello di Data Science. È possibile selezionare la forma di computazione per la distribuzione del modello. È possibile impostare il log per monitorare la distribuzione del modello. La registrazione è facoltativa, ma si consiglia di facilitare la risoluzione degli errori con la distribuzione del modello. Per abilitare il log, è necessario disporre del criterio necessario. Per ulteriori informazioni sui log, vedere Log di distribuzione dei modelli. Sotto l'opzione avanzata, puoi selezionare il numero di istanze da distribuire e la larghezza di banda del load balancer.

Per ulteriori informazioni e suggerimenti sulla distribuzione dei modelli, vedere Distribuzione dei modelli sul sito GitHub.

Nota

Per accedere alle distribuzioni dei modelli utilizzando gli endpoint privati, creare una sessione notebook con il tipo di rete impostato su Networking personalizzato. L'uscita personalizzata deve risiedere nella stessa VCN e subnet della risorsa endpoint privato.
    1. Andare a Esplora modelli.
    2. Selezionare la scheda modello per il modello che si desidera distribuire.
    3. Selezionare Distribuisci per distribuire il modello.
      Viene visualizzata la pagina Distribuisci modello.
      1. Assegnare un nome alla distribuzione.
      2. Selezionare una forma di computazione.
      3. Facoltativo: selezionare un gruppo di log.
      4. Facoltativo: selezionare un log delle previsioni e degli accessi.
      5. Facoltativo: selezionare un endpoint privato.
        Nota

        È necessario creare un endpoint privato come prerequisito per la risorsa di distribuzione del modello.

        La funzione dell'endpoint privato per la distribuzione del modello è abilitata solo nel realm OC1. Per altri realm, creare una richiesta di servizio per Data Science.

        La lista per selezionare e utilizzare un endpoint privato nella distribuzione del modello viene visualizzata solo nella console se esiste un endpoint privato nel compartimento.
      6. Selezionare Mostra opzioni avanzate.
      7. Aggiornare il conteggio delle istanze e la larghezza di banda del load balancer.
      8. Facoltativo: in Contenitore inferenza selezionare un contenitore inferenza.
      9. Facoltativo: selezionare Modalità inferenza.
      10. Selezionare Distribuisci.
    4. In Azioni rapide AI, selezionare Distribuzioni.
      Viene visualizzato l'elenco delle distribuzioni del modello. Per la distribuzione creata nel passo 3, attendere che lo stato del ciclo di vita diventi Attivo prima di fare clic su di essa per utilizzarlo.
    5. Scorrere per visualizzare la finestra inferenza.
    6. Immettere il testo in Prompt per eseguire il test del modello.
    7. (Facoltativo) Adeguare i parametri del modello in base alle esigenze.
    8. Selezionare Genera.
      L'output viene visualizzato in Risposta.

  • Per un elenco completo dei parametri e dei valori per i comandi CLI delle azioni rapide AI, vedere CLI Azioni rapide AI.

  • Impossibile eseguire questo task utilizzando l'API.

Richiama distribuzione modello in azioni rapide AI

Puoi richiamare la distribuzione dei modelli in Azioni rapide AI dall'SDK CLI o Python.

Per ulteriori informazioni, vedere la sezione Suggerimenti per la distribuzione dei modelli in GitHub.

Artifact modello

Dove trovare gli artifact del modello.

Quando un modello viene scaricato in un'istanza di distribuzione modello, viene scaricato nella cartella /opt/ds/model/deployed_model/<object_storage_folder_name_and_path> .