Richiamo di una distribuzione di modelli
Il richiamo di una distribuzione del modello significa che è possibile passare vettori di funzioni o campioni di dati all'endpoint di inferenza, quindi il modello restituisce le previsioni per tali campioni di dati.
lifecycleState attivo, l'endpoint di inferenza può ricevere correttamente le richieste effettuate dai client. Gli endpoint supportati dal servizio sono i seguenti:| Tipo di risposta | Endpoint | descrizione; |
|---|---|---|
| Singola | /predict |
Restituisce una risposta singola. |
| Streaming | /predictWithResponseStream |
Restituisce lo streaming in tempo reale di risultati parziali generati dal modello. |
In una pagina dei dettagli di distribuzione del modello, selezionare Chiamata del modello per visualizzare un pannello con due categorie principali: Non streaming e Streaming.
Ogni categoria visualizza i dettagli riportati di seguito.
- Endpoint HTTP del modello. Per la distribuzione di un modello privato, l'endpoint HTTP contiene un nome FQDN privato impostato durante la creazione dell'endpoint privato. Per ulteriori informazioni, vedere Creazione di un endpoint privato.
- Codice di esempio per richiamare l'endpoint del modello utilizzando l'interfaccia CLI OCI. In alternativa, utilizzare gli SDK Python e Java OCI per richiamare il modello con l'esempio di codice fornito.
Utilizzare il codice di esempio per richiamare la distribuzione di un modello.
Il richiamo di una distribuzione modello chiama l'endpoint di inferenza dell'URI di distribuzione modello. Questo endpoint prende i dati di esempio come input e viene elaborato utilizzando la funzione predict() nel file di artifact del modello score.py. I dati di esempio sono in formato JSON, anche se possono essere in altri formati. L'elaborazione significa che i dati di esempio potrebbero essere trasformati e quindi passati a un metodo di inferenza dei modelli. I modelli possono generare previsioni che possono essere elaborate prima di essere restituite al client.