Modell-Deployments aufrufen
Beim Aufrufen eines Modell-Deployments können Sie Featurevektoren oder Datensamples an den Inferenzendpunkt übergeben, und das Modell gibt dann Vorhersagen für diese Datenbeispiele zurück.
lifecycleState befindet, kann der Inferenzendpunkt erfolgreich Anforderungen von Clients empfangen. Der Service unterstützt folgende Endpunkte:| Antworttyp | Endpunkt | Beschreibung |
|---|---|---|
| Einzeln | /predict |
Gibt eine einzelne Antwort zurück. |
| Streaming | /predictWithResponseStream |
Gibt das Echtzeit-Streaming von Teilergebnissen zurück, wenn diese vom Modell generiert werden. |
Wählen Sie auf der Detailseite des Modell-Deployments die Option Modell aufrufen aus, um einen Bereich mit zwei Hauptkategorien anzuzeigen: Nicht-Streaming und Streaming.
In jeder Kategorie werden die folgenden Details angezeigt:
- Der HTTP-Endpunkt des Modells. Bei einem privaten Modell-Deployment enthält der HTTP-Endpunkt einen privaten FQDN, der beim Erstellen des privaten Endpunkts festgelegt wurde. Weitere Informationen finden Sie unter Erstellen eines privaten Endpunkts.
- Beispielcode zum Aufrufen des Modellendpunkts über die OCI-CLI. Oder verwenden Sie die OCI-Python- und Java-SDKs, um das Modell mit dem bereitgestellten Codebeispiel aufzurufen.
Verwenden Sie den Beispielcode, um ein Modell-Deployment aufzurufen.
Beim Aufrufen eines Modell-Deployments wird der Inferenzendpunkt der Modell-Deployment-URI aufgerufen. Dieser Endpunkt verwendet Beispieldaten als Eingabe und wird mit der Funktion predict() in der Modellartefaktdatei score.py verarbeitet. Die Beispieldaten weisen in der Reihenfolge das JSON-Format auf, können jedoch auch in anderen Formaten vorliegen. Bei der Verarbeitung könnten die Beispieldaten transformiert und dann an eine Modellinferenzmethode übergeben werden. Die Modelle können Vorhersagen generieren, die verarbeitet werden können, bevor sie an den Client zurückgegeben werden.