Modell-Deployments

Nachdem Sie ein neues Deployment erstellt oder ein vorhandenes Deployment aktualisiert haben, wird möglicherweise ein Fehler angezeigt. Die folgenden Schritte zeigen, wie Sie das Problem debuggen:

1. Wählen Sie auf der Homepage Ihres Projekts die Option Modell-Deployments aus.
2. Wählen Sie den Modell-Deployment-Namen aus, oder wählen Sie das Menü Aktionen (drei Punkte) für das Modell-Deployment aus, und wählen Sie Details anzeigen aus. Prüfen Sie anschließend die Arbeitsanforderungen.
3. Wählen Sie unter Ressourcen die Option Arbeitsanforderung aus.

   Die Arbeitsanforderungen werden unten auf der Seite angezeigt.

4. Wählen Sie auf der Seite "Arbeitsanforderungen - Informationen" die Option Logmeldungen aus.
5. Wenn beim Erstellen der Schritte Fehler auftreten, wählen Sie unter Ressourcen die Option Fehlermeldungen aus.
6. Wenn die Arbeitsanforderung als erfolgreich angezeigt wird, prüfen Sie die OCI-Vorhersagelogs, um Fehler zu ermitteln.

   Logs werden beim Erstellen des Modell-Deployments daran angehängt.

7. Wenn Logs zugeordnet sind, wählen Sie den Namen des Vorhersagelogs aus, um das Log anzuzeigen.
8. Wählen Sie Mit Logsuche explorieren aus.
9. Ändern Sie die Filterzeit, um den Zeitraum zu vergrößern.

Stellen Sie sicher, dass der Pfad der Conda-Umgebung gültig ist und dass Sie die entsprechende Policy für eine veröffentlichte Conda-Umgebung konfiguriert haben. Der Pfad der Conda-Umgebung muss während des gesamten Lebenszyklus des Modell-Deployments gültig und zugänglich bleiben, damit die Verfügbarkeit und die ordnungsgemäße Funktion des bereitgestellten Modells gewährleistet sind.

Aktivieren Sie die Vorhersagelogs für das Modell-Deployment, um die Fehler zu debuggen. Dieser Fehler tritt im Allgemeinen auf, wenn Ihr Code Probleme aufweist oder erforderliche Abhängigkeiten fehlen.

Wenn sich ein Modell-Deployment in einem aktiven lifecycleState befindet, kann der Vorhersageendpunkt oder Streamingendpunkt aufgerufen werden. Die Vorhersageantwort kann aus vielen Gründen einen Fehler zurückgeben. Beheben Sie diese Fehler anhand der folgenden Vorschläge:

1. Stellen Sie sicher, dass die in der Anforderung übergebene Eingabe ein gültiges JSON-Format aufweist und mit der vom Modell erwarteten Eingabe übereinstimmt.

2. Prüfen Sie die angehängten Zugriffslogs auf Fehler.

3. Stellen Sie sicher, dass der Benutzer über die richtigen Zugriffsrechte verfügt.

4. Stellen Sie sicher, dass die score.py-Datei keine Fehler enthält.

5. Wenn Vorhersagen unterschiedliche Ergebnisse zurückgeben (erfolgreich, nicht erfolgreich), wenn die Vorhersage für dieselbe Eingabe aufgerufen wird, reichen die zugewiesenen Ressourcen möglicherweise nicht aus, um die Modellvorhersage zu verarbeiten. Sie können die Load-Balancer-Bandbreite bearbeiten, um sie zu erhöhen, und die Anzahl der Compute-Cores ändern, um mehr Anforderungen parallel zu verarbeiten.

Wenn dieser Fehler beim Aufrufen des Inferenzendpunkts auftritt, werden die Anforderungen gedrosselt.

Die Lösung hängt vom Fehlertyp ab: