Oracle Cloud Infrastructure - Dokumentation

Modell-Deployment

Führen Sie diese Schritte aus, um Modelle mit AI Quick Actions bereitzustellen.

Modell-Deployment erstellen

Sie können ein Modell-Deployment aus den Basismodellen mit dem Tag "Bereit zum Bereitstellen" im Modell-Explorer oder mit fein abgestimmten Modellen erstellen. Wenn Sie ein Modell-Deployment in AI Quick Actions erstellen, erstellen Sie ein OCI Data Science-Modell-Deployment, bei dem es sich um eine verwaltete Ressource im OCI Data Science-Service handelt. Sie können das Modell als HTTP-Endpunkte in OCI bereitstellen.

Sie benötigen die erforderliche Policy, um das Data Science-Modell-Deployment verwenden zu können. Sie können die Compute-Ausprägung für das Modell-Deployment auswählen. Sie können Logging einrichten, um das Modell-Deployment zu überwachen. Logging ist optional, es wird jedoch dringend empfohlen, Fehler beim Modell-Deployment zu beheben. Sie benötigen die erforderliche Policy, um das Logging zu aktivieren. Weitere Informationen zu Logs finden Sie unter Modell-Deployment-Logs. Unter der erweiterten Option können Sie die Anzahl der bereitzustellenden Instanzen und die Load-Balancer-Bandbreite auswählen.

Weitere Informationen und Tipps zum Deployment von Modellen finden Sie unter Modell-Deployment auf GitHub.

    1. Navigieren Sie zum Modell-Explorer.
    2. Wählen Sie die Modellkarte für das Modell aus, das Sie bereitstellen möchten.
    3. Wählen Sie Bereitstellen aus, um das Modell bereitzustellen.
      Die Seite Modell bereitstellen wird angezeigt.
      1. Geben Sie dem Deployment einen Namen.
      2. Wählen Sie eine Compute-Ausprägung aus.
      3. Optional: Wählen Sie eine Loggruppe aus.
      4. Optional: Wählen Sie ein Vorhersage- und Zugriffslog aus.
      5. Optional: Privaten Endpunkt auswählen.
        Hinweis

        Ein privater Endpunkt muss als Voraussetzung für die Modell-Deployment-Ressource erstellt werden.

        Das Feature für den privaten Endpunkt für das Modell-Deployment ist nur in der Realm OC1 aktiviert. Erstellen Sie für andere Realms eine Serviceanfrage für Data Science.

      6. Wählen Sie Erweiterte Optionen anzeigen.
      7. Aktualisieren Sie die Instanzanzahl, und aktualisieren Sie die Load-Balancer-Bandbreite.
      8. Optional: Wählen Sie unter Inferenzcontainer einen Inferenzcontainer aus.
      9. Optional: Wählen Sie Inferenzmodus aus.
      10. Wählen Sie bereitstellen aus.
    4. Wählen Sie unter KI-Schnellaktionen die Option Deployments aus.
      Die Liste der Modell-Deployments wird angezeigt. Warten Sie für das in Schritt 3 erstellte Deployment, bis der Lebenszyklusstatus Aktiv wird, bevor Sie darauf klicken, um es zu verwenden.
    5. Blättern Sie, um das Inferenzfenster anzuzeigen.
    6. Geben Sie Text in Prompt ein, um das Modell zu testen.
    7. (Optional) Ändern Sie die Modellparameter entsprechend.
    8. Wählen Sie Generieren.
      Die Ausgabe wird unter Antwort angezeigt.

  • Eine vollständige Liste der Parameter und Werte für AI Quick Actions-CLI-Befehle finden Sie unter AI Quick Actions-CLI.

  • Diese Aufgabe kann nicht mit der API ausgeführt werden.

Modell-Deployment in AI-Schnellaktionen aufrufen

Sie können das Modell-Deployment in AI-Schnellaktionen über die CLI oder das Python-SDK aufrufen.

Weitere Informationen finden Sie im Abschnitt Tipps zum Modell-Deployment in GitHub.

Modellartefakte

Wo finden Sie Modellartefakte?

Wenn ein Modell in eine Modell-Deployment-Instanz heruntergeladen wird, wird es im Ordner /opt/ds/model/deployed_model/<object_storage_folder_name_and_path> heruntergeladen.