Importierte Modelle verwalten

Bevor Sie ein Modell direkt aus Hugging Face importieren:

• Entscheiden Sie, welches validierte Modell von Hugging Face importiert werden soll, und beachten Sie die empfohlene Ausprägung der dedizierten Hardwareeinheit des KI-Clusters.
• Um auf einige Modelle zuzugreifen und diese zu verwenden, benötigen Sie ein Hugging Face-Token, insbesondere die neueren und gated Versionen wie Llama 3 und Llama 3.1. Generieren Sie für diese Modelle ein Zugriffstoken aus Ihren Hugging Face-Kontoeinstellungen unter Zugriffstoken. Stellen Sie sicher, dass sie über die erforderlichen Berechtigungen verfügt (mindestens Lesezugriff).

Bevor Sie ein Modell aus einem Object Storage-Bucket importieren:

• Wenn Sie kein OCI-Administrator sind, bitten Sie einen, Ihnen die IAM-Berechtigung zur Verwaltung von Object Storage in Ihrem Compartment zu erteilen:

  allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket>
                              

• Entscheiden Sie sich für ein Modell, das mit dem /v1/chat/completions-Endpunkt funktioniert. Nur diese Modelle werden unterstützt.
• Stellen Sie sicher, dass das Modell nur eine der folgenden Funktionen unterstützt:
  • TEXT_TO_TEXT: Text ein, Text aus
  • IMAGE_TEXT_TO_TEXT: Bild oder Text oder beides in, Text heraus
  • AUDIO_TO_TEXT: Audio-In, Text aus
  • EMBEDINGUNG: Text in, Vektoreinbettungen heraus
  • RERANK: Abfragen und Kandidatendokumente, Relevanzscores und eine neu geordnete Liste
• Speichern Sie Modellartefakte in einem Objektspeicher-Bucket.
• Wichtig: Für einen erfolgreichen Import muss die Konfigurationsdatei config.json lauten, ähnlich wie bei den meisten Hugging Face-Modellen.

Wenn Sie ein dediziertes Hosting-KI-Cluster für ein importiertes Modell erstellen, wählen Sie das importierte Modell und eine kompatible Hardwareeinheitsausprägung aus, die in der Zielregion verfügbar ist. Die Namen der importierten Modelleinheitenausprägungen enthalten kein Modellproviderpräfix. Beispiel: Wählen Sie H100_X2 oder A100_80G_X1 anstelle eines providerspezifischen Werts wie Cohere_H100_X2 aus.

Bevor Sie das Cluster erstellen, lesen Sie Ausprägungen, Servicelimits und Anzahl von KI-Einheiten für importierte Modellhardware, um:

• Identifizieren Sie die in der Zielregion verfügbaren Hardwareausprägungen.
• Wählen Sie eine Hardwareeinheitsausprägung für das importierte Modell aus.
• Suchen Sie den Namen des Servicelimits und die erforderlichen Hardwareeinheiten.
• Ermitteln Sie die Anzahl der KI-Einheiten zur Berechnung des Stundenpreises.

Nachdem Sie die Voraussetzungen erfüllt und ein Modell importiert haben, können Sie die folgenden Aufgaben für die importierten Modelle ausführen:

• Importierte Modelle auflisten
• Details eines importierten Modells abrufen
• Importiertes Modell aktualisieren
• Importiertes Modell verschieben
• Importiertes Modell löschen