Importierte Modelle verwalten (Neu)

Bevor Sie ein Modell direkt von Hugging Face importieren:

• Entscheiden Sie, welches unterstützte Modell von Hugging Face importiert werden soll, und beachten Sie die empfohlene Größe der dedizierten KI-Clustereinheit.
• Um auf einige Modelle zuzugreifen und diese zu verwenden, benötigen Sie ein Hugging Face-Token, insbesondere die neueren und gated Versionen wie Llama 3 und Llama 3.1. Generieren Sie für diese Modelle ein Zugriffstoken aus Ihren Hugging Face-Kontoeinstellungen unter Zugriffstoken. Stellen Sie sicher, dass sie über die erforderlichen Berechtigungen verfügt (mindestens Lesezugriff).

Bevor Sie ein Modell aus einem Object Storage-Bucket importieren:

• Wenn Sie kein OCI-Administrator sind, bitten Sie einen, Ihnen die IAM-Berechtigung zur Verwaltung von Object Storage in Ihrem Compartment zu erteilen:

  allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket>
                              

• Entscheiden Sie sich für ein Modell, das mit dem /v1/chat/completions-Endpunkt funktioniert. Nur diese Modelle werden unterstützt.
• Stellen Sie sicher, dass das Modell nur eine der folgenden Funktionen unterstützt:
  • TEXT_TO_TEXT: Text ein, Text aus
  • IMAGE_TEXT_TO_TEXT: Bild oder Text oder beides in, Text heraus
  • EMBEDINGUNG: Text in, Vektoreinbettungen heraus
  • RERANK: Abfragen und Kandidatendokumente, Relevanzscores und eine neu geordnete Liste
• Speichern Sie Modellartefakte in einem Objektspeicher-Bucket.
• Wichtig: Die Konfigurationsdatei muss für einen erfolgreichen Import config.json lauten, ähnlich wie die meisten Hugging Face-Modelle.

Um ein importiertes Modell zu erreichen, erstellen Sie einen Endpunkt für dieses Modell in einem dedizierten KI-Cluster. In der folgenden Tabelle können Sie dedizierte KI-Clusterressourcen anfordern, bevor Sie ein Modell importieren.

Nachdem Sie die Voraussetzungen erfüllt und ein Modell importiert haben, können Sie die folgenden Aufgaben für die importierten Modelle ausführen:

• Importierte Modelle auflisten
• Details eines importierten Modells abrufen
• Importiertes Modell aktualisieren
• Importiertes Modell verschieben
• Importiertes Modell löschen