Endpunkte verwalten
Um für Inferenz ein benutzerdefiniertes OCI Generative AI-Modell zu verwenden, müssen Sie zunächst einen Endpunkt für dieses Modell erstellen. Sie können auch Endpunkte für die vortrainierten Modelle erstellen, die im Playground verfügbar sind.
Ein Endpunkt ist ein bestimmter Punkt in einem dedizierten KI-Cluster, an dem ein Modell Benutzeranforderungen akzeptieren und Antworten zurücksenden kann, wie den generierten Text des Modells. Sie erstellen einen Endpunkt auf einem dedizierten Hosting-KI-Cluster.
Um über einen privaten Endpunkt auf ein Modell zuzugreifen, müssen Sie zunächst einen privaten Endpunkt erstellen und dann zu dieser Seite zurückkehren, um einen Endpunkt für das Modell in einem dedizierten KI-Cluster zu erstellen.
- Nachdem Sie einen aktiven Endpunkt für ein benutzerdefiniertes Modell erstellt haben, wird das Modell in der Modellliste des Playgrounds aufgeführt.
- Jedes benutzerdefinierte Modell kann mehr als einen Endpunkt aufweisen.
- Jedes dedizierte Hosting-KI-Cluster kann viele Endpunkte hosten. Zeigen Sie die Anzahl der verbleibenden Endpunkte auf der Detailseite des dedizierten KI-Clusters an. Wenn Sie einen Endpunkt eines benutzerdefinierten Modells nicht mehr benötigen, können Sie diesen Endpunkt löschen und dessen dediziertes KI-Cluster zum Hosen eines neuen Endpunkts verwenden.
Sie können die folgenden Aufgaben ausführen, um Endpunkte für benutzerdefinierte Modelle zu erstellen und zu verwalten: