Erstellen eines Endpunkts
Erstellen Sie einen Endpunkt für ein benutzerdefiniertes, vortrainiertes oder importiertes Modell in einem dedizierten KI-Hostcluster in OCI Generative AI.
Stellen Sie vor dem Erstellen eines Endpunkts sicher, dass ein aktives dediziertes Hosting-KI-Cluster vorhanden ist, das mit dem Modell kompatibel ist, und dass das Cluster über die verbleibende Endpunktkapazität verfügt. Standardmäßig kann ein Hostingcluster bis zu 50 Modellendpunkte aufweisen. Siehe Endpunktkapazität.
Um einem privaten Endpunkt ein Modell hinzuzufügen, erstellen Sie zunächst einen privaten Endpunkt, und kehren Sie dann zu dieser Seite zurück, um Schritte zum Anhängen des Modells anzuzeigen.
Private Endpunkte werden für vortrainierte, benutzerdefinierte und importierte Modelle unterstützt.
Wählen Sie auf der Listenseite Endpunkte die Option Endpunkt erstellen aus. Wenn Sie Hilfe beim Suchen der Listenseite benötigen, lesen Sie Endpunkte auflisten.
Endpunktinformationen
Hostingkonfiguration
Netzwerkressourcen
Wählen Sie unter Endpunkttyp eine der folgenden Optionen:- Öffentlicher Endpunkt
- Privater Endpunkt: Wählen Sie das Compartment aus, das den privaten Endpunkt enthält, und wählen Sie den privaten Endpunkt aus, den Sie verwenden möchten. Wenn Sie noch keinen privaten Endpunkt haben, erstellen Sie einen Endpunkt, bevor Sie fortfahren.
Geländer für vortrainierte und kundenspezifische Modelle
Hinweis
Guardrails sind für importierte Modelle nicht verfügbar.Hinweis
Um definierte Themen zu ermitteln, verwenden Sie die Themenverwaltung über die API ApplyGuardrails. Beim Erstellen eines Endpunkts in der Konsole ist die Themenverwaltung keine Guardrail-Option.Wichtig
HaftungsausschlussUnsere Content Moderation (CM) und Prompt Injection (PI) Guardrails wurden auf einer Reihe von mehrsprachigen Benchmark-Datensätzen ausgewertet. Die tatsächliche Performance kann jedoch je nach den spezifischen Sprachen, Domains, Datenverteilungen und Nutzungsmustern variieren, die in vom Kunden bereitgestellten Daten vorhanden sind, wenn der Inhalt von KI generiert wird und Fehler oder Auslassungen enthalten kann. Daher ist es nur zu Informationszwecken gedacht, sollte nicht als professionelle Beratung betrachtet werden, und OCI garantiert nicht, dass in allen realen Bereitstellungen identische Leistungsmerkmale beobachtet werden. Das Team von OCI Responsible AI verbessert diese Modelle kontinuierlich.
Unsere Funktionen zur Inhaltsmoderation wurden mit RTPLX verglichen, einem der größten öffentlich verfügbaren mehrsprachigen Benchmarking-Datasets mit mehr als 38 Sprachen. Diese Ergebnisse sollten jedoch mit angemessener Vorsicht interpretiert werden, da der Inhalt von KI generiert wird und Fehler oder Auslassungen enthalten kann. Mehrsprachige Bewertungen sind von Natur aus an den Umfang, die Repräsentativität und die Annotationspraktiken öffentlicher Datensätze gebunden, und die auf RTPLX beobachtete Leistung kann möglicherweise nicht vollständig auf alle realen Kontexte, Domänen, Dialekte oder Nutzungsmuster verallgemeinert werden. Die Ergebnisse sind also nur zu Informationszwecken gedacht und sollten nicht als professionelle Beratung betrachtet werden.
Wählen Sie eine Einstellung für jede Leitplanke aus. Hintergrundinformationen finden Sie unter Erfahren Sie mehr über Guardrails, und lesen Sie die Ausschlussklausel in diesem Abschnitt, bevor Sie sie verwenden.- Inhaltsmoderation
- Aus: Es wird keine Inhaltsmoderation angewendet.
- Blockieren: Hilft bei der Erkennung von Inhalten, die moderiert werden müssen, und zielt darauf ab, die Anforderung oder Antwort basierend auf Ihrer Konfiguration zu blockieren.
- Informieren: Blockiert keinen Inhalt, zielt aber darauf ab, einen Hinweis zurückzugeben, wenn Inhalte erkannt werden, die eine Moderation erfordern
- Schutz vor Prompt-Injection (PI)
- Aus: Es wird kein Prompt-Injection-Schutz angewendet.
- Blockieren: Hilft bei der Erkennung von Prompt-Injection-Versuchen und zielt darauf ab, die Anforderung basierend auf Ihrer Konfiguration zu blockieren.
- Informieren: Blockiert die Anforderung nicht, zielt aber darauf ab, eine Anzeige zurückzugeben, wenn ein Prompt-Injection-Risiko erkannt wird.
-
Schutz personenbezogener Daten
- Aus: Es wird kein PII-Schutz angewendet.
- Blockieren: Hilft bei der Erkennung von personenbezogenen Daten und zielt darauf ab, die Anforderung oder Antwort basierend auf Ihrer Konfiguration zu blockieren.
- Informieren: Blockiert keinen Inhalt, zielt aber darauf ab, einen Hinweis zurückzugeben, wenn personenbezogene Daten erkannt werden.
Endpunkt erstellen und verwenden
Verwenden Sie den Befehl endpoint create und die erforderlichen Parameter, um einen Endpunkt zu erstellen:
oci generative-ai endpoint create --model-id <model-OCID> --compartment-id <compartment-OCID> --dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> [OPTIONS]Eine vollständige Liste der Parameter und Werte für CLI-Befehle finden Sie in der CLI-Befehlsreferenz.
Hinweis
Bei vortrainierten Modellen können Sie anstelle einer OCID den Modellnamen genau wie auf dem Playground der Konsole verwenden. Sie finden diesen OCI-Modellnamen auch auf der Detailseite des Modells unter Offerte vortrainierte Basismodelle in generativer KI.Führen Sie den Vorgang CreateEndpoint aus, um einen Endpunkt zu erstellen.
Hinweis
Bei vortrainierten Modellen können Sie anstelle einer OCID den Modellnamen genau wie auf dem Playground der Konsole verwenden. Sie finden diesen OCI-Modellnamen auch auf der Detailseite des Modells unter Offerte vortrainierte Basismodelle in generativer KI.