Oracle Cloud Infrastructure-Dokumentation

Erstellen eines Endpunkts

Erstellen Sie einen Endpunkt für ein benutzerdefiniertes, vortrainiertes oder importiertes Modell in einem dedizierten KI-Hostcluster in OCI Generative AI.

Wichtig

Haftungsausschluss

Unsere Content Moderation (CM) und Prompt Injection (PI) Guardrails wurden auf einer Reihe von mehrsprachigen Benchmark-Datensätzen ausgewertet. Die tatsächliche Performance kann jedoch je nach den spezifischen Sprachen, Domains, Datenverteilungen und Nutzungsmustern variieren, die in vom Kunden bereitgestellten Daten vorhanden sind, wenn der Inhalt von KI generiert wird und Fehler oder Auslassungen enthalten kann. Daher ist es nur zu Informationszwecken gedacht, sollte nicht als professionelle Beratung betrachtet werden, und OCI garantiert nicht, dass in allen realen Bereitstellungen identische Leistungsmerkmale beobachtet werden. Das Team von OCI Responsible AI verbessert diese Modelle kontinuierlich.

Unsere Funktionen zur Inhaltsmoderation wurden mit RTPLX verglichen, einem der größten öffentlich verfügbaren mehrsprachigen Benchmarking-Datasets mit mehr als 38 Sprachen. Diese Ergebnisse sollten jedoch mit angemessener Vorsicht interpretiert werden, da der Inhalt von KI generiert wird und Fehler oder Auslassungen enthalten kann. Mehrsprachige Bewertungen sind von Natur aus an den Umfang, die Repräsentativität und die Annotationspraktiken öffentlicher Datensätze gebunden, und die auf RTPLX beobachtete Leistung kann möglicherweise nicht vollständig auf alle realen Kontexte, Domänen, Dialekte oder Nutzungsmuster verallgemeinert werden. Die Ergebnisse sind also nur zu Informationszwecken gedacht und sollten nicht als professionelle Beratung betrachtet werden.

Hinweis

Um einem privaten Endpunkt ein Modell hinzuzufügen, erstellen Sie zunächst einen privaten Endpunkt, und kehren Sie dann zu dieser Seite zurück, um die Schritte zum Anhängen des Modells anzuzeigen.

Private Endpunkte unterstützen nur vortrainierte und benutzerdefinierte Modelle. Importierte Modelle werden nicht unterstützt.

  • Wählen Sie auf der Listenseite Endpunkte die Option Endpunkt erstellen aus. Wenn Sie Hilfe beim Suchen der Listenseite benötigen, lesen Sie Endpunkte auflisten.

    Endpunktinformationen

    1. Wählen Sie ein Compartment für die Erstellung des Endpunkts aus. Das Standard-Compartment ist mit der Listenseite identisch. Sie können jedoch jedes Compartment auswählen, für das Sie die Berechtigung zur Arbeit haben.
      Tipp

      Es wird empfohlen, den Endpunkt in demselben Compartment wie das Modell zu erstellen.
    2. (Optional) Geben Sie einen Namen für den Endpunkt ein. Beginnen Sie den Namen mit einem Buchstaben oder Unterstrich, gefolgt von Buchstaben, Zahlen, Bindestrichen und Unterstrichen. Die Länge kann 1 bis 255 Zeichen betragen. Wenn Sie keinen Namen eingegeben haben, generiert das System einen Namen, der Sie später ändern können.
      Der generierte Name hat das Format generativeaiendpoint<timestamp>. Beispiel: generativeaiendpoint20250531235319
    3. (Optional) Geben Sie eine Beschreibung für das Modell an.

    Hostingkonfiguration

    1. Wählen Sie das Compartment aus, das das Modell hostet, dem Sie einen Endpunkt hinzufügen möchten.
    2. Wählen Sie das Modell aus, dem Sie einen Endpunkt hinzufügen möchten. Bei diesem Modell kann es sich um ein benutzerdefiniertes Modell, ein importiertes Modell oder ein einsatzbereites, vortrainiertes Basismodell handeln, das in der Region verfügbar ist, in der Sie arbeiten.
    3. Wenn das ausgewählte Modell mehrere Versionen aufweist, wählen Sie eine Modellversion aus.
      Für die einsatzbereiten, vortrainierten Basismodelle wird dieses Feld bei der Auswahl des Modells ausgefüllt.
    4. Wählen Sie ein dediziertes Hosting-KI-Cluster aus, indem Sie eine der folgenden Aktionen ausführen:
      • Wählen Sie ein dediziertes KI-Cluster aus der Liste aus. Wenn Sie vor einigen Minuten ein Cluster erstellt haben, warten Sie, bis dieses Cluster aktiv wird.
      • Wählen Sie Neues dediziertes KI-Cluster erstellen aus, und führen Sie die folgenden Schritte durch:
        1. (Optional) Geben Sie einen Namen und eine Beschreibung ein.
        2. Wählen Sie unter Basismodell eine der folgenden Optionen aus:
          • Das vortrainierte Basismodell, das Sie hosten.
          • Wenn Sie ein benutzerdefiniertes Modell verwenden, das anhand eines Basismodells verfeinert wurde, wählen Sie das ursprüngliche Basismodell aus, auf dem es trainiert wurde.
          • Wenn Sie ein importiertes Modell verwenden, wählen Sie dieses importierte Modell aus.
        3. Wenn Sie ein importiertes Modell ausgewählt haben, wählen Sie eine empfohlene Einheitsgröße basierend auf diesem Leitfaden aus.
        4. Für das Modellreplikat benötigen Sie mindestens eine Einheit für einen Endpunkt.
        5. Lesen Sie die Stunden der Verpflichtungseinheit für das dedizierte Hosting-KI-Cluster, und aktivieren Sie das Kontrollkästchen, um der Verpflichtung zuzustimmen.
        6. (Optional) Wählen Sie Tag hinzufügen aus, und weisen Sie diesem dedizierten KI-Cluster Tags zu. Siehe Ressourcentags.
        7. Wählen Sie Erstellen aus, und warten Sie, bis das Cluster aktiv wird.
        8. Wählen sie in der Liste Dediziertes KI-Cluster das dedizierte KI-Cluster, das Sie erstellt haben.

    Netzwerkressourcen (für vortrainierte und benutzerdefinierte Modelle)

    Wählen Sie eine der folgenden Optionen aus:
    • Öffentlicher Endpunkt
    • Privater Endpunkt: Wenn Sie diese Option auswählen, wählen Sie das Compartment für den privaten Endpunkt und dann den privaten Endpunkt aus, den Sie verwenden möchten. (Nicht verfügbar für importierte Modelle.)
    Standardmäßig haben importierte Modelle öffentliche Endpunkte.

    Leitschienen (für vortrainierte und kundenspezifische Modelle)

    Hinweis

    Guardrails sind für importierte Modelle nicht verfügbar.
    1. Wählen Sie eine Einstellung für jede Leitplanke aus. Hintergrundinformationen finden Sie unter Weitere Informationen zu Guardrails. Bevor Sie sie verwenden, finden Sie den Disclaimer auf dieser Seite.
      • Inhaltsmoderation
        • Aus: Es wird keine Inhaltsmoderation angewendet.
        • Blockieren: Hilft bei der Erkennung von Inhalten, die moderiert werden müssen, und zielt darauf ab, die Anforderung oder Antwort basierend auf Ihrer Konfiguration zu blockieren.
        • Informieren: Blockiert keinen Inhalt, zielt aber darauf ab, einen Hinweis zurückzugeben, wenn Inhalte erkannt werden, die eine Moderation erfordern
      • Schutz vor Prompt-Injection (PI)
        • Aus: Es wird kein Prompt-Injection-Schutz angewendet.
        • Blockieren: Hilft bei der Erkennung von Prompt-Injection-Versuchen und zielt darauf ab, die Anforderung basierend auf Ihrer Konfiguration zu blockieren.
        • Informieren: Blockiert die Anforderung nicht, zielt aber darauf ab, eine Anzeige zurückzugeben, wenn ein Prompt-Injection-Risiko erkannt wird.
      • Schutz personenbezogener Daten
        • Aus: Es wird kein PII-Schutz angewendet.
        • Blockieren: Hilft bei der Erkennung von personenbezogenen Daten und zielt darauf ab, die Anforderung oder Antwort basierend auf Ihrer Konfiguration zu blockieren.
        • Informieren: Blockiert keinen Inhalt, zielt aber darauf ab, einen Hinweis zurückzugeben, wenn personenbezogene Daten erkannt werden.
    2. (Optional) Wählen Sie Tag hinzufügen aus, und weisen Sie diesem Endpunkt Tags zu. Siehe Ressourcentags.
    3. Wählen Sie Erstellen aus.
      Sie werden zur Seite mit den Endpunktdetails weitergeleitet, auf der Sie den Status des Endpunkts verfolgen können.
    4. Nachdem der Endpunkt aktiv ist, wählen Sie In Playground anzeigen aus, und verwenden Sie das Modell von diesem Endpunkt aus.

  • Verwenden Sie den Befehl endpoint create und die erforderlichen Parameter, um einen Endpunkt zu erstellen:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Eine vollständige Liste der Parameter und Werte für CLI-Befehle finden Sie in der CLI-Befehlsreferenz.

    Hinweis

    Bei vortrainierten Modellen können Sie anstelle einer OCID den Modellnamen genau wie auf dem Playground der Konsole verwenden. Sie finden diesen OCI-Modellnamen auch auf der Detailseite des Modells unter Offerte vortrainierte Grundlagenmodelle in generativer KI.

  • Führen Sie den Vorgang CreateEndpoint aus, um einen Endpunkt zu erstellen.

    Hinweis

    Bei vortrainierten Modellen können Sie anstelle einer OCID den Modellnamen genau wie auf dem Playground der Konsole verwenden. Sie finden diesen OCI-Modellnamen auch auf der Detailseite des Modells unter Offerte vortrainierte Grundlagenmodelle in generativer KI.