Oracle Cloud Infrastructure-Dokumentation

Cohere Embed 4

Cohere Embed 4 (cohere.embed-v4.0) ist ein multimodales Einbettungsmodell, das Einbettungen aus Text, einem Bild oder Text und einem Bild in derselben API-Payload generiert. Die Bildeingabe ist nur über die API verfügbar.

Regionen für dieses Modell

Wichtig

Für unterstützte Regionen, Endpunkttypen (On-Demand- oder dedizierte KI-Cluster) und Hosting (OCI Generative AI oder externe Aufrufe) für dieses Modell finden Sie auf der Seite Modelle nach Region. Details zu den Regionen finden Sie auf der Seite Regionen für generative KI.

Wichtige Features

  • Matryoshka-Einbettungen: Unterstützt die Ausgabedimensionen 256, 512, 1.024 und 1.536. Dieses Feature wird in Embed 3-Modellen nicht unterstützt.
  • Eingabegrenzwerte:
    • Konsole: Bis zu 96 Texteingaben pro Ausführung, wobei jede Texteingabe unter 512 Token steht. Dieses Limit gilt für den On-Demand-Modus.
    • SDK und API: Bis zu 128.000 Eingabetoken insgesamt pro Ausführung.
  • Ausgabedimensionen:
    • Konsole:1.536
    • API: 1.536 standardmäßig; unterstützt 256, 512, 1.024 und 1.536
  • Eingabemodus:
    • API: Unterstützt nur Text, nur ein Bild oder mehrere Texteingaben mit einem Bild in derselben Payload.
    • Pro Payload ist nur ein Image zulässig.
    • Die Bildeingabe ist nur über die API verfügbar.
  • Bildeingabe:
    • Erfordert ein base64-codiertes Image.
    • Ein 512 x 512-Abbild enthält etwa 1.610 Token.
  • Sprachunterstützung:
    • Text: Englisch und mehrsprachig
    • Bild: Nur Englisch

Text und Bild in der EmbedText-API verwenden

Um ein Bild mit Text einzuschließen, verwenden Sie das Attribut embedContents im Anforderungsbody EmbedTextDetails für die API EmbedText.

Das Attribut embedContents ist ein Array und wird nur für Embed 4-Modelle unterstützt. Jedes Element im Array ist ein EmbedContent-Objekt. Ein EmbedContent-Objekt kann Textinhalt oder Bildinhalt enthalten.

Verwenden Sie embedContents, wenn Sie Text und Bildinhalt in derselben EmbedText-Anforderung senden möchten. Sie können mehrere Texteinträge und ein Bild bis zur maximalen Eingabegröße einschließen.

Die anderen Parameter für die EmbedText-API bleiben unverändert.

Wichtig

Das Attribut embedContents wird nur von Embed 4-Modellen unterstützt. Verwenden Sie embedContents nicht mit Embed 3-Modellen.

Bedarfsgesteuerter Modus

Der On-Demand-Modus ist Pay-as-you-go und eignet sich für Experimente, Proof-of-Concept-Arbeit und Modellauswertung. Auf der Seite "Preisfindung" wird dieses Modell wie folgt aufgeführt:

Modellname OCI-Modellname Preisfindungsseite - Produktname
Cohere Cohere Embed 4 cohere.embed-v4.0 Embed Cohere
Wichtig

Änderung des dynamischen Throttling-Limits für On-Demand-Modus

OCI Generative AI passt das Throttling-Limit für Anforderungen für jeden aktiven Mandanten basierend auf dem Modellbedarf und der Systemkapazität dynamisch an, um die Ressourcenzuweisung zu optimieren und einen fairen Zugriff sicherzustellen. Aufgrund der dynamischen Drosselung sind die Ratengrenzwerte nicht dokumentiert und können sich ändern, um den systemweiten Bedarf zu decken.

Tipp

Da sich Ratenlimits ändern können, empfehlen wir die Implementierung einer Back-off-Strategie, bei der Anforderungen nach einer Ablehnung verzögert werden. Ohne eine können wiederholte schnelle Anforderungen im Laufe der Zeit zu weiteren Ablehnungen, erhöhter Latenz und potenzieller vorübergehender Blockierung des Clients durch den Generative AI-Service führen. Durch die Verwendung einer Back-off-Strategie, wie z. B. einer exponentiellen Back-off-Strategie, können Sie Anforderungen gleichmäßiger verteilen, die Last reduzieren und den Wiederholungserfolg verbessern. Befolgen Sie die Best Practices der Branche, und verbessern Sie die allgemeine Stabilität und Performance der Integration in den Service.

Dediziertes KI-Cluster für das Modell

Für Modelle im On-Demand-Modus sind keine Cluster erforderlich. Greifen Sie über den Console Playground und die API darauf zu. Verwenden Sie für Modelle, die im dedizierten Modus verfügbar sind, Endpunkte, die in dedizierten KI-Clustern erstellt wurden. Weitere Informationen zum dedizierten Modus.

Dieses Modell ist nicht für die Feinabstimmung verfügbar. Informationen zu den Hardwareeinheitenausprägungen, verfügbaren Regionen, Servicelimits, Anzahl der KI-Einheiten und Kostenschätzung für ein dediziertes KI-Cluster, das dieses Modell hostet, finden Sie unter Hardwareeinheitenausprägungen nach Region.

Allgemeine Legacy-Ausprägungen

Wichtig

Veraltete generische Cohere-Ausprägungen werden von generativer KI eingestellt. Während des Ruhestandszeitraums bleiben diese Ausprägungen nur in der API verfügbar. Wenn Sie die API verwenden, werden möglicherweise sowohl die Legacy-generischen Ausprägungen als auch die neuen Hardwareeinheitenausprägungen angezeigt, bis die Legacy-generischen Ausprägungen aus dem Service entfernt werden.

Verwenden Sie diesen Abschnitt nur, wenn Sie über ein dediziertes KI-Cluster verfügen, das eine allgemeine Legacy-Cohere-Ausprägung verwendet, oder wenn Sie die API verwenden, um ein Cluster mit einer allgemeinen Legacy-Cohere-Ausprägung während des Ablaufzeitraums zu erstellen. Verwenden Sie für neue dedizierte KI-Cluster die Hardwareeinheitenausprägungen, die unter Hardwareeinheitenausprägungen nach Region aufgeführt sind.

Um ein Modell über ein dediziertes KI-Cluster in einer beliebigen aufgelisteten Region zu erreichen, müssen Sie einen Endpunkt für dieses Modell in einem dedizierten KI-Cluster erstellen. Die Größe der Clustereinheit, die mit diesem Modell übereinstimmt, finden Sie in der folgenden Tabelle.

Basismodell Optimierungscluster Hostingcluster Preisfindungsseiteninformationen Erhöhung des Clusterlimits anfordern
  • Modellname: Cohere Embed 4
  • OCI-Modellname: cohere.embed-v4.0
 Nicht für Feinabstimmung verfügbar
  • Einheit: Embed Cohere
  • Erforderliche Maßeinheiten: 1
  • Produktname der Preisseite: Embed Cohere - Dedicated
  • Für Hosting Multiply the Unit Price: x1
  • Limitname: dedicated-unit-embed-cohere-count
  • Für Hosting erhöhen Sie das Limit um: 1

Endpunktregeln für Cluster

  • Ein dediziertes KI-Cluster kann bis zu 50 Endpunkte enthalten.
  • Verwenden Sie diese Endpunkte, um Aliasnamen zu erstellen, die alle entweder auf das gleiche Basismodell oder auf die gleiche Version eines benutzerdefinierten Modells verweisen, nicht jedoch auf beide Typen.
  • Mehrere Endpunkte für dasselbe Modell erleichtern die Zuweisung zu verschiedenen Benutzern oder Zwecken.
  • Endpunkte verwenden die Modellreplikate und Compute-Ressourcen gemeinsam, die im Cluster bereitgestellt werden. Das Erstellen zusätzlicher Endpunkte erhöht den Inferenzdurchsatz nicht.
Tipp

Clusterperformancebenchmarks

Prüfen Sie die Performancebenchmarks für Cohere Embed 4-Cluster für verschiedene Anwendungsfälle.

Eingabedaten für Texteinbettungen

Bei Texteinbettungen können Sie Sätze, Ausdrücke oder Absätze hinzufügen. In der Konsole können Sie Text direkt eingeben oder eine .txt-Datei hochladen.

Wenn Sie eine Eingabedatei verwenden, trennen Sie jeden Eingabesatz, jede Wortgruppe oder jeden Absatz mit einem Zeilenvorschubzeichen.

Konsolenlimits:

  • Maximale 96 Texteingaben pro Ausführung
  • Jede Texteingabe muss unter 512 Token stehen

SDK- und API-Limits:

  • Bis zu 128.000 Eingabetoken insgesamt pro Ausführung
  • Texteingaben und Bildeingaben werden zusammen auf das gesamte Eingabetokenlimit angerechnet
  • Pro Payload ist nur ein Image zulässig
  • Bildeingabe muss base64-codiert sein

Wenn eine Eingabe zu lang ist, verwenden Sie den Parameter truncate, um den Start oder das Ende der Eingabe zu kürzen. Wenn die Eingabe den Tokengrenzwert überschreitet und truncate auf None gesetzt ist, gibt die Anforderung einen Fehler zurück.

Parameter für Einbettungsmodelle

Sie können die folgenden Parameter ändern, wenn Sie Einbettungsmodelle verwenden.

Abschneiden (truncate)

Schneidet Token am Anfang oder Ende ab, wenn die Eingabe den maximalen Tokengrenzwert überschreitet.

Einbettungstypen (embeddingTypes)

Unterstützte Werte:

  • float (Standard)
  • int8
  • uint8
  • binary
  • ubinary
  • base64
Ausgabedimensionen (outputDimensions)

Unterstützte Werte:

  • 256
  • 512
  • 1024
  • 1536 (Standard)

Von "Embed 3" zu "Embed 4" migrieren

Bei der Migration von "3 einbetten" zu "Embed 4" wird empfohlen, die Vektorgröße von 1.024 in 1.536 Dimensionen zu ändern und einen neuen Index zu verwenden, um Ausfallzeiten zu vermeiden.

  1. Neuen Vektorindex erstellen

    Erstellen Sie einen neuen Index oder eine neue Collection in Ihrer Vektordatenbank, die für 1.536 Dimensionen konfiguriert ist.

  2. Daten erneut einbetten

    Verarbeiten Sie die Quelldokumente erneut mit cohere.embed-v4.0, und setzen Sie outputDimensions=1536. Speichern Sie die neuen Einbettungen im neuen Index.

  3. Abfragelogik aktualisieren

    Aktualisieren Sie die Anwendung so, dass Embed 4 für eingehende Suchabfragen verwendet wird. Verwenden Sie:
    • input_type="search_query" für Abfragen
    • input_type="search_document" für gespeicherte Dokumente

  4. Ausschneiden

    Nachdem der neue Index vollständig aufgefüllt und getestet wurde, aktualisieren Sie die Anwendung so, dass der neue Index der 1.536-Dimension verwendet wird.