Documentation sur Oracle Cloud Infrastructure

Cohere Embed English 3

Consultez les points de référence de performance pour le modèle cohere.embed-english-v3.0 (Cohere Embed English 3) hébergé sur une unité Embed Cohere d'une grappe dédiée à l'IA dans l'IA générative OCI.

  • Voir les détails du modèle et consulter les sections suivantes :
    • Régions disponibles pour ce modèle.
    • Grappes dédiées à l'IA pour l'hébergement de ce modèle.
  • Vérifiez les mesures.

Intégrations

Ce scénario s'applique uniquement aux modèles d'intégration. Ce scénario imite la génération d'intégration dans le pipeline d'ingestion de données d'une base de données vectorielle. Dans ce scénario, toutes les demandes ont la même taille, soit 96 documents, chacun avec 512 jetons. Un exemple serait une collection de fichiers PDF volumineux, chaque fichier contenant plus de 30 000 mots qu'un utilisateur veut ingérer dans une base de données vectorielle.

Concurrence Latence au niveau de la demande (seconde) Débit au niveau de la demande (demande par minute) (RPM)
1 2.53 24
8 4.35 108
32 14.93 120
128 47.66 150

Intégrations plus légères

Ce scénario s'applique uniquement aux modèles d'intégration. Ce scénario d'intégration plus léger est similaire au scénario d'intégration, sauf que nous réduisons la taille de chaque demande à 16 documents, chacun avec 512 jetons. Ce scénario peut prendre en charge des fichiers plus petits avec moins de mots.

Concurrence Latence au niveau de la demande (seconde) Débit au niveau de la demande (demande par minute) (RPM)
1 1.19 54
8 1.41 348
32 3.47 600
128 12.08 558