Cohere Embed English Light 3
Passez en revue les tests d'évaluation des performances du modèle cohere.embed-english-light-v3.0 (Cohere Embed English Light 3) hébergé sur une unité Embed Cohere d'un cluster d'IA dédié dans OCI Generative AI.
Imbriqués
Ce scénario s'applique uniquement aux modèles d'intégration. Ce scénario imite la génération d'intégration dans le cadre du pipeline d'ingestion de données d'une base de données vectorielle. Dans ce scénario, toutes les demandes ont la même taille, soit 96 documents, chacun avec 512 jetons. Par exemple, un ensemble de fichiers PDF volumineux, chaque fichier contenant plus de 30 000 mots qu'un utilisateur souhaite ingérer dans une base de données vectorielle.
| Accès simultané | Latence de niveau demande (seconde) | Débit au niveau de la demande (demande par minute) (RPM) |
|---|---|---|
| 1 | 1,75 | 30 |
| 8 | 3,93 | 108 |
| 32 | 14,44 | 113 |
| 128 | 48 | 120 |
Embeddings plus légers
Ce scénario s'applique uniquement aux modèles d'intégration. Ce scénario d'intégration plus léger est similaire au scénario d'intégration, sauf que nous réduisons la taille de chaque demande à 16 documents, chacun avec 512 jetons. Des fichiers plus petits avec moins de mots pourraient être pris en charge par ce scénario.
| Accès simultané | Latence de niveau demande (seconde) | Débit au niveau de la demande (demande par minute) (RPM) |
|---|---|---|
| 1 | 0,85 | 48 |
| 8 | 1,15 | 354 |
| 32 | 3,15 | 594 |
| 128 | 11,26 | 846 |