Cohere Embed Multilingual Light 3
Consultez les points de référence de performance pour le modèle cohere.embed-multilingual-light-v3.0 (Cohere Embed Multilingual Light 3) hébergé sur une unité Embed Cohere d'une grappe dédiée à l'IA dans l'IA générative OCI.
Intégrations
Ce scénario s'applique uniquement aux modèles d'intégration. Ce scénario imite la génération d'intégration dans le pipeline d'ingestion de données d'une base de données vectorielle. Dans ce scénario, toutes les demandes ont la même taille, soit 96 documents, chacun avec 512 jetons. Un exemple serait une collection de fichiers PDF volumineux, chaque fichier contenant plus de 30 000 mots qu'un utilisateur veut ingérer dans une base de données vectorielle.
| Concurrence | Latence au niveau de la demande (seconde) | Débit au niveau de la demande (demande par minute) (RPM) |
|---|---|---|
| 1 | 1.69 | 42 |
| 8 | 3.8 | 118 |
| 32 | 14.26 | 126 |
| 128 | 37.17 | 138 |
Intégrations plus légères
Ce scénario s'applique uniquement aux modèles d'intégration. Ce scénario d'intégration plus léger est similaire au scénario d'intégration, sauf que nous réduisons la taille de chaque demande à 16 documents, chacun avec 512 jetons. Ce scénario peut prendre en charge des fichiers plus petits avec moins de mots.
| Concurrence | Latence au niveau de la demande (seconde) | Débit au niveau de la demande (demande par minute) (RPM) |
|---|---|---|
| 1 | 1.03 | 54 |
| 8 | 1.35 | 300 |
| 32 | 3.11 | 570 |
| 128 | 11.5 | 888 |