Cohere Embed English Light 3
El modelo cohere.embed-english-light-v3.0 transforma cada frase, frase o párrafo que introduzca en una matriz.
Puede utilizar los modelos de incrustación para buscar similitud en frases que sean similares en contexto o categoría. Los embebidos se suelen almacenar en una base de datos vectorial. Los embebidos se utilizan principalmente para búsquedas semánticas en las que la función de búsqueda se centra en el significado del texto que está buscando en lugar de encontrar resultados basados en palabras clave.
Disponible en esta región
- Medio Oeste de EE. UU. (Chicago)
Acceder a este modelo
Características clave
- Utilice los modelos Cohere Embed English para generar incrustaciones de texto a partir de documentos en inglés.
- Los modelos ligeros son más pequeños y rápidos que los modelos originales.
- El modelo crea un vector de 384 dimensiones para cada incrustación.
- Máximo 96 frases por carrera.
- Máximo de 512 tokens para cada entrada.
Modo bajo demanda
Este modelo está disponible bajo demanda en regiones que no se muestran como (solo cluster de IA dedicado). Consulte la siguiente tabla para ver el nombre del producto bajo demanda de este modelo en la página de precios.
| Nombre de modelo | Nombre de modelo de OCI | Nombre de producto de página de asignación de precios |
|---|---|---|
| Cohere: Embed English Light 3 | cohere.embed-english-light-v3.0 |
Embed Cohere |
-
Paga sobre la marcha por cada llamada de inferencia cuando utiliza los modelos en el patio de recreo o cuando llama a los modelos a través de la API.
- Baja barrera para empezar a utilizar la IA generativa.
- Ideal para la experimentación, la prueba de concepto y la evaluación de modelos.
- Disponible para los modelos preentrenados en regiones que no se muestran como (solo cluster de IA dedicado).
Ajuste de límite de limitación dinámica para el modo bajo demanda
OCI Generative AI ajusta dinámicamente el límite de limitación de solicitudes para cada arrendamiento activo en función de la demanda del modelo y la capacidad del sistema para optimizar la asignación de recursos y garantizar un acceso justo.
Este ajuste depende de los siguientes factores:
- Rendimiento máximo actual soportado por el modelo de destino.
- Cualquier capacidad del sistema no utilizada en el momento del ajuste.
- El uso del rendimiento histórico de cada arrendamiento y cualquier límite de sustitución especificado definido para ese arrendamiento.
Nota: Debido a la limitación dinámica, los límites de velocidad no están documentados y pueden cambiar para satisfacer la demanda en todo el sistema.
Debido al ajuste de límite de limitación dinámica, recomendamos implementar una estrategia de retroceso, que implica retrasar las solicitudes después de un rechazo. Sin una, las solicitudes rápidas repetidas pueden provocar más rechazos a lo largo del tiempo, una mayor latencia y un posible bloqueo temporal del cliente por parte del servicio de IA generativa. Al utilizar una estrategia de retroceso, como una estrategia de retroceso exponencial, puede distribuir las solicitudes de manera más uniforme, reducir la carga y mejorar el éxito de los reintentos, siguiendo las mejores prácticas del sector y mejorando la estabilidad y el rendimiento generales de su integración en el servicio.
Cluster de IA dedicado para el modelo
Para acceder a un modelo a través de un cluster de IA dedicado en cualquier región de la lista, debe crear un punto final para ese modelo en un cluster de IA dedicado. Para ver el tamaño de la unidad de cluster que coincide con este modelo, consulte la siguiente tabla.
| Modelo base | Cluster de Ajuste | Cluster de alojamiento | Información de página de asignación de precios | Aumento de límite de cluster de solicitud |
|---|---|---|---|---|
|
No disponible para ajuste |
|
|
|
-
El modelo Cohere Embed English Light 3 tiene opciones de cluster de IA tanto a demanda como dedicadas. Para el modo bajo demanda, no necesita clusters y puede acceder al modelo en el patio de juegos de la consola o a través de la API.
-
Si no tiene suficientes límites de cluster en su arrendamiento para alojar un modelo Embed en un cluster de AI dedicado, solicite que el límite
dedicated-unit-embed-cohere-countaumente en 1.
Reglas de punto final para clusters
- Un cluster de AI dedicado puede contener hasta 50 puntos finales.
- Utilice estos puntos finales para crear alias que apunten al mismo modelo base o a la misma versión de un modelo personalizado, pero no a ambos tipos.
- Varios puntos finales para el mismo modelo facilitan su asignación a diferentes usuarios o propósitos.
| Tamaño de unidad de cluster de alojamiento | Reglas de punto final |
|---|---|
| Embed Cohere |
|
-
Para aumentar el volumen de llamadas soportado por un cluster de alojamiento, aumente el recuento de instancias editando el cluster de AI dedicado. Consulte Updating a Dedicated AI Cluster.
-
Para más de 50 puntos finales por cluster, solicite un aumento del límite,
endpoint-per-dedicated-unit-count. Consulte Solicitud de un aumento del límite de servicio y Límites de servicio para la IA generativa.
Referencias de rendimiento de cluster
Revise las referencias de rendimiento de cluster de Cohere Embed English Light 3 para diferentes casos de uso.
Fechas de liberación y baja
| Modelo | Fecha de liberación | Fecha de baja bajo demanda | Fecha de baja en modo dedicado |
|---|---|---|---|
cohere.embed-english-light-v3.0
|
2.024-2-7 | 2.026-1-22 | 2.026-1-22 |
Para obtener una lista de todas las líneas de tiempo de modelo y los detalles de baja, consulte Baja de los modelos.
Datos de entrada para incrustaciones de texto
Los datos de entrada para crear incrustaciones de texto tienen los siguientes requisitos:
- Puede agregar frases, frases o párrafos para incrustar una frase a la vez o cargando un archivo.
- Solo se permiten los archivos con extensión
.txt. - Si utiliza un archivo de entrada, cada frase, frase o párrafo de entrada del archivo debe estar separado por un carácter de nueva línea.
- Se permiten un máximo de 96 entradas para cada ejecución.
- En la consola, cada entrada debe tener menos de 512 tokens para los modelos de solo texto.
- Si una entrada es demasiado larga, seleccione si desea cortar el inicio o el final del texto para que se ajuste al límite de token mediante la definición del parámetro Truncar en Iniciar o Fin. Si una entrada supera el límite de token 512 y el parámetro Truncar se define en Ninguno, aparece un mensaje de error.
- Para los modelos de texto e imagen, puede tener archivos e entradas que suman hasta 128.000 tokens.
- Para los modelos de incrustación de texto e imagen, como Cohere Embed English Image V3, puede agregar texto o agregar solo una imagen. Para la imagen, puede utilizar API. La entrada de imagen no está disponible en la consola. Para API, introduzca una imagen codificada base64 en cada ejecución. Por ejemplo, una imagen de 512 x 512 se convierte en aproximadamente 1.610 tokens.
Obtén más información sobre la creación de incrustaciones de texto en OCI Generative AI.
Parámetro de Modelo embebido
Al utilizar los modelos de embebido, puede obtener una salida diferente cambiando el siguiente parámetro.
- Truncate
-
Si se truncan los tokens de inicio o finalización en una frase, cuando esa frase supera el número máximo de tokens permitidos. Por ejemplo, una frase tiene 516 tokens, pero el tamaño máximo de token es 512. Si selecciona truncar el final, los últimos 4 tokens de esa frase se cortan.