Limitaciones del modelo en la IA generativa

Revisa los siguientes requisitos de modelo para los modelos base y personalizados de OCI Generative AI para aprovechar al máximo tus modelos.

Nota

Para conocer las funciones clave de los modelos base previamente entrenados, consulte Modelos básicos previamente entrenados en IA generativa.

Coincidencia de Modelos Base con Clusters

Para alojar un modelo personalizado o preentrenado de OCI Generative AI en un cluster de IA dedicado de alojamiento, vaya a Modelos básicos preentrenados en IA generativa. A continuación, seleccione el modelo previamente entrenado o el modelo base del modelo personalizado. En la sección Cluster de AI dedicado para el modelo de la página, consulte el tamaño de la unidad y las unidades necesarias para alojar ese modelo básico.

Adición de puntos finales a clusters de alojamiento

Para alojar un modelo para inferencia en un cluster de IA dedicado de hosting, debe crear un punto final para ese modelo. A continuación, puede agregar un modelo personalizado o un modelo básico previamente entrenado a ese punto final.

Acerca de los alias de punto final y el servicio de pila

Un cluster de IA dedicado de hosting puede tener hasta 50 puntos finales. Utilice estos puntos finales para los siguientes casos de uso:

Creación de alias de punto final: Cree alias con muchos puntos finales. Estos 50 puntos finales deben apuntar al mismo modelo base o a la misma versión de un modelo personalizado. La creación de muchos puntos finales que apunten al mismo modelo facilita la gestión de los puntos finales, ya que puede utilizar los puntos finales para diferentes usuarios o para diferentes fines.
Servicio de pila: Alojar varias versiones de un modelo personalizado en un cluster. Esto se aplica a los modelos cohere.command y cohere.command-light que se ajustan con el método de formación T-Few. Alojamiento de varias versiones de un modelo ajustado puede ayudarle a evaluar los modelos personalizados para diferentes casos de uso.

Consejo

Para aumentar el volumen de llamadas soportado por un cluster de alojamiento, puede aumentar su recuento de instancias.

Amplíe las siguientes secciones para revisar los requisitos para alojar modelos en el mismo cluster.

Chat

Importante

Algunos modelos base preentrenados fundamentales de OCI Generative AI soportados para el modo de servicio dedicado ahora están en desuso y se retirarán antes de que transcurran 6 meses desde el lanzamiento del 1^er modelo de reemplazo. Puede alojar un modelo base o ajustar un modelo base y alojar el modelo ajustado en un cluster de IA dedicado (modo de servicio dedicado) hasta que el modelo base se retiró. Para conocer las fechas de baja del modo de servicio dedicado, consulte Baja de los modelos.

Para alojar los modelos de chat base previamente entrenados o modelos de chat ajustados en un cluster de IA dedicado de alojamiento, utilice las siguientes reglas de punto final y tamaño de unidad de cluster que coincidan con cada modelo base.


Tamaño de unidad de cluster de alojamiento	Reglas de coincidencia
Large Generic 2 para el modelo base, `meta.llama-4-maverick-17b-128e-instruct-fp8`	Modelos de base de alojamiento Para alojar el mismo modelo base previamente entrenado a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `meta.llama-4-maverick-17b-128e-instruct-fp8` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados El ajuste no está disponible para el modelo `meta.llama-4-maverick-17b-128e-instruct-fp8`.
Large Generic V2 para el modelo base, `meta.llama-4-scout-17b-16e-instruct`	Modelos de base de alojamiento Para alojar el mismo modelo base previamente entrenado a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `meta.llama-4-scout-17b-16e-instruct` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados El ajuste no está disponible para el modelo `meta.llama-4-scout-17b-16e-instruct`.
LARGE_COHERE_V3 para el modelo base, `cohere.command-a-03-2025`	Modelos de base de alojamiento Para alojar el mismo modelo base previamente entrenado a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `cohere.command-a-03-2025` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados El ajuste no está disponible para el modelo `cohere.command-a-03-2025`.
Small Generic V2 para el modelo base, `meta.llama-3.2-11b-vision-instruct`	Modelos de base de alojamiento Para alojar el mismo modelo base previamente entrenado a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `meta.llama-3.2-11b-vision-instruct` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados El ajuste no está disponible para el modelo `meta.llama-3.2-11b-vision-instruct`.
Large Generic para el modelo base, `meta.llama-3.3-70b-instruct`	Modelos de base de alojamiento Para alojar el mismo modelo base previamente entrenado a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `meta.llama-3.3-70b-instruct` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados Para alojar varios modelos personalizados en el mismo cluster: Ajuste un modelo con el método de entrenamiento `LoRA`. Utilice el modelo `meta.llama-3.3-70b-instruct` como base. Cree tantos puntos finales como sea necesario para el modelo personalizado (misma versión).
Large Generic para el modelo base, `meta.llama-3.1-70b-instruct`	Modelos de base de alojamiento Para alojar el mismo modelo base previamente entrenado a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `meta.llama-3.1-70b-instruct` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados Para alojar varios modelos personalizados en el mismo cluster: Ajuste un modelo con el método de entrenamiento `LoRA`. Utilice el modelo `meta.llama-3.1-70b-instruct` como base. Cree tantos puntos finales como sea necesario para el modelo personalizado (misma versión).
Large Generic para el modelo base, `meta.llama-3-70b-instruct`	Modelos de base de alojamiento Para alojar el mismo modelo base previamente entrenado a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `meta.llama-3-70b-instruct` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados Para alojar varios modelos personalizados en el mismo cluster: Ajuste un modelo con el método de entrenamiento `LoRA`. Utilice el modelo `meta.llama-3-70b-instruct` como base. Cree tantos puntos finales como sea necesario para el modelo personalizado (la misma versión).
Large Generic V2 para el modelo base, `meta.llama-3.2-90b-vision-instruct`	Modelos de base de alojamiento Para alojar el mismo modelo base previamente entrenado a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `meta.llama-3.2-90b-vision-instruct` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados El ajuste no está disponible para el modelo `meta.llama-3.2-90b-vision-instruct`.
Large Generic 2 para el modelo base, `meta.llama-3.1-405b-instruct`	Modelos de base de alojamiento Para alojar el mismo modelo base entrenado previamente a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `meta.llama-3.1-405b-instruct` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados El ajuste no está disponible para el modelo `meta.llama-3.1-405b-instruct`.
Small Cohere V2 para el modelo base, `cohere.command-r-16k` (en desuso)	Modelos de base de alojamiento Para alojar el mismo modelo base entrenado previamente a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `cohere.command-r-16k` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados Para alojar varios modelos personalizados en el mismo cluster: Ajuste un modelo con el método de entrenamiento `T-Few` o `Vanilla`. Utilice el modelo `cohere.command-r-16k` como base. Cree tantos puntos finales como sea necesario para el modelo personalizado (la misma versión). No puede alojar diferentes versiones de un modelo personalizado entrenado en el modelo base `cohere.command-r-16k` en el mismo cluster, ya que el servicio de pila no está soportado.
Small Cohere V2 para el modelo base, `cohere.command-r-08-2024`	Modelos de base de alojamiento Para alojar el mismo modelo base entrenado previamente a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `cohere.command-r-08-2024` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados Para alojar varios modelos personalizados en el mismo cluster: Ajuste un modelo con el método de entrenamiento `T-Few` o `Vanilla`. Utilice el modelo `cohere.command-r-08-2024` como base. Cree tantos puntos finales como sea necesario para el modelo personalizado (la misma versión). No puede alojar diferentes versiones de un modelo personalizado entrenado en el modelo base `cohere.command-r-16k` en el mismo cluster, ya que el servicio de pila no está soportado.
Large Cohere V2_2 para el modelo base, `cohere.command-r-plus` (en desuso)	Modelos de base de alojamiento Para alojar el mismo modelo base entrenado previamente a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `cohere.command-r-plus` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados El ajuste no está disponible para el modelo `cohere.command-r-plus`.
Large Cohere V2_2 para el modelo base, `cohere.command-r-plus-08-2024`	Modelos de base de alojamiento Para alojar el mismo modelo base entrenado previamente a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `cohere.command-r-plus-08-2024` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados El ajuste no está disponible para el modelo `cohere.command-r-plus-08-2024`.

Rerank

Para alojar el modelo de rerank en un cluster de IA dedicado de alojamiento, utilice las siguientes reglas de punto final y tamaño de unidad de cluster.


Tamaño de unidad de cluster de alojamiento	Reglas de coincidencia
RERANK_COHERE	Modelos de base de alojamiento Para alojar el mismo modelo base entrenado previamente a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `cohere.rerank.3-5` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados Ajuste no disponible para el modelo Cohere Rerank.

Embeber

Para alojar los modelos embebidos en un cluster AI dedicado de alojamiento, utilice las siguientes reglas de punto final y tamaño de unidad de cluster.


Tamaño de unidad de cluster de alojamiento	Reglas de coincidencia
Embed Cohere	Modelos de base de alojamiento Para alojar el mismo modelo base entrenado previamente a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para uno de los modelos Cohere Embed previamente entrenados en el mismo cluster de alojamiento. Alojamiento de modelos personalizados Ajuste no disponible para los modelos Cohere Embed.

Generación de texto (en desuso)

Importante

No disponible bajo demanda: todos los modelos preentrenados fundamentales de OCI Generative AI soportados para el modo de servicio bajo demanda que utilizan las API de generación y resumen de texto (incluido el patio de recreo) ahora están retirados. Le recomendamos que utilice las modelos de chat en su lugar.
Se puede alojar en clusters: si aloja un modelo de generación o resumen, como cohere.command, en un cluster de IA dedicado (modo de servicio dedicado), puede seguir utilizando ese modelo hasta que se reciba. Estos modelos, cuando se alojan en un cluster de IA dedicado, solo están disponibles en el medio oeste de EE. UU. (Chicago). Consulte Baja de los modelos para conocer las fechas y definiciones de baja.

Para alojar los modelos de generación de texto en un cluster de AI dedicado de alojamiento, utilice las siguientes reglas de punto final y tamaño de unidad de cluster que coincidan con el modelo base.


Tamaño de unidad de cluster de alojamiento	Reglas de coincidencia
Small Cohere para el modelo base, `cohere.command-light`	Modelos base de alojamiento Para alojar el mismo modelo base entrenado previamente a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `cohere.command-light` en el mismo cluster de alojamiento. Alojamiento de modelos personalizados Para alojar diferentes modelos personalizados en el mismo cluster: Ajuste todos los modelos con el método de entrenamiento `T-Few`. Utilice el modelo `cohere.command-light` como base. Asegúrese de que todos los modelos base tengan la misma versión. Cree un punto final para cada modelo en el mismo cluster de alojamiento.
Large Cohere para el modelo base, `cohere.command`	Modelos base de alojamiento Para alojar el mismo modelo base entrenado previamente a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `cohere.command` con la misma versión en el mismo cluster de alojamiento. Alojamiento de modelos personalizados Para alojar diferentes modelos personalizados en el mismo cluster: Ajuste todos los modelos con el método de entrenamiento `T-Few`. Utilice el modelo `cohere.command` como base. Asegúrese de que todos los modelos base tengan la misma versión. Agregue un punto final al cluster de alojamiento para cada modelo.
Llama2 70 para el modelo base, `meta.llama-2-70b-chat`	Modelos base de alojamiento Para alojar el mismo modelo base entrenado previamente a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `meta.llama-2-70b-chat` en el mismo cluster de alojamiento.

Resumen (en desuso)

Importante

El modelo cohere.command soportado para el modo de servicio bajo demanda ahora se ha dado de baja y este modelo está en desuso para el modo de servicio dedicado. Si aloja cohere.command en un cluster de IA dedicado (modo de servicio dedicado) para el resumen, puede seguir utilizando esta réplica de modelo alojado con la API de resumen y en el patio de recreo hasta que el modelo cohere.command se retire para el modo de servicio dedicado. Estos modelos, cuando se alojan en un cluster de IA dedicado, solo están disponibles en el medio oeste de EE. UU. (Chicago). Consulte Baja de los modelos para conocer las fechas y definiciones de baja. Le recomendamos que utilice los modelos de chat en su lugar, que ofrecen las mismas capacidades de resumen, incluido el control de la longitud y el estilo del resumen.

Para alojar el modelo de resumen cohere.command previamente entrenado en un cluster de AI dedicado de alojamiento, utilice las siguientes reglas de punto final y tamaño de unidad de cluster.


Tamaño de unidad de cluster de alojamiento	Reglas de coincidencia
Large Cohere para el modelo base, `cohere.command`	Modelos base de alojamiento Para alojar el mismo modelo base entrenado previamente a través de varios puntos finales en el mismo cluster: Cree tantos puntos finales como sea necesario para el modelo `cohere.command` con la misma versión en el mismo cluster de alojamiento. Alojamiento de modelos personalizados Para alojar diferentes modelos personalizados en el mismo cluster: Ajuste todos los modelos con el método de entrenamiento `T-Few`. Utilice el modelo `cohere.command` como base. Asegúrese de que todos los modelos base tengan la misma versión. Agregue un punto final al cluster de alojamiento para cada modelo.

Datos de entrenamiento

Los juegos de datos para entrenar modelos personalizados tienen los siguientes requisitos:

Se permite un máximo de un juego de datos de ajuste por modelo personalizado. Este conjunto de datos se divide aleatoriamente en una relación de 80:20 para el entrenamiento y la validación.
Cada archivo debe tener al menos 32 ejemplos de pares de petición de datos/finalización.
El formato de archivo es JSONL.
Cada línea en el archivo JSONL tiene el siguiente formato:
{"prompt": "<a prompt>", "completion": "<expected response given the prompt>"}\n
El archivo se debe almacenar en un cubo de OCI Object Storage.

Obtén más información sobre Formación de requisitos de datos en IA generativa.

Datos de entrada para incrustaciones de texto

Los datos de entrada para crear incrustaciones de texto tienen los siguientes requisitos:

Puede agregar oraciones, frases o párrafos para incrustar una frase a la vez o cargando un archivo.
Sólo se permiten los archivos con la extensión .txt.
Si utiliza un archivo de entrada, cada frase, frase o párrafo de entrada del archivo se debe separar con un carácter de nueva línea.
Se permite un máximo de 96 entradas para cada ejecución.
En la consola, cada entrada debe tener menos de 512 tokens para los modelos de solo texto.
Si una entrada es demasiado larga, seleccione si desea cortar el inicio o el final del texto para que se ajuste al límite de token mediante la definición del parámetro Truncar en Iniciar o Fin. Si una entrada supera el límite de token 512 y el parámetro Truncar se define en Ninguno, aparece un mensaje de error.
Para los modelos de texto e imagen, puede tener archivos e entradas que suman hasta 128.000 tokens.
Para los modelos de incrustación de texto e imagen, como Cohere Embed English Image V3, puede agregar texto o agregar solo una imagen. Para la imagen, puede utilizar API. La entrada de imagen no está disponible en la consola. Para API, introduzca una imagen codificada base64 en cada ejecución. Por ejemplo, una imagen de 512 x 512 se convierte en aproximadamente 1.610 tokens.

Obtén más información sobre la creación de incrustaciones de texto en OCI Generative AI.