Acerca de la baja de modelos
OCI Generative AI retira sus grandes modelos de lenguaje (LLM) en función del tipo y modo de servicio de cada modelo. Los LLM atienden las solicitudes del usuario en un modo bajo demanda o en un modo dedicado. Revise las siguientes secciones para obtener información sobre cada modo de servicio y cómo se le puede notificar antes de que un modelo se retire.
Modo bajo demanda
-
Paga sobre la marcha por cada llamada de inferencia cuando utiliza los modelos en el patio de recreo o cuando llama a los modelos a través de la API.
- Baja barrera para empezar a utilizar la IA generativa.
- Ideal para experimentar, probar conceptos y evaluar los modelos.
- Disponible para los modelos preentrenados en regiones que no se muestran como (solo cluster de IA dedicado).
Para garantizar un acceso fiable a los modelos de IA generativa en el modo bajo demanda, recomendamos implementar una estrategia de retroceso, que implica retrasar las solicitudes después de un rechazo. Sin una, las solicitudes rápidas repetidas pueden provocar más rechazos a lo largo del tiempo, una mayor latencia y un posible bloqueo temporal del cliente por parte del servicio de IA generativa. Al utilizar una estrategia de retroceso, como una estrategia de retroceso exponencial, puede distribuir las solicitudes de manera más uniforme, reducir la carga y mejorar el éxito de los reintentos, siguiendo las mejores prácticas del sector y mejorando la estabilidad y el rendimiento generales de su integración en el servicio.
- Baja para modo bajo demanda
-
Cuando un modelo se retira en el modo bajo demanda, ya no está disponible para su uso en el patio de juegos de servicios de IA generativa o a través de la API de inferencia de IA generativa.
- Desuso para el modo bajo demanda
-
Cuando un modelo está en desuso en el modo bajo demanda, permanece disponible en el servicio de IA generativa, pero tiene una cantidad de tiempo definida que se puede usar antes de que se dé de baja. Esta cantidad de tiempo es más larga para el modo dedicado.
Para los modelos de OCI Generative AI, consulte las fechas de retirada de modelos (modo bajo demanda).
Modo dedicado
- Obtienes un conjunto dedicado de GPU para los clusters de IA dedicados.
- Puede crear modelos personalizados en los clusters de IA dedicados mediante el ajuste de un subjuego de los Modelos básicos previamente entrenados en IA generativa que se muestran para el ajuste.
- Puede alojar réplicas de los modelos básicos y ajustados en los clusters de IA dedicados.
- Se compromete con antelación a determinadas horas de uso de los clusters de IA dedicados. Para ver los precios, consulte la página de precios.
- Disponible para los modelos previamente entrenados en todas las regiones de la lista.
- Obtiene un rendimiento predecible y es adecuado para cargas de trabajo de producción.
- Baja para modo dedicado
-
Cuando se retira un modelo en el modo dedicado, ya no se puede crear un cluster de IA dedicado para el modelo retirado, pero se sigue ejecutando un cluster de IA dedicado activo que ejecuta un modelo retirado. Un modelo personalizado que se está ejecutando en un modelo retirado también sigue estando disponible para clusters de IA dedicados activos y puede seguir creando nuevos clusters de IA dedicados con un modelo personalizado que se creó en un modelo retirado. Sin embargo, Oracle ofrece soporte limitado para estos escenarios, y es posible que la ingeniería de Oracle le pida que actualice a un modelo soportado para resolver problemas relacionados con su modelo.
Para solicitar que un modelo permanezca activo más tiempo que la fecha de jubilación en un modo dedicado, cree un ticket de soporte.
- Desuso para modo dedicado
-
Cuando un modelo está en desuso en el modo dedicado, permanece disponible en el servicio de IA generativa, pero tiene una cantidad de tiempo definida que se puede usar antes de que se dé de baja. El tiempo de desuso del modo dedicado es más largo que el tiempo de desuso bajo demanda del mismo modelo.
Para los modelos de OCI Generative AI, consulte las fechas de retirada de modelos (modo dedicado).
Obtención de notificaciones para fechas de jubilación
Puede suscribirse al servicio OCI Notifications para recibir notificaciones sobre las fechas de baja del modelo. Cuando se suscribe, recibe mensajes de desuso y baja de modelo con la siguiente cadencia:
- Modo bajo demanda: 14 y 7 días antes de la fecha de baja del modelo.
- Modo dedicado: 90, 60, 30 y 7 días antes de la fecha de baja del modelo.
Descubra cómo suscribirse a los anuncios de OCI para recibir notificaciones. Al crear el anuncio, para el servicio, seleccione Oracle Cloud Infrastructure Generative AI Service.