Gestión de puntos finales de modelo
Utiliza puntos finales de modelo para enviar solicitudes de inferencia a modelos previamente entrenados, personalizados o importados alojados en clusters de IA dedicados en OCI Generative AI.
Un punto final de modelo es un punto de acceso con nombre independiente en el que un modelo acepta solicitudes de inferencia y devuelve respuestas. Puede crear un punto final de modelo en un cluster de AI dedicado de alojamiento. Un modelo alojado en modo bajo demanda no necesita un punto final de modelo en un cluster de IA dedicado.
Cómo los puntos finales de modelo utilizan un cluster de alojamiento
Un cluster de IA dedicado de alojamiento debe tener al menos una réplica de modelo. Las réplicas de modelos utilizan unidades de IA dedicadas y proporcionan los recursos informáticos para la inferencia. Los puntos finales de modelo utilizan el modelo y los recursos informáticos aprovisionados en el cluster.
La creación de puntos finales de modelo adicionales no agrega réplicas de modelo ni aumenta el rendimiento de inferencia del cluster. Para aumentar el rendimiento, agregue réplicas de modelos al cluster de alojamiento.
Al crear un cluster de alojamiento, se selecciona un modelo base previamente entrenado, el modelo base para un modelo personalizado o un modelo importado específico. El modelo utilizado por un punto final debe ser compatible con la selección de cluster y su unidad. Los modelos no relacionados no pueden compartir el mismo cluster. Para conocer la compatibilidad de punto final y cluster específicos del modelo, consulte la página de modelo correspondiente.
Los clusters de alojamiento para modelos importados no requieren el compromiso mínimo de 744 horas de unidades que se aplica a los clusters de alojamiento para modelos personalizados y preentrenados de OCI Generative AI. Esta diferencia de facturación no elimina el requisito de crear un punto final de modelo para acceder a un modelo importado. Consulte Unidades de unidad de hardware para modelos importados.
Capacidad de punto final
Por defecto, un cluster de IA dedicado de alojamiento puede tener hasta 50 puntos finales de modelo. En la página de detalles del cluster de AI dedicado, Capacidad de punto final restante muestra cuántos puntos finales de modelo adicionales puede soportar el cluster con su límite actual. Por ejemplo, un cluster con una capacidad de 50 y un punto final existente muestra una capacidad de punto final restante de 49.
Puede crear varios puntos finales como alias para un modelo compatible y utilizarlos para diferentes usuarios, aplicaciones o fines. Cuando está soportado, cada punto final puede tener su propia configuración de punto final, como el acceso a la red pública o privada y la configuración de la guía. Los puntos finales comparten los recursos informáticos y las réplicas de modelos aprovisionadas en el cluster.
Si ya no necesita un punto final, suprima el punto final para que pueda utilizar la capacidad de punto final disponible del cluster para otro punto final.
Para más de 50 puntos finales en un cluster de alojamiento, solicite un aumento del límite de servicio para
endpoint-per-dedicated-unit-count. Consulte Límites de servicio para la IA generativa.Puntos finales de modelo y puntos finales privados
Un punto final de modelo y un punto final privado sirven para diferentes fines. Un punto final de modelo proporciona acceso a un modelo alojado en un cluster de IA dedicado. Un punto final privado proporciona una ruta de red privada a OCI Generative AI a través de una red virtual en la nube (VCN).
Para acceder a un modelo en un cluster de IA dedicado a través de una red privada, primero cree un punto final privado. A continuación, al crear el punto final del modelo en el cluster, seleccione el punto final privado para el acceso a la red.
Tareas de Gestión
Después de crear un punto final activo para un modelo personalizado o importado, el modelo está disponible en la lista de modelos del patio de recreo.
Puede realizar las siguientes tareas para crear y gestionar puntos finales de modelo: