Gestión de puntos finales
Para utilizar un modelo personalizado de OCI Generative AI para la inferencia, primero debe crear un punto final para ese modelo. También puede crear puntos finales para los modelos entrenados previamente que están disponibles en el patio de recreo.
Un punto final es un punto especificado en un cluster de IA dedicado en el que un modelo puede aceptar solicitudes de usuario y devolver respuestas como el texto generado del modelo. Puede crear un punto final en un cluster de AI dedicado de alojamiento.
Para acceder a un modelo a través de un punto final privado, primero debe crear un punto final privado y, a continuación, volver a esta página para crear un punto final para el modelo en un cluster de AI dedicado.
- Después de crear un punto final activo para un modelo personalizado, el modelo aparece en la lista de modelos del patio de recreo.
- Cada modelo personalizado puede tener más de un punto final.
- Cada cluster de AI dedicado de alojamiento puede alojar muchos puntos finales. Consulte el número de puntos finales restantes en la página de detalles del cluster de AI dedicado. Si ya no necesita un punto final de modelo personalizado, puede suprimir ese punto final y utilizar su cluster de IA dedicado asociado para alojar un nuevo punto final.
Puede realizar las siguientes tareas para crear y gestionar puntos finales para modelos personalizados: