Llamada a un despliegue de modelo mediante un punto final privado
Solo se puede acceder a un despliegue de modelo configurado con un punto final privado a través de una red privada. No se puede acceder a él a través de un punto final público.
Esta función solo está disponible en el dominio OC1. Para otros dominios, cree una solicitud de servicio.
Los siguientes pasos de la consola garantizan que la aplicación pueda acceder al punto final privado:
- Configure la red virtual en el cloud (VCN) y la subred.
La conexión de punto final privado está en el nivel de VCN. Si tiene muchas subredes por VCN, solo debe crear un punto final privado para esa VCN. Asegúrese de que las reglas de seguridad cumplen los requisitos.
- (Opcional) Configure Grupos de seguridad de redes.
- Asegúrese de que la subred proporcione acceso al recurso de punto final privado mediante la configuración de una regla de seguridad para la entrada.
- Asegúrese de que la subred tenga direcciones IP disponibles.
Si no hay direcciones IP disponibles en la subred especificada, la solicitud de trabajo para crear el punto final privado falla. Para obtener más información, consulte Private Endpoint Creation Failure.
Cuando se puede acceder al recurso de punto final desde la aplicación, la solicitud de predicción para el despliegue del modelo se puede llamar a través de la URL de punto final privado.
Para llamar a un despliegue de modelo a través de un punto final privado desde la CLI, utilice el comando de ejemplo y los parámetros necesarios. Si la instancia de sesión de bloc de notas se utiliza para acceder a un despliegue de modelo privado, créela con un tipo de red personalizada que también reside en la misma VCN y subred que el recurso de punto final privado. Para obtener más información, consulte Creación de una Sesión de Bloc de Notas.
Ejecute el siguiente comando mediante una instancia de sesión de bloc de notas o una instancia de Cloud Shell que tenga acceso a la misma VCN y subred que la del recurso de punto final privado:
oci model-deployment inference-result --endpoint <private-endpoint-url> predict --model-deployment-id <model-deployment-url> --request-body {"data": "data"}
oci model-deployment inference-result --endpoint <private-endpoint-url> predict-with-response-stream --file '-' --model-deployment-id <model-deployment-url> --request-body {"data": "data"}