Documentación de Oracle Cloud Infrastructure

Creación de un despliegue de modelo

Después de almacenar un modelo de Data Science en el Catálogo de modelos, este se puede desplegar como punto final HTTP como despliegue de modelo.

Consideraciones

Considere el uso de un contenedor personalizado al crear un despliegue de modelo.

Puede crear y ejecutar despliegues de modelos con estas opciones de red:

  • Red por defecto: las redes gestionadas por servicio aparecen como redes por defecto en dos opciones: sin acceso a Internet y con acceso a Internet.
    • La red por defecto sin acceso a Internet proporciona conectividad a otros servicios de OCI
    • Las redes por defecto con acceso a Internet proporcionan conectividad tanto a otros servicios de OCI como a Internet.
  • Las redes personalizadas le permiten configurar las redes en su arrendamiento, lo que le proporciona un control total sobre la VCN, las subredes, el enrutamiento y las políticas de acceso.

Las instrucciones de esta página cubren todas las opciones de red.

    1. En la página de lista Proyectos, seleccione el proyecto que contiene los despliegues de modelo con los que desea trabajar. Si necesita ayuda para buscar la página de lista o el proyecto, consulte Lista de proyectos.
    2. En la página de detalles del proyecto, seleccione Despliegues de modelo.
    3. Seleccione Crear despliegue de modelo.
    4. En la página Crear despliegue de modelo, introduzca la siguiente información.
      • Compartimento
      • Nombre (opcional): introduzca un nombre único para el despliegue del modelo (límite de 255 caracteres). Si no se proporciona un nombre, se genera automáticamente un nombre. Ejemplo: modeldeployment20200108222435
      • Descripción (opcional): introduzca una descripción (límite de 400 caracteres) para el despliegue del modelo.
      • Clave de variable de entorno personalizada (opcional): introduzca una clave de variable de entorno personalizada.
      • Valor (opcional): introduzca el valor de la clave.
      • Modelos: seleccione Seleccionar para abrir el panel Seleccionar modelos, seleccione la opción relevante y, a continuación, seleccione Enviar para cerrar el panel.
        Importante

        Los artefactos de modelo que superan los 400 GB no están soportados para el despliegue. Seleccione un artefacto de modelo más pequeño para el despliegue.
        • Modelo único: busque el modelo con Seleccionar un compartimento de modelo (especificar compartimento y proyecto) o Usar OCID y, a continuación, seleccione el modelo de la lista.
        • Grupos de modelos: especifique el compartimento y el proyecto y, a continuación, seleccione el grupo de modelos de la lista.
      • Cambie la unidad de computación seleccionando Cambiar unidad. A continuación, siga estos pasos en el panel Seleccionar unidad de computación.
        • Seleccione un tipo de instancia.
        • Seleccione una serie de formas.
        • Seleccione una de las unidades de Compute soportadas en la serie. Seleccione la unidad que más se adapte a cómo desea utilizar el recurso.
        • Amplíe la unidad seleccionada para configurar las OCPU y la memoria.
          • Número de OCPU
          • Cantidad de memoria (GB): para cada OCPU, seleccione hasta 64 GB de memoria y un máximo total de 512 GB. La cantidad mínima de memoria permitida es de 1 GB o un valor que coincida con el número de OCPU, cualquiera que sea mayor.
          • Activar unidad ampliable: seleccione si utiliza máquinas virtuales ampliables y, a continuación, para Utilización de base por OCPU, seleccione el porcentaje de OCPU que normalmente desea utilizar. Los valores soportados son 12,5% y 50%. (Para despliegues de modelos, solo se admite el valor del 50 %).
        • Seleccione Seleccionar unidad.
      • Número de instancias: introduzca el número de instancias en el que el despliegue del modelo replicará el modelo.
      • Configuración de escala automática (opcional): seleccione Activar escala automática e introduzca la siguiente información.
        • Número mínimo de instancias
        • Número máximo de instancias
        • Periodo de refrigeración en segundos
        • Tipo de métrica de escalado

          Para utilizar la opción de métrica de escala personalizada, seleccione Personalizada y, a continuación, especifique las consultas de reducción y reducción horizontal.

          Importante

          Incluya el siguiente texto en cada consulta MQL para hacer referencia al OCID del recurso: {resourceId = "MODEL_DEPLOYMENT_OCID"}
        • Umbral de reducción horizontal de porcentaje
        • Umbral de ampliación horizontal en porcentaje
        • Opciones avanzadas (opcional): escala automática del equilibrador de carga. Defina el valor de ancho de banda máximo para que sea mayor que el valor de ancho de banda mínimo y no más del doble del valor de ancho de banda mínimo.
          • Recuento de instancias de reducción horizontal
          • Recuento de instancias de ampliación horizontal
      • Recursos de red: seleccione la opción correspondiente.
        • Red por defecto: restringe el tráfico solo a los servicios de Oracle. El sistema utiliza la red gestionada por servicios existente. La carga de trabajo se asocia mediante una VNIC secundaria a una VCN y una subred preconfiguradas y gestionadas por servicios. Esta subred proporcionada permite el acceso a la Internet pública a través de un gateway de NAT y al acceso a otros servicios de la nube de Oracle Cloud a través de un gateway de servicio.

          Si solo necesita acceso a los servicios públicos de Internet y OCI, le recomendamos que utilice esta opción. No es necesario que cree recursos de red ni escriba políticas para permisos de red.

        • Redes por defecto con Internet: permite el acceso a Internet saliente a través del gateway de NAT de Data Science.
          Nota

          No puede utilizar la red por defecto con Internet en dominios desconectados y arrendamientos de desarrollo de Oracle. Si su arrendamiento o compartimento tiene una política de zona de seguridad de Data Science que deniega el acceso a la red pública (por ejemplo, deny model_deploy_public_network, consulte Política de zona de seguridad de Data Science), la opción de acceso a Internet público gestionado por el servicio está desactivada. Si intenta utilizar esta opción, recibirá un error 404 NotAuthorizedOrNotFound.
        • Red personalizada: seleccione la VCN y subred (por compartimento) que desea utilizar.

          Para obtener acceso de salida a la red pública de Internet, utilice una subred privada con una ruta a un gateway de NAT.

          Nota

          • Las redes personalizadas se deben utilizar para utilizar un montaje de almacenamiento de archivos.
          • Tras la creación, no se admite el cambio de redes personalizadas a redes gestionadas.
          • Si ve el banner The specified subnet is not accessible. Select a different subnet., cree una política que permita a Data Science utilizar redes personalizadas. Consulte Políticas.
      • Tipo de punto final: seleccione la opción correspondiente.
        • Punto final público: permite el acceso a datos a una instancia gestionada desde fuera de una red virtual en la nube (VCN).
        • Punto final privado: especifica el punto final privado que se va a utilizar para el despliegue del modelo. Los despliegues que utilizan redes privadas o puntos finales privados no pueden activar el acceso a Internet público gestionado por servicios.
          • Compartimento de punto final privado
          • Punto final privado
      • Registro (opcional): seleccione Seleccionar para abrir el panel Seleccionar registro, introduzca la siguiente información y, a continuación, seleccione Enviar para cerrar el panel.
        Nota

        El registro requiere acceso configurado o registro de predicción.
        • Para los logs de acceso, seleccione un compartimento, un grupo de log y el nombre de log.
        • Para los logs de predicción, seleccione un compartimento, un grupo de log y el nombre de log.
      • Definir el entorno BYOC (en Usar una imagen de contenedor personalizada) (opcional): seleccione Seleccionar para abrir el panel Definir el entorno BYOC, introduzca la siguiente información y vuelva a seleccionar Seleccionar para cerrar el panel.
        • Compartimento de repositorios
        • Repositorio: introduzca el repositorio que contiene la imagen personalizada.
        • Imagen: introduzca la imagen personalizada que se va a utilizar en tiempo de ejecución.
        • Digest: introduzca el resumen de la imagen. Por ejemplo: sha256:<digest>. El resumen debe coincidir con la imagen exacta que está desplegando.
        • Punto de entrada: introduzca uno o más archivos de punto de entrada para ejecutarlos cuando se inicie el contenedor, como /opt/script/entrypoint.sh. No utilice comillas al final.
        • Puerto de servidor: introduzca el puerto para el servidor web de inferencia. El valor por defecto es 8080. Rango válido: 1024–65535, excepto 24224, 8446, 8447.
        • Puerto de comprobación del sistema: introduzca el puerto para la comprobación del sistema del contenedor. El valor por defecto es el puerto del servidor. Rango válido: 1024–65535, excepto 24224, 8446, 8447.
      • Modo de despliegue (en Opciones avanzadas) (opcional): seleccione el ancho en Mbps o utilice el valor predeterminado de 10 Mbps.

        Consejos para el equilibrio de carga:

        Si conoce el tamaño y la frecuencia de solicitudes de carga útil común por segundo, puede utilizar la siguiente fórmula para calcular el ancho de banda del equilibrador que necesita. Le recomendamos que agregue un 20 % adicional para dar cuenta de los errores de estimación y del tráfico pico esporádico.

        (Tamaño de carga útil en KB) * (Estimación de solicitudes por segundo) * 8/1024

        Por ejemplo, si la carga útil es de de 1024 KB y realiza una estimación de de 120 solicitudes por segundo, el Ancho de Banda del Equilibrador de Carga recomendado sería (1024 * 120 * 8 / 1024) * 1,2 = 1152 Mbps.

        Recuerde que el tamaño máximo de carga útil soportado es de 10 MB al tratar con cargas útiles de imágenes.

        Si el tamaño de carga útil de la solicitud es mayor que el ancho de banda asignado del equilibrador de carga definido, la solicitud se rechaza con el código de estado 429.

      • Etiquetas (en Opciones avanzadas) (opcional): agregue etiquetas al despliegue del modelo. Si tiene permisos para crear un recurso, también tiene permisos para aplicar etiquetas de formato libre a dicho recurso. Para aplicar una etiqueta definida, debe tener permisos para utilizar el espacio de nombres de etiqueta. Para obtener más información sobre el etiquetado, consulte Etiquetas de recursos. Si no está seguro de si desea aplicar etiquetas, omita esta opción o pregunte a un administrador. Puede aplicar etiquetas más tarde.
    5. Seleccione Crear.

  • Utilice el comando oci data-science model-deployment create y los parámetros necesarios para crear un despliegue de modelo:

    oci data-science model-deployment create --compartment-id <compartment-id> ... [OPTIONS]

    Para obtener una lista completa de parámetros y valores para los comandos de la CLI, consulte la Referencia de comandos de la CLI.

  • Utilice la operación CreateModelDeployment para crear un despliegue de modelo.