Usar Rede Padrão

Crie uma implantação de modelo com a opção de rede padrão.

A carga de trabalho é anexada usando uma VNIC secundária a uma VCN e sub-rede pré-configuradas e gerenciadas pelo serviço. Essa sub-rede fornecida dá acesso a outros serviços do Oracle Cloud por meio de um gateway de serviço, mas não à internet pública.

Se você precisar de acesso apenas aos serviços do OCI, recomendamos o uso dessa opção. Não é necessário criar recursos de rede ou gravar políticas para permissões de rede.

Você pode criar e executar implantações de modelo de rede padrão usando a Console, o OCI Python SDK, a CLI do OCI ou a API do Data Science.

1. Na página implantações de modelo, selecione Criar implantação de modelo. Se precisar de ajuda para encontrar a lista de implantações de modelo, consulte Listando Implantações de Modelo.
2. (Opcional) Digite um nome exclusivo para o modelo (limite de 255 caracteres). Se você não fornecer um nome, um nome será gerado automaticamente.
  
  Por exemplo, modeldeployment20200108222435.
3. (Opcional) Digite uma descrição (limite de 400 caracteres) para a implantação do modelo.
4. (Opcional) Em Configuração padrão, digite uma chave de variável de ambiente personalizada e o valor correspondente. Selecione + Chave de ambiente personalizada adicional para adicionar mais variáveis de ambiente.
5. Na seção Modelos, selecione Selecionar para selecionar um modelo ativo a ser implantado no catálogo de modelos.
  
  Localize um modelo usando o compartimento e o projeto padrão ou selecionando Usando o OCID e procurando o modelo informando seu OCID.
  
  Selecione o modelo.
  
  Selecione Enviar.
  
  Importante
  
  Os artefatos de modelo que excedem 400 GB não são suportados para implantação. Selecione um artefato de modelo menor para implantação.
6. (Opcional) Altere a forma de Computação selecionando Alterar forma. Em seguida, siga estas etapas no painel Selecionar computação.
  
  Selecione um tipo de instância.
  
  Selecione uma série de formas.
  
  Selecione uma das formas de Computação suportadas na série.
  
  Selecione a forma mais adequada à maneira como deseja usar o recurso.
  
  Para cada OCPU, selecione até 64 GB de memória e um total máximo de 512 GB. A quantidade mínima de memória permitida é 1 GB ou um valor correspondente ao número de OCPUs, o que for maior.
  
  Se estiver usando VMs expansíveis, alterne Burstable.
  Em Utilização da linha de base por OCPU, selecione a porcentagem de OCPUs que você geralmente deseja usar. Os valores suportados são 12,5% e 50%.
  
  Selecione Selecionar forma.
7. Informe o número de instâncias da implantação do modelo na qual replicar o modelo.
8. Selecione Rede padrão para configurar o tipo de rede.
9. Selecione uma das seguintes opções para configurar o tipo de ponto final:
  
  Public endpoint: Acesso a dados em uma instância gerenciada de fora de uma VCN.
  
  Private endpoint: O ponto final privado que você deseja usar para a implantação de modelo.
  
  Se você selecionou Private endpoint, selecione Private Endpoint em Ponto Final Privado no Serviço Data Science.
  Selecione Alterar compartimento para selecionar o compartimento que contém o ponto final privado.
10. (Opcional) Se você configurou o registro em log de acesso ou previsão, na seção Registro em Log, selecione Selecionar e siga estas etapas:
  
  Para logs de acesso, selecione um compartimento, grupo de logs e nome de log.
  
  Para logs de previsão, selecione um compartimento, grupo de logs e nome de log.
  
  Selecione Enviar.
11. (Opcional) Selecione Mostrar Opções Avançadas para adicionar tags.
  
  (Opcional) Selecione o modo de serviço para a implantação de modelo, como ponto final HTTPS ou usando um fluxo de serviço do Streaming.
  
  (Opcional) Selecione a largura de banda do balanceamento de carga em Mbps ou use o padrão de 10 Mbps.
  
  Dicas de balanceamento de carga:
  
  Se você souber o tamanho do payload comum e a frequência de solicitações por segundo, poderá usar a fórmula a seguir para estimar a largura de banda do balanceador de carga necessário. Recomendamos que você adicione mais 20% para levar em conta os erros de estimativa e o tráfego de pico esporádico.
  
  (Tamanho do payload em KB) * (Solicitações estimadas por segundo) * 8 / 1024
  
  Por exemplo, se o payload for de 1.024 KB e você estimar 120 solicitações por segundo, a largura de banda do balanceador de carga recomendada será (1024 * 120 * 8 / 1024) * 1.2 = 1152 Mbps.
  
  Lembre-se de que o tamanho máximo de payload suportado é de 10 MB ao lidar com payloads de imagem.
  
  Se o tamanho do payload da solicitação for maior que a largura de banda alocada do balanceador de carga definido, a solicitação será rejeitada com um código de status 429.
  
  (Opcional) Selecione Usar uma imagem de contêiner personalizada e informe o seguinte:
  
  Repositório em <tenancy>: O repositório que contém a imagem personalizada.
  
  Imagem: A imagem personalizada a ser usada na implantação de modelo no runtime.
  
  CMD: Mais comandos a serem executados quando o contêiner for iniciado. Adicione uma instrução por caixa de texto. Por exemplo, se CMD for ["--host", "0.0.0.0"], informe --host em uma caixa de texto e 0.0.0.0 em outra. Não use aspas no final.
  
  Ponto de entrada: Um ou mais arquivos de ponto de entrada a serem executados quando o contêiner for iniciado. Por exemplo, /opt/script/entrypoint.sh. Não use aspas no final.
  
  Porta do servidor: A porta na qual o servidor Web que atende à inferência está sendo executado. O padrão é 8080. A porta pode ser qualquer coisa entre 1024 e 65535. Não use as portas 24224, 8446 e 8447.
  
  Porta de verificação de integridade: A porta na qual o contêiner HEALTHCHECK faz listening. O padrão é a porta do servidor. A porta pode ser qualquer coisa entre 1024 e 65535. Não use as portas 24224, 8446 e 8447.
  
  (Opcional) Na seção Tags , adicione uma ou mais tags ao <resourceType>. Se você tiver permissões para criar um recurso, também terá permissões para aplicar tags de formato livre a esse recurso. Para aplicar uma tag definida, você deverá ter permissões para usar o namespace da tag. Para obter mais informações sobre tags, consulte Tags de Recursos. Se você não tiver certeza se deseja aplicar tags, ignore esta opção ou pergunte a um administrador. Você pode aplicar tags posteriormente.
12. Selecione Criar.

Você pode usar a CLI do OCI para criar uma implantação de modelo como neste exemplo.

Implante o modelo com:

oci data-science model-deployment create \
--compartment-id <MODEL_DEPLOYMENT_COMPARTMENT_OCID> \
--model-deployment-configuration-details file://<MODEL_DEPLOYMENT_CONFIGURATION_FILE> \
--project-id <PROJECT_OCID> \
--category-log-details file://<OPTIONAL_LOGGING_CONFIGURATION_FILE> \
--display-name <MODEL_DEPLOYMENT_NAME>

Use este arquivo de configuração JSON de implantação de modelo:

{
      "deploymentType": "SINGLE_MODEL",
      "modelConfigurationDetails": {
        "bandwidthMbps": <YOUR_BANDWIDTH_SELECTION>,
        "instanceConfiguration": {
          "instanceShapeName": "<YOUR_VM_SHAPE>"
        },
        "modelId": "<YOUR_MODEL_OCID>",
        "scalingPolicy": {
            "instanceCount": <YOUR_INSTANCE_COUNT>,
            "policyType": "FIXED_SIZE"
         }
     }
 }

Se estiver especificando uma configuração de ambiente, você deverá incluir o objeto environmentConfigurationDetails como neste exemplo:


{
  "modelDeploymentConfigurationDetails": {
    "deploymentType": "SINGLE_MODEL",
    "modelConfigurationDetails": {
      "modelId": "ocid1.datasciencemodel.oc1.iad........",
      "instanceConfiguration": {
        "instanceShapeName": "VM.Standard.E4.Flex",
        "modelDeploymentInstanceShapeConfigDetails": {
          "ocpus": 1,
          "memoryInGBs": 16
        }
      },
      "scalingPolicy": {
        "policyType": "FIXED_SIZE",
        "instanceCount": 1
      },
      "bandwidthMbps": 10
    },
    "environmentConfigurationDetails" : {
      "environmentConfigurationType": "OCIR_CONTAINER",
      "image": "iad.ocir.io/testtenancy/image_name:1.0.0",
      "entrypoint": [
        "python",
        "/opt/entrypoint.py"
      ],
      "serverPort": "5000",
      "healthCheckPort": "5000"
    },
    "streamConfigurationDetails": {
      "inputStreamIds": null,
      "outputStreamIds": null
    }
  }
}

(Opcional) Use este arquivo de configuração JSON de registro em log:

{
    "access": {
      "logGroupId": "<YOUR_LOG_GROUP_OCID>",
      "logId": "<YOUR_LOG_OCID>"
    },
    "predict": {
      "logGroupId": "<YOUR_LOG_GROUP_OCID>",
      "logId": "<YOUR_LOG_OCID>"
    }
}

(Opcional) Use essa opção para usar um contêiner personalizado:

oci data-science model-deployment create \
--compartment-id <MODEL_DEPLOYMENT_COMPARTMENT_OCID> \
--model-deployment-configuration-details file://<MODEL_DEPLOYMENT_CONFIGURATION_FILE> \
--project-id <PROJECT_OCID> \
--category-log-details file://<OPTIONAL_LOGGING_CONFIGURATION_FILE> \
--display-name <MODEL_DEPLOYMENT_NAME>

Use a operação CreateModelDeployment para criar uma implantação de modelo.

Usando o OCI Python SDK

Desenvolvemos um exemplo de implantação de modelo OCI Python que inclui autenticação.

Importante

Artefatos que excedem 400 GB não são suportados para implantação. Selecione um artefato de modelo menor para implantação.

Observação

Faça upgrade do OCI SDK para a versão 2.33.0 ou mais recente antes de criar uma implantação com o Python SDK. Use o seguinte comando:

pip install --upgrade oci

Use este exemplo para criar uma implantação de modelo que use um contêiner personalizado:

# create a model configuration details object
model_config_details = ModelConfigurationDetails(
    model_id=<model-id>,
    bandwidth_mbps=<bandwidth-mbps>,
    instance_configuration=<instance-configuration>,
    scaling_policy=<scaling-policy>
)
 
# create the container environment configiguration
environment_config_details = OcirModelDeploymentEnvironmentConfigurationDetails(
    environment_configuration_type="OCIR_CONTAINER",
    environment_variables={'key1': 'value1', 'key2': 'value2'},
    image="iad.ocir.io/testtenancy/ml_flask_app_demo:1.0.0",
    image_digest="sha256:243590ea099af4019b6afc104b8a70b9552f0b001b37d0442f8b5a399244681c",
    entrypoint=[
        "python",
        "/opt/ds/model/deployed_model/api.py"
    ],
    server_port=5000,
    health_check_port=5000
)
 
# create a model type deployment
single_model_deployment_config_details = data_science.models.SingleModelDeploymentConfigurationDetails(
    deployment_type="SINGLE_MODEL",
    model_configuration_details=model_config_details,
    environment_configuration_details=environment_config_details
)
 
# set up parameters required to create a new model deployment.
create_model_deployment_details = CreateModelDeploymentDetails(
    display_name=<deployment_name>,
    model_deployment_configuration_details=single_model_deployment_config_details,
    compartment_id=<compartment-id>,
    project_id=<project-id>
)

Exemplos de Notebooks

Fornecemos vários exemplos de notebook que mostram como treinar, preparar, salvar, implantar e chamar implantações de modelo.

Documentação do Oracle Cloud Infrastructure

Usar Rede Padrão

Usando o OCI Python SDK

Exemplos de Notebooks