Usar Rede Personalizada

Crie uma implantação de modelo com a opção de rede personalizada.

A carga de trabalho é anexada usando uma VNIC secundária a uma VCN e sub-rede gerenciadas pelo cliente. A sub-rede pode ser configurada para saída para a internet pública por meio de um gateway NAT/Internet.

Para usar saída personalizada, adicione uma política para fornecer ao Data Science acesso à sub-rede:

allow service datascience to use virtual-network-family in compartment <subnet_compartment>

Para saída personalizada, a sub-rede deve ter pelo menos 127 endereços IP disponíveis.

Você pode criar e executar implantações de modelo de rede personalizado usando a Console, o OCI Python SDK, a CLI do OCI ou a API do Data Science.

1. Use a Console para acessar uma tenancy com as políticas necessárias.
2. Abra o menu de navegação e selecione Análise e IA. Em Machine Learning, selecione Data Science.
3. Selecione o compartimento que contém o projeto no qual deseja criar a implantação do modelo.
  
  Todos os projetos no compartimento são listados.
4. Selecione o nome do projeto.
  
  A página de detalhes do projeto é aberta e lista as sessões de notebook.
5. Em Recursos, selecione Implantações de modelo.
  
  Uma lista tabular de implantações de modelo no projeto é exibida.
6. Selecione Criar implantação de modelo.
7. (Opcional) Digite um nome exclusivo para o modelo (limite de 255 caracteres). Se você não fornecer um nome, um nome será gerado automaticamente.
  
  Por exemplo, modeldeployment20200108222435.
8. (Opcional) Digite uma descrição (limite de 400 caracteres) para a implantação do modelo.
9. (Opcional) Em Configuração padrão, digite uma chave de variável de ambiente personalizada e o valor correspondente. Selecione + Chave de ambiente personalizada adicional para adicionar mais variáveis de ambiente.
10. Na seção Modelos, selecione Selecionar para selecionar um modelo ativo a ser implantado no catálogo de modelos.
  
  Localize um modelo usando o compartimento e o projeto padrão ou selecionando Usando o OCID e procurando o modelo informando seu OCID.
  
  Selecione o modelo.
  
  Selecione Enviar.
  
  Importante
  
  Os artefatos de modelo que excedem 400 GB não são suportados para implantação. Selecione um artefato de modelo menor para implantação.
11. (Opcional) Altere a forma de Computação selecionando Alterar forma. Em seguida, siga estas etapas no painel Selecionar computação.
  
  Selecione um tipo de instância.
  
  Selecione uma série de formas.
  
  Selecione uma das formas de Computação suportadas na série.
  
  Selecione a forma mais adequada à maneira como deseja usar o recurso.
  
  Para cada OCPU, selecione até 64 GB de memória e um total máximo de 512 GB. A quantidade mínima de memória permitida é 1 GB ou um valor correspondente ao número de OCPUs, o que for maior.
  
  Se estiver usando VMs expansíveis, alterne Burstable.
  Em Utilização da linha de base por OCPU, selecione a porcentagem de OCPUs que você geralmente deseja usar. Os valores suportados são 12,5% e 50%.
  
  Selecione Selecionar forma.
12. Informe o número de instâncias da implantação do modelo na qual replicar o modelo.
13. Selecione Rede personalizada para configurar o tipo de rede.
  
  Selecione a VCN e a sub-rede que deseja usar para o recurso (sessão de notebook ou job).
  
  Se você não vir a VCN ou a sub-rede que deseja usar, selecione Alterar Compartimento e, em seguida, selecione o compartimento que contém a VCN ou a sub-rede.
  Observação
  
  A alteração da rede padrão para a rede personalizada é permitida. Se a rede personalizada estiver selecionada, ela não poderá ser alterada para a rede padrão.
14. Selecione uma das seguintes opções para configurar o tipo de ponto final:
  
  Public endpoint: Acesso a dados em uma instância gerenciada de fora de uma VCN.
  
  Private endpoint: O ponto final privado que você deseja usar para a implantação de modelo.
  
  Se você selecionou Private endpoint, selecione Private Endpoint em Ponto Final Privado no Serviço Data Science.
  Selecione Alterar compartimento para selecionar o compartimento que contém o ponto final privado.
15. (Opcional) Se você configurou o registro em log de acesso ou previsão, na seção Registro em Log, selecione Selecionar e siga estas etapas:
  
  Para logs de acesso, selecione um compartimento, grupo de logs e nome de log.
  
  Para logs de previsão, selecione um compartimento, grupo de logs e nome de log.
  
  Selecione Enviar.
16. (Opcional) Selecione Mostrar Opções Avançadas para adicionar tags.
  
  (Opcional) Selecione o modo de serviço para a implantação de modelo, como ponto final HTTPS ou usando um fluxo de serviço do Streaming.
  
  (Opcional) Selecione a largura de banda do balanceamento de carga em Mbps ou use o padrão de 10 Mbps.
  
  Dicas de balanceamento de carga:
  
  Se você souber o tamanho do payload comum e a frequência de solicitações por segundo, poderá usar a fórmula a seguir para estimar a largura de banda do balanceador de carga necessário. Recomendamos que você adicione mais 20% para levar em conta os erros de estimativa e o tráfego de pico esporádico.
  
  (Tamanho do payload em KB) * (Solicitações estimadas por segundo) * 8 / 1024
  
  Por exemplo, se o payload for de 1.024 KB e você estimar 120 solicitações por segundo, a largura de banda do balanceador de carga recomendada será (1024 * 120 * 8 / 1024) * 1.2 = 1152 Mbps.
  
  Lembre-se de que o tamanho máximo de payload suportado é de 10 MB ao lidar com payloads de imagem.
  
  Se o tamanho do payload da solicitação for maior que a largura de banda alocada do balanceador de carga definido, a solicitação será rejeitada com um código de status 429.
  
  (Opcional) Selecione Usar uma imagem de contêiner personalizada e informe o seguinte:
  
  Repositório em <tenancy>: O repositório que contém a imagem personalizada.
  
  Imagem: A imagem personalizada a ser usada na implantação de modelo no runtime.
  
  CMD: Mais comandos a serem executados quando o contêiner for iniciado. Adicione uma instrução por caixa de texto. Por exemplo, se CMD for ["--host", "0.0.0.0"], informe --host em uma caixa de texto e 0.0.0.0 em outra. Não use aspas no final.
  
  Ponto de entrada: Um ou mais arquivos de ponto de entrada a serem executados quando o contêiner for iniciado. Por exemplo, /opt/script/entrypoint.sh. Não use aspas no final.
  
  Porta do servidor: A porta na qual o servidor Web que atende à inferência está sendo executado. O padrão é 8080. A porta pode ser qualquer coisa entre 1024 e 65535. Não use as portas 24224, 8446 e 8447.
  
  Porta de verificação de integridade: A porta na qual o contêiner HEALTHCHECK faz listening. O padrão é a porta do servidor. A porta pode ser qualquer coisa entre 1024 e 65535. Não use as portas 24224, 8446 e 8447.
  
  (Opcional) Na seção Tags , adicione uma ou mais tags ao <resourceType>. Se você tiver permissões para criar um recurso, também terá permissões para aplicar tags de formato livre a esse recurso. Para aplicar uma tag definida, você deverá ter permissões para usar o namespace da tag. Para obter mais informações sobre tags, consulte Tags de Recursos. Se você não tiver certeza se deseja aplicar tags, ignore esta opção ou pergunte a um administrador. Você pode aplicar tags posteriormente.
17. Selecione Criar.

Você pode usar a CLI do OCI para criar uma implantação de modelo como neste exemplo.

Implante o modelo com:

oci data-science model-deployment create \
--compartment-id <MODEL_DEPLOYMENT_COMPARTMENT_OCID> \
--model-deployment-configuration-details file://<MODEL_DEPLOYMENT_CONFIGURATION_FILE> \
--project-id <PROJECT_OCID> \
--category-log-details file://<OPTIONAL_LOGGING_CONFIGURATION_FILE> \
--display-name <MODEL_DEPLOYMENT_NAME>

Use este arquivo de configuração JSON de implantação de modelo:

{
      "deploymentType": "SINGLE_MODEL",
      "modelConfigurationDetails": {
        "bandwidthMbps": <YOUR_BANDWIDTH_SELECTION>,
        "instanceConfiguration": {
          "subnetId": <YOUR_SUBNET_ID>,
          "instanceShapeName": "<YOUR_VM_SHAPE>"
        },
        "modelId": "<YOUR_MODEL_OCID>",
        "scalingPolicy": {
            "instanceCount": <YOUR_INSTANCE_COUNT>,
            "policyType": "FIXED_SIZE"
         }
     }
 }

Se você estiver especificando uma configuração de ambiente, deverá incluir o objeto environmentConfigurationDetails como neste exemplo:


{
  "modelDeploymentConfigurationDetails": {
    "deploymentType": "SINGLE_MODEL",
    "modelConfigurationDetails": {
      "modelId": "ocid1.datasciencemodel.oc1.iad........",
      "instanceConfiguration": {
        "subnetId": <YOUR_SUBNET_ID>,
        "instanceShapeName": "VM.Standard.E4.Flex",
        "modelDeploymentInstanceShapeConfigDetails": {
          "ocpus": 1,
          "memoryInGBs": 16
        }
      },
      "scalingPolicy": {
        "policyType": "FIXED_SIZE",
        "instanceCount": 1
      },
      "bandwidthMbps": 10
    },
    "environmentConfigurationDetails" : {
      "environmentConfigurationType": "OCIR_CONTAINER",
      "image": "iad.ocir.io/testtenancy/image_name:1.0.0",
      "entrypoint": [
        "python",
        "/opt/entrypoint.py"
      ],
      "serverPort": "5000",
      "healthCheckPort": "5000"
    },
    "streamConfigurationDetails": {
      "inputStreamIds": null,
      "outputStreamIds": null
    }
  }
}

(Opcional) Use este arquivo de configuração JSON de registro em log:

{
    "access": {
      "logGroupId": "<YOUR_LOG_GROUP_OCID>",
      "logId": "<YOUR_LOG_OCID>"
    },
    "predict": {
      "logGroupId": "<YOUR_LOG_GROUP_OCID>",
      "logId": "<YOUR_LOG_OCID>"
    }
}

(Opcional) Use essa opção para usar um contêiner personalizado:

oci data-science model-deployment create \
--compartment-id <MODEL_DEPLOYMENT_COMPARTMENT_OCID> \
--model-deployment-configuration-details file://<MODEL_DEPLOYMENT_CONFIGURATION_FILE> \
--project-id <PROJECT_OCID> \
--category-log-details file://<OPTIONAL_LOGGING_CONFIGURATION_FILE> \
--display-name <MODEL_DEPLOYMENT_NAME>

Use a operação CreateModelDeployment para criar uma implantação de modelo com rede personalizada. Defina o ID da sub-rede conforme descrito na documentação da API Configuração da Instância.

Documentação do Oracle Cloud Infrastructure

Usar Rede Personalizada