Documentação do Oracle Cloud Infrastructure

Criando um Job

Criar e executar um job no Data Science.

Certifique-se de ter criado as políticas, autenticação e autorização necessárias para seus jobs.

Antes de começar:

  • Crie um arquivo de artefato de job ou crie um contêiner personalizado.

  • Para armazenar e gerenciar logs do job, saiba como registrar em log.

  • Para usar montagens de armazenamento, você deve ter um bucket do Object Storage ou um ponto de acesso NFS (FSS) do OCI File Storage Service e um caminho de exportação.

    Para usar o FSS, primeiro crie o sistema de arquivos e o ponto de montagem. Use a opção de rede personalizada e certifique-se de que o ponto de acesso NFS e o notebook estejam configurados com a mesma sub-rede. Configure regras de lista de segurança para a sub-rede com as portas e protocolos específicos.

    Certifique-se de que os limites de serviço sejam alocados para file-system-count e mount-target-count.

  • Para usar montagens de armazenamento, você deve ter um bucket do Object Storage ou um ponto de montagem do OCI File Storage Service (FSS).

  • Adicione informações básicas para o job que você está criando.
    1. Na página da lista de jobs, selecione Criar job. Se precisar de ajuda para localizar a lista de jobs, consulte Listando Jobs.
    2. Selecione Nó Único se estiver usando uma única máquina para o job ou Multinó para jobs exigentes que devem ser executados em vários nós.
    3. (Opcional) Selecione outro compartimento para o job.
    4. (Opcional) Informe um nome e descrição para o job (limite de 255 caracteres). Se você não fornecer um nome, um nome é gerado automaticamente.

      Por exemplo, job20210808222435

    5. Etapas de configuração de um ou vários nós
    Usando a Console para Jobs de Nó Único

    Usando a Console para Jobs de Nó Único

    As etapas de configuração obrigatórias e opcionais para um único job de nó.

    1. Etapas de Configuração Obrigatórias
    2. Etapas de Configuração Opcionais
    3. Verificar e Criar

    Etapas de Configuração Obrigatórias

    Etapas de configuração necessárias específicas para criar um único job de nó.
    1. Crie uma configuração padrão de job que seja usada quando o job for executado usando essas opções.

      Informe ou selecione um dos valores a seguir:

      Chave de variável de ambiente personalizada

      As variáveis de meio ambiente que controlam o job.

      Observação

      Se você tiver feito upload do arquivo zip ou tar compactado, adicione JOB_RUN_ENTRYPOINT como variável de ambiente personalizada para apontar para o arquivo.

      Valor

      O valor da chave de variável de ambiente personalizada.

      Você pode selecionar Chave de ambiente personalizada adicional para especificar mais variáveis.

      Argumentos de linha de comando

      Os argumentos de linha de comando que deseja usar para executar o job.

      Runtime máximo (em minutos)

      O tempo máximo em minutos que a execução do job pode durar. O serviço cancelará a execução do job se o runtime exceder o valor especificado. O runtime máximo é de 30 dias (43.200 minutos). Recomendamos que você configure um runtime máximo em todas as execuções de jobs para evitar fuga de execuções.

    2. Selecione uma forma de Computação.
    3. (Opcional) Altere a forma de Computação selecionando Alterar forma. Em seguida, siga estas etapas no painel Selecionar computação.
      1. Selecione um tipo de instância.
      2. Selecione uma série de formas.
      3. Selecione uma das formas de Computação suportadas na série.
      4. Selecione a forma mais adequada à maneira como deseja usar o recurso.

        Para cada OCPU, selecione até 64 GB de memória e um total máximo de 512 GB. A quantidade mínima de memória permitida é 1 GB ou um valor correspondente ao número de OCPUs, o que for maior.

      5. Se estiver usando VMs expansíveis, alterne Burstable.
        Em Utilização da linha de base por OCPU, selecione a porcentagem de OCPUs que você geralmente deseja usar. Os valores suportados são 12,5% e 50%.
      6. Selecione Selecionar forma.
    4. Para Armazenamento, digite a quantidade de armazenamento em blocos a ser usada entre 50 GB e 10.240 GB (10 TB). Você pode alterar o valor em incrementos de 1 GB.
    5. Selecione uma das seguintes opções para configurar o tipo de rede:

      • Rede padrão - A carga de trabalho é anexada usando uma VNIC secundária a uma VCN e sub-rede gerenciadas pelo serviço pré-configuradas. Essa sub-rede fornecida permite a saída para a internet pública por meio de um gateway NAT e o acesso a outros serviços do Oracle Cloud por meio de um gateway de serviço.

        Se você precisar de acesso apenas à internet pública e aos serviços da OCI, recomendamos o uso dessa opção. Não é necessário criar recursos de rede ou gravar políticas para permissões de rede.

      • Rede personalizada—Selecione a VCN e sub-rede que você deseja usar para o job.

        Para acesso de saída à Internet pública, use uma sub-rede privada com uma rota para um gateway NAT.

        Se você não vir a VCN ou a sub-rede que deseja usar, clique em Alterar Compartimento e selecione o compartimento que contém a VCN ou a sub-rede.

        Importante

        A rede personalizada deve ser usada para usar uma montagem de armazenamento de arquivos

    6. Esta etapa será opcional somente se BYOC (BYOC) estiver configurado. Faça upload do artefato de job arrastando o arquivo de artefato de job necessário para a caixa.
    7. Selecione Próximo.

    Etapas de Configuração Opcionais

    Etapas de configuração específicas para criar um job de nó único.
    1. (Opcional) Para usar o registro em log, selecione Selecionar e verifique se a opção Ativar registro em log está selecionada.
      1. Selecione um grupo de logs na lista. Você pode mudar para outro compartimento para especificar um grupo de logs em outro compartimento do job.
      2. Selecione uma das seguintes opções para armazenar todas as mensagens stdout e stderr:
        Ativar criação automática de log

        O Data Science cria automaticamente um log quando o job é iniciado.

        Selecionar um log

        Selecione um log a ser usado.

      3. Selecione Selecionar para retornar à página de criação da execução de job.
    2. (Opcional) Para usar o Bring Your Own Container, na configuração do Ambiente, selecione Selecionar.
      No painel Definir seu ambiente BYOC, siga estas etapas:
      1. Em Repositório, selecione um repositório na lista. Se o repositório estiver em outro compartimento, selecione Alterar compartimento.
      2. Em Imagem, selecione uma imagem na lista.
      3. (Opcional) Em Ponto de entrada, informe um ponto de entrada. Para adicionar outro, selecione o parâmetro +Add.
      4. (Opcional) Em CMD, informe um CMD. Para adicionar outro, selecione o parâmetro +Add.
        Observação

        use CMD como argumentos para o ENTRYPOINT ou o único comando a ser executado na ausência de um ENTRYPOINT.
      5. (Opcional) Em Compilação de imagem, informe uma compilação de imagem.
      6. (Opcional) Em ID da Assinatura, se estiver usando a verificação de assinatura, digite o OCID da assinatura da imagem. Por exemplo, ocid1.containerimagesignature.oc1.iad.aaaaaaaaab....
      7. Selecione Selecionar.
    3. (Opcional) Para usar montagens de armazenamento, selecione +Add storage mount.
      Certifique-se de ter a autorização para usar montagens de armazenamento.
      1. Selecione um tipo de montagem de armazenamento, OCI Object Storage ou OCI File Storage.
      2. Selecione um compartimento que contenha o recurso de armazenamento que você deseja montar.
      3. Selecione uma das seguintes opções:
        Serviço Object Storage
        Se estiver usando uma rede personalizada:
        1. Crie o gateway do serviço na VCN.
        2. Para as configurações da tabela de roteamento na sub-rede privada, adicione o gateway de serviço.
        3. Altere as regras de saída da lista de segurança da sub-rede necessária para permitir o tráfego para todos os serviços na rede.

        O bucket que você deseja usar.

        Você pode adicionar um prefixo de nome de objeto. O prefixo deve começar com um caractere alfanumérico. Os caracteres permitidos são alfanuméricos, barra ( / ), hífen ( - ) e sublinhado ( _ ).

        Serviço File Storage

        O ponto de acesso NFS e o caminho de exportação que você deseja usar. Você deve ter criado o sistema de arquivos. Especifique um ponto de acesso NFS existente ou crie um novo.

        Você deve usar uma rede personalizada para usar o armazenamento de arquivos.

        Siga as regras da lista de segurança da sub-rede.
        Observação

        Antes de montar um sistema de arquivos, configure regras de segurança na sub-rede da VCN para permitir o tráfego de rede de/para o ponto de acesso NFS. Você pode configurar regras de segurança em listas de segurança de sub-rede, grupos de segurança de rede ou usando uma combinação de ambos. Para obter mais informações, consulte Configurando Regras de Segurança da VCN para o Serviço File Storage.
        • Entrada com monitoramento de Estado nas portas TCP 111, 2048, 2049 e 2050, e portas UDP11 e 2048.
        • Saída com monitoramento de Estado para portas de origem TCP 111, 2048, 2049 e 2050 e porta de origem UDP 111.
      4. Informe o caminho sob o qual o armazenamento deve ser montado.

        O armazenamento é montado sob o caminho de montagem especificado. O caminho deve começar com um caractere alfanumérico. O diretório de destino deve ser exclusivo nas montagens de armazenamento fornecidas. Os caracteres permitidos são alfanuméricos, hífen ( - ) e sublinhado ( _ ).

        Você pode especificar o caminho completo, como /opc/storage-directory. Se apenas um diretório for especificado, como /storage-directory, ele será montado sob o diretório /mnt padrão. Não é possível especificar diretórios específicos do SO, como /bin ou /etc.

      5. Selecione Enviar.

        Repita essas etapas para adicionar até duas montagens de armazenamento para sessões de notebook.

    4. Adicione uma investigação de inicialização. Selecione Selecionar.
      1. Insira um comando.
      2. (Opcional) Para adicionar outro comando, selecione comando +Add e repita a etapa a.
      3. (Opcional) Informe um valor para o atraso inicial (em segundos).
      4. (Opcional) Informe um valor do período.
      5. (Opcional) Informe um valor para o limite de falha.
      6. Selecione Salvar.
    5. (Opcional) Selecione Mostrar opções avançadas para adicionar tags ao job.
    6. (Opcional) Na seção Tags, adicione uma ou mais tags ao job. Se você tiver permissões para criar um job, também terá permissões para aplicar tags de formato livre a esse job. Para aplicar uma tag definida, você deve ter permissões para usar o namespace da tag. Para obter mais informações sobre tags, consulte Tags de Recursos. Se você não tiver certeza se deseja aplicar tags, ignore essa opção ou pergunte a um administrador. Você pode aplicar tags posteriormente.
    7. Selecione Próximo.

    Verificar e Criar

    Revise e crie o job.
    1. Revise o cargo.
      Para atualizar qualquer parte da configuração do job, selecione Editar na seção apropriada.
    2. Quando estiver satisfeito com a configuração, selecione Criar para criar o job.

      Depois que o job estiver em um estado ativo, você poderá usar execuções de job para executar o job repetidamente.

    Usando a Console para Jobs de Vários Nós

    Usando a Console para Jobs de Vários Nós

    As etapas de configuração obrigatórias e opcionais para um job de vários nós.

    1. Etapas de Configuração Obrigatórias
    2. Etapas de Configuração Opcionais
    3. Verificar e Criar

    Etapas de Configuração Obrigatórias

    Etapas de configuração necessárias específicas para criar um job de vários nós.
    1. Selecione uma das seguintes opções para configurar o tipo de rede:

      • Rede padrão — A carga de trabalho é anexada usando uma VNIC secundária a uma VCN e uma sub-rede pré-configuradas gerenciadas pelo serviço. Esta sub-rede fornecida possibilita a saída para a internet pública por meio de um gateway NAT e o acesso a outros serviços doOracle Cloud por meio de um gateway de serviço.

        Se você precisar de acesso apenas à internet pública e aos serviços da OCI, recomendamos o uso dessa opção. Não é necessário criar recursos de rede ou gravar políticas para permissões de rede.

      • Rede personalizada—Selecione a VCN e sub-rede que você deseja usar para o job.

        Para acesso de saída à Internet pública, use uma sub-rede privada com uma rota para um gateway NAT.

        Se você não vir a VCN ou a sub-rede que deseja usar, clique em Alterar Compartimento e selecione o compartimento que contém a VCN ou a sub-rede.

        Importante

        A rede personalizada deve ser usada para usar uma montagem de armazenamento de arquivos.

    2. Esta etapa será opcional somente se BYOC (BYOC) estiver configurado. Faça upload do artefato de job arrastando o arquivo de artefato de job necessário para a caixa.
    3. (Opcional) Informe o tempo de execução máximo (em minutos entre 5 e 43200).
    4. Selecione Adicionar grupo de nós.
    5. Informe um nome exclusivo para o grupo de nós.
    6. Insira o número de réplicas.
    7. Insira o número mínimo de réplicas que devem ter êxito.
    8. Para Armazenamento, digite a quantidade de armazenamento em blocos a ser usada entre 50 GB e 10.240 GB (10 TB). Você pode alterar o valor em incrementos de 1 GB.
    9. (Opcional) Digite a configuração padrão:
      1. Informe a chave de variável de ambiente personalizada e um valor para ela.
      2. Selecione +Additional chave de ambiente personalizada para adicionar outra chave de variável de ambiente personalizada e repetir a etapa a.
      3. Informe os argumentos da linha de comando.
      Observação

      Se você tiver feito upload de um arquivo zip ou compactado tar, adicione a JOB_RUN_ENTRYPOINT como uma variável de ambiente personalizada para apontar para o arquivo.
    10. Selecione uma forma de Computação.
    11. (Opcional) Altere a forma de Computação selecionando Alterar forma. Em seguida, siga estas etapas no painel Selecionar computação.
      1. Selecione um tipo de instância.
      2. Selecione uma série de formas.
      3. Selecione uma das formas de Computação suportadas na série.
      4. Selecione a forma mais adequada à maneira como deseja usar o recurso.

        Para cada OCPU, selecione até 64 GB de memória e um total máximo de 512 GB. A quantidade mínima de memória permitida é 1 GB ou um valor correspondente ao número de OCPUs, o que for maior.

      5. Se estiver usando VMs expansíveis, alterne Burstable.
        Em Utilização da linha de base por OCPU, selecione a porcentagem de OCPUs que você geralmente deseja usar. Os valores suportados são 12,5% e 50%.
      6. Selecione Selecionar forma.
    12. Para usar o recurso Bring Your Own Container, na configuração Ambiente, selecione Selecionar.
      No painel Definir seu ambiente BYOC, siga estas etapas:
      1. Em Repositório, selecione um repositório na lista. Se o repositório estiver em outro compartimento, selecione Alterar compartimento.
      2. Em Imagem, selecione uma imagem na lista.
      3. (Opcional) Em Ponto de Entrada, informe um ponto de entrada. Para adicionar outro, selecione o parâmetro +Add.
      4. (Opcional) Em CMD, informe um CMD. Para adicionar outro, selecione o parâmetro +Add.
        Observação

        Use CMD como argumentos para ENTRYPOINT ou o único comando a ser executado na ausência de ENTRYPOINT.
      5. (Opcional) Em Compilação de imagens, insira uma compilação de imagem.
      6. (Opcional) Em ID da Assinatura, se estiver usando a verificação de assinatura, informe o OCID da assinatura da imagem. Por exemplo, ocid1.containerimagesignature.oc1.iad.aaaaaaaaab....
      7. Selecione Selecionar.
    13. Adicione uma investigação de inicialização. Selecione Selecionar.
      1. Insira um comando.
      2. (Opcional) Para adicionar outro comando, selecione comando +Add e repita a etapa a.
      3. (Opcional) Informe um valor para o atraso inicial (em segundos).
      4. (Opcional) Informe um valor do período.
      5. (Opcional) Informe um valor para o limite de falha.
      6. Selecione Salvar.
    14. Selecione Adicionar.
    15. (Opcional) Para adicionar outro grupo de nós, selecione Adicionar grupo de nós e repita as etapas anteriores. Você pode adicionar até cinco grupos de nós.
    16. (Opcional) Se você tiver mais de um grupo de nós, especifique a ordem de inicialização do grupo de nós, em paralelo ou em sequência.

    Etapas de Configuração Opcionais

    Etapas de configuração opcionais ao criar um job de vários nós.
    1. (Opcional) Para usar o registro, selecione Selecionar e, em seguida, certifique-se de que Ativar registro esteja selecionado.
      1. Selecione um grupo de logs na lista. Você pode mudar para outro compartimento para especificar um grupo de logs em outro compartimento do job.
      2. Selecione uma das seguintes opções para armazenar todas as mensagens stdout e stderr:
        Ativar criação automática de log

        O serviço Data Science cria automaticamente um log quando o job é iniciado.

        Selecionar um log

        Selecione um log a ser usado.

      3. Selecione Selecionar para retornar à página Criação da execução do job.
    2. (Opcional) Para usar montagens de armazenamento, selecione montagem de armazenamento +Add.
      Certifique-se de ter a autorização para usar montagens de armazenamento.
      1. Selecione um tipo de montagem de armazenamento, OCI Object Storage ou OCI File Storage.
      2. Selecione um compartimento que contenha o recurso de armazenamento que você deseja montar.
      3. Selecione uma das seguintes opções:
        Armazenamento de Objetos
        Se estiver usando uma rede personalizada:
        1. Crie o gateway do serviço na VCN.
        2. Para as configurações da tabela de roteamento na sub-rede privada, adicione o gateway de serviço.
        3. Altere as regras de saída da lista de segurança da sub-rede necessária para permitir o tráfego para todos os serviços na rede.

        O bucket que você deseja usar.

        Você pode adicionar um prefixo de nome de objeto. O prefixo deve começar com um caractere alfanumérico. Os caracteres permitidos são alfanuméricos, barra ( / ), hífen ( - ) e sublinhado ( _ ).

        Armazenamento de Arquivos

        O ponto de acesso NFS e o caminho de exportação que você deseja usar. Você deve ter criado o sistema de arquivos. Especifique um ponto de acesso NFS existente ou crie um novo.

        Você deve usar uma rede personalizada para usar o armazenamento de arquivos.

        Siga as regras da lista de segurança da sub-rede.
        Observação

        Antes de montar um sistema de arquivos, configure regras de segurança na sub-rede da VCN para permitir o tráfego de rede de/para o ponto de acesso NFS. Você pode configurar regras de segurança em listas de segurança de sub-rede, grupos de segurança de rede ou usando uma combinação de ambos. Para obter mais informações, consulte Configurando Regras de Segurança da VCN para o Serviço File Storage.
        • Entrada com monitoramento de Estado nas portas TCP 111, 2048, 2049 e 2050, e portas UDP11 e 2048.
        • Saída com monitoramento de Estado para portas de origem TCP 111, 2048, 2049 e 2050, e porta de origem UDP 111.
      4. Insira o caminho sob o qual o armazenamento deve ser montado.

        O armazenamento é montado no caminho de montagem especificado. O caminho deve começar com um caractere alfanumérico. O diretório de destino deve ser exclusivo nas montagens de armazenamento fornecidas. Os caracteres permitidos são alfanuméricos, hífen ( - ) e sublinhado ( _ ).

        Você pode especificar o caminho completo, como o /opc/storage-directory. Se apenas um diretório for especificado, como /storage-directory, ele será montado no diretório /mnt padrão. Não é possível especificar diretórios específicos do SO, como /bin ou /etc.

      5. Selecione Enviar.

        Repita essas etapas para adicionar até duas montagens de armazenamento para sessões de notebook.

    3. (Opcional) Selecione Mostrar opções avançadas para adicionar tags ao job.
    4. (Opcional) Na seção Tags, adicione uma ou mais tags ao job. Se você tiver permissões para criar um job, também terá permissões para aplicar tags de formato livre a esse job. Para aplicar uma tag definida, você deve ter permissões para usar o namespace da tag. Para obter mais informações sobre tags, consulte Tags de Recursos. Se você não tiver certeza se deseja aplicar tags, ignore essa opção ou pergunte a um administrador. Você pode aplicar as tags posteriormente.
    5. Selecione Próximo.

    Verificar e Criar

    Revise e crie o job.
    1. Revise o cargo.
      Para atualizar qualquer parte da configuração do job, selecione Editar na seção apropriada.
    2. Quando estiver satisfeito com a configuração, selecione Criar para criar o job.

      Depois que o job estiver em um estado ativo, você poderá usar execuções de job para executar o job repetidamente.

  • Essas variáveis de ambiente controlam o job.

    Use a CLI do Serviço Data Science para criar um job, como neste exemplo:

    1. Crie um job com: 
      oci data-science job create \
--display-name <job_name>\
--compartment-id <compartment_ocid>\
--project-id <project_ocid> \
--configuration-details file://<jobs_configuration_json_file> \
--infrastructure-configuration-details file://<jobs_infrastructure_configuration_json_file> \
--log-configuration-details file://<optional_jobs_infrastructure_configuration_json_file>
    2. Use este arquivo JSON de configuração de jobs: 
      {
  "jobType": "DEFAULT",
  "maximumRuntimeInMinutes": 240,
  "commandLineArguments" : "test-arg",
  "environmentVariables": {
    "SOME_ENV_KEY": "some_env_value" 
  }
}
    3. Use este arquivo JSON de configuração da infraestrutura de jobs: 
      {
  "jobInfrastructureType": "STANDALONE",
  "shapeName": "VM.Standard2.1",
  "blockStorageSizeInGBs": "50",
  "subnetId": "<subnet_ocid>"
}
    4. (Opcional) Use este arquivo JSON de configuração de registro em log de jobs: 
      {
  "enableLogging": true,
  "enableAutoLogCreation": true,
  "logGroupId": "<log_group_ocid>"
}
    5. Faça upload de um arquivo de artefato de job para o job que você criou com: 
      oci data-science job create-job-artifact \
--job-id <job_ocid> \
--job-artifact-file <job_artifact_file_path> \
--content-disposition "attachment; filename=<job_artifact_file_name>"

  • O ADS SDK também é uma biblioteca Python disponível publicamente que você pode instalar com este comando:

    pip install oracle-ads

    Ele fornece o wrapper que facilita a criação e a execução de jobs em notebooks ou na sua máquina cliente.

    Use o ADS SDK para criar e executar jobs.