Criando um Job

Criar e executar um job no Data Science.

Certifique-se de ter criado as políticas, autenticação e autorização necessárias para seus jobs.

Antes de começar:

  • Crie um arquivo de artefato de job ou crie um contêiner personalizado.

  • Para armazenar e gerenciar logs de jobs, saiba mais sobre registro em log.

  • Para usar montagens de armazenamento, você deve ter um bucket do Object Storage ou um ponto de acesso NFS (FSS) do OCI File Storage Service e um caminho de exportação.

    Para usar o FSS, primeiro crie o sistema de arquivos e o ponto de montagem. Use a opção de rede personalizada e certifique-se de que o ponto de acesso NFS e o notebook estejam configurados com a mesma sub-rede. Configure regras de lista de segurança para a sub-rede com as portas e protocolos específicos.

    Certifique-se de que os limites de serviço sejam alocados para file-system-count e mount-target-count.

  • Para usar montagens de armazenamento, você deve ter um bucket do Object Storage ou um ponto de montagem do OCI File Storage Service (FSS).

  • Adicione informações básicas para o job que você está criando.
    1. Na página da lista de jobs, selecione Criar job. Se precisar de ajuda para encontrar a lista de jobs, consulte Listando Jobs.
    2. Selecione Nó Único se estiver usando uma única máquina para o job ou Multinó para jobs exigentes que devem ser executados em vários nós.
    3. (Opcional) Selecione outro compartimento para o job.
    4. (Opcional) Informe um nome e descrição para o job (limite de 255 caracteres). Se você não fornecer um nome, um nome é gerado automaticamente.

      Por exemplo, job20210808222435

    5. Etapas de configuração de um ou vários nós
    Usando a Console para Jobs de Nó Único
    Usando a Console para Jobs de Vários Nós
  • Essas variáveis de ambiente controlam o job.

    Use a CLI do Serviço Data Science para criar um job, como neste exemplo:

    1. Crie um job com:
      oci data-science job create \
      --display-name <job_name>\
      --compartment-id <compartment_ocid>\
      --project-id <project_ocid> \
      --configuration-details file://<jobs_configuration_json_file> \
      --infrastructure-configuration-details file://<jobs_infrastructure_configuration_json_file> \
      --log-configuration-details file://<optional_jobs_infrastructure_configuration_json_file>
    2. Use este arquivo JSON de configuração de jobs:
      {
        "jobType": "DEFAULT",
        "maximumRuntimeInMinutes": 240,
        "commandLineArguments" : "test-arg",
        "environmentVariables": {
          "SOME_ENV_KEY": "some_env_value" 
        }
      }
    3. Use este arquivo JSON de configuração da infraestrutura de jobs:
      {
        "jobInfrastructureType": "STANDALONE",
        "shapeName": "VM.Standard2.1",
        "blockStorageSizeInGBs": "50",
        "subnetId": "<subnet_ocid>"
      }
    4. (Opcional) Use este arquivo JSON de configuração de registro em log de jobs:
      {
        "enableLogging": true,
        "enableAutoLogCreation": true,
        "logGroupId": "<log_group_ocid>"
      }
    5. Faça upload de um arquivo de artefato de job para o job que você criou com:
      oci data-science job create-job-artifact \
      --job-id <job_ocid> \
      --job-artifact-file <job_artifact_file_path> \
      --content-disposition "attachment; filename=<job_artifact_file_name>"
  • O ADS SDK também é uma biblioteca Python disponível publicamente que você pode instalar com este comando:

    pip install oracle-ads

    Ele fornece o wrapper que facilita a criação e a execução de jobs em notebooks ou na sua máquina cliente.

    Use o ADS SDK para criar e executar jobs.