Criando um Job
Criar e executar um job no Data Science.
Certifique-se de ter criado as políticas, autenticação e autorização necessárias para seus jobs.
Antes de começar:
-
Crie um arquivo de artefato de job ou crie um contêiner personalizado.
-
Para armazenar e gerenciar logs de jobs, saiba mais sobre registro em log.
-
Para usar montagens de armazenamento, você deve ter um bucket do Object Storage ou um ponto de acesso NFS (FSS) do OCI File Storage Service e um caminho de exportação.
Para usar o FSS, primeiro crie o sistema de arquivos e o ponto de montagem. Use a opção de rede personalizada e certifique-se de que o ponto de acesso NFS e o notebook estejam configurados com a mesma sub-rede. Configure regras de lista de segurança para a sub-rede com as portas e protocolos específicos.
Certifique-se de que os limites de serviço sejam alocados para
file-system-count
emount-target-count
. -
Para usar montagens de armazenamento, você deve ter um bucket do Object Storage ou um ponto de montagem do OCI File Storage Service (FSS).
Adicione informações básicas para o job que você está criando. - Na página da lista de jobs, selecione Criar job. Se precisar de ajuda para encontrar a lista de jobs, consulte Listando Jobs.
- Selecione Nó Único se estiver usando uma única máquina para o job ou Multinó para jobs exigentes que devem ser executados em vários nós.
- (Opcional) Selecione outro compartimento para o job.
- (Opcional) Informe um nome e descrição para o job (limite de 255 caracteres). Se você não fornecer um nome, um nome é gerado automaticamente.
Por exemplo,
job20210808222435
-
Etapas de configuração de um ou vários nós
- Se você tiver selecionado Nó Único, siga as etapas em Usando a Console para Jobs de Nó Único.
- Se você tiver selecionado Multinó, siga as etapas em Usando a Console para Jobs Multinó.
Usando a Console para Jobs de Nó ÚnicoUsando a Console para Jobs de Nó Único
As etapas de configuração obrigatórias e opcionais para um único job de nó.
Etapas de Configuração Obrigatórias
Etapas de configuração necessárias específicas para criar um único job de nó. -
Crie uma configuração padrão de job que seja usada quando o job for executado usando essas opções.
Informe ou selecione um dos valores a seguir:
- Chave de variável de ambiente personalizada
-
As variáveis de ambiente que controlam o job.
Observação
Se você tiver feito upload do arquivo zip ou tar compactado, adicione
JOB_RUN_ENTRYPOINT
como variável de ambiente personalizada para apontar para o arquivo. - Valor
-
O valor da chave de variável de ambiente personalizada.
Você pode selecionar Chave de ambiente personalizada adicional para especificar mais variáveis.
- Argumentos de linha de comando
-
Os argumentos de linha de comando que deseja usar para executar o job.
- Runtime máximo (em minutos)
-
O tempo máximo em minutos que a execução do job pode durar. O serviço cancelará a execução do job se o runtime exceder o valor especificado. O runtime máximo é de 30 dias (43.200 minutos). Recomendamos que você configure um runtime máximo em todas as execuções de jobs para evitar fuga de execuções.
- Selecione uma forma de Computação.
- (Opcional) Altere a forma de Computação selecionando Alterar forma. Em seguida, siga estas etapas no painel Selecionar computação.
- Selecione um tipo de instância.
- Selecione uma série de formas.
- Selecione uma das formas de Computação suportadas na série.
-
Selecione a forma mais adequada à maneira como deseja usar o recurso.
Para cada OCPU, selecione até 64 GB de memória e um total máximo de 512 GB. A quantidade mínima de memória permitida é 1 GB ou um valor correspondente ao número de OCPUs, o que for maior.
-
Se estiver usando VMs expansíveis, alterne Burstable.
Em Utilização da linha de base por OCPU, selecione a porcentagem de OCPUs que você geralmente deseja usar. Os valores suportados são 12,5% e 50%.
- Selecione Selecionar forma.
- Para Armazenamento, digite a quantidade de armazenamento em blocos a ser usada entre 50 GB e 10.240 GB (10 TB). Você pode alterar o valor em incrementos de 1 GB.
-
Selecione uma das seguintes opções para configurar o tipo de rede:
-
Rede padrão - A carga de trabalho é anexada usando uma VNIC secundária a uma VCN e sub-rede gerenciadas pelo serviço pré-configuradas. Essa sub-rede fornecida permite a saída para a internet pública por meio de um gateway NAT e o acesso a outros serviços do Oracle Cloud por meio de um gateway de serviço.
Se você precisar de acesso apenas à internet pública e aos serviços da OCI, recomendamos o uso dessa opção. Não é necessário criar recursos de rede ou gravar políticas para permissões de rede.
-
Rede personalizada—Selecione a VCN e sub-rede que você deseja usar para o job.
Para acesso de saída à Internet pública, use uma sub-rede privada com uma rota para um gateway NAT.
Se você não vir a VCN ou a sub-rede que deseja usar, clique em Alterar Compartimento e selecione o compartimento que contém a VCN ou a sub-rede.
Importante
A rede personalizada deve ser usada para usar uma montagem de armazenamento de arquivos
-
- Esta etapa será opcional somente se BYOC (BYOC) estiver configurado. Faça upload do artefato de job arrastando o arquivo de artefato de job necessário para a caixa.
- Selecione Próximo.
Etapas de Configuração Opcionais
Etapas de configuração específicas para criar um job de nó único. - (Opcional) Para usar o registro em log, selecione Selecionar e verifique se a opção Ativar registro em log está selecionada.
- Selecione um grupo de logs na lista. Você pode mudar para outro compartimento para especificar um grupo de logs em outro compartimento do job.
-
Selecione uma das seguintes opções para armazenar todas as mensagens
stdout
estderr
:- Ativar criação automática de log
-
O Data Science cria automaticamente um log quando o job é iniciado.
- Selecionar um log
-
Selecione um log a ser usado.
- Selecione Selecionar para retornar à página de criação da execução de job.
- (Opcional) Para usar o Bring Your Own Container, na configuração do Ambiente, selecione Selecionar.
No painel Definir seu ambiente BYOC, siga estas etapas:
- Em Repositório, selecione um repositório na lista. Se o repositório estiver em outro compartimento, selecione Alterar compartimento.
- Em Imagem, selecione uma imagem na lista.
- (Opcional) Em Ponto de entrada, informe um ponto de entrada. Para adicionar outro, selecione o parâmetro +Add.
- (Opcional) Em CMD, informe um CMD. Para adicionar outro, selecione o parâmetro +Add.Observação
use CMD como argumentos para o ENTRYPOINT ou o único comando a ser executado na ausência de um ENTRYPOINT. - (Opcional) Em Compilação de imagem, informe uma compilação de imagem.
- (Opcional) Em ID da Assinatura, se estiver usando a verificação de assinatura, digite o OCID da assinatura da imagem. Por exemplo,
ocid1.containerimagesignature.oc1.iad.aaaaaaaaab...
. - Selecione Selecionar.
- (Opcional) Para usar montagens de armazenamento, selecione +Add storage mount.
Certifique-se de ter a autorização para usar montagens de armazenamento.
- Selecione um tipo de montagem de armazenamento, OCI Object Storage ou OCI File Storage.
- Selecione um compartimento que contenha o recurso de armazenamento que você deseja montar.
-
Selecione uma das seguintes opções:
- Serviço Object Storage
-
Se estiver usando uma rede personalizada:
- Crie o gateway do serviço na VCN.
- Para as configurações da tabela de roteamento na sub-rede privada, adicione o gateway de serviço.
- Altere as regras de saída da lista de segurança da sub-rede necessária para permitir o tráfego para todos os serviços na rede.
O bucket que você deseja usar.
Você pode adicionar um prefixo de nome de objeto. O prefixo deve começar com um caractere alfanumérico. Os caracteres permitidos são alfanuméricos, barra ( / ), hífen ( - ) e sublinhado ( _ ).
- Serviço File Storage
-
O ponto de acesso NFS e o caminho de exportação que você deseja usar. Você deve ter criado o sistema de arquivos. Especifique um ponto de acesso NFS existente ou crie um novo.
Você deve usar uma rede personalizada para usar o armazenamento de arquivos.
Siga as regras da lista de segurança da sub-rede.Observação
Antes de montar um sistema de arquivos, configure regras de segurança na sub-rede da VCN para permitir o tráfego de rede de/para o ponto de acesso NFS. Você pode configurar regras de segurança em listas de segurança de sub-rede, grupos de segurança de rede ou usando uma combinação de ambos. Para obter mais informações, consulte Configurando Regras de Segurança da VCN para o Serviço File Storage.- Entrada com monitoramento de Estado nas portas TCP 111, 2048, 2049 e 2050, e portas UDP11 e 2048.
- Saída com monitoramento de Estado para portas de origem TCP 111, 2048, 2049 e 2050 e porta de origem UDP 111.
-
Informe o caminho sob o qual o armazenamento deve ser montado.
O armazenamento é montado sob o caminho de montagem especificado. O caminho deve começar com um caractere alfanumérico. O diretório de destino deve ser exclusivo nas montagens de armazenamento fornecidas. Os caracteres permitidos são alfanuméricos, hífen ( - ) e sublinhado ( _ ).
Você pode especificar o caminho completo, como
/opc/storage-directory
. Se apenas um diretório for especificado, como/storage-directory
, ele será montado sob o diretório/mnt
padrão. Não é possível especificar diretórios específicos do SO, como/bin
ou/etc
. -
Selecione Enviar.
Repita essas etapas para adicionar até duas montagens de armazenamento para sessões de notebook.
-
Adicione uma investigação de inicialização. Selecione Selecionar.
- Insira um comando.
- (Opcional) Para adicionar outro comando, selecione comando +Add e repita a etapa a.
- (Opcional) Informe um valor para o atraso inicial (em segundos).
- (Opcional) Informe um valor do período.
- (Opcional) Informe um valor para o limite de falha.
- Selecione Salvar.
- (Opcional) Selecione Mostrar opções avançadas para adicionar tags ao job.
- (Opcional) Na seção Tags, adicione uma ou mais tags ao job. Se você tiver permissões para criar um job, também terá permissões para aplicar tags de formato livre a esse job. Para aplicar uma tag definida, você deve ter permissões para usar o namespace da tag. Para obter mais informações sobre tags, consulte Tags de Recursos. Se você não tiver certeza se deseja aplicar tags, ignore essa opção ou pergunte a um administrador. Você pode aplicar tags posteriormente.
- Selecione Próximo.
Verificar e Criar
Revise e crie o job. -
Revise o cargo.
Para atualizar qualquer parte da configuração do job, selecione Editar na seção apropriada.
-
Quando estiver satisfeito com a configuração, selecione Criar para criar o job.
Depois que o job estiver em um estado ativo, você poderá usar execuções de job para executar o job repetidamente.
Usando a Console para Jobs de Vários NósUsando a Console para Jobs de Vários Nós
As etapas de configuração obrigatórias e opcionais para um job de vários nós.
Etapas de Configuração Obrigatórias
Etapas de configuração necessárias específicas para criar um job de vários nós. -
Selecione uma das seguintes opções para configurar o tipo de rede:
-
Rede padrão — A carga de trabalho é anexada usando uma VNIC secundária a uma VCN e uma sub-rede pré-configuradas gerenciadas pelo serviço. Esta sub-rede fornecida possibilita a saída para a internet pública por meio de um gateway NAT e o acesso a outros serviços doOracle Cloud por meio de um gateway de serviço.
Se você precisar de acesso apenas à internet pública e aos serviços da OCI, recomendamos o uso dessa opção. Não é necessário criar recursos de rede ou gravar políticas para permissões de rede.
-
Rede personalizada—Selecione a VCN e sub-rede que você deseja usar para o job.
Para acesso de saída à Internet pública, use uma sub-rede privada com uma rota para um gateway NAT.
Se você não vir a VCN ou a sub-rede que deseja usar, clique em Alterar Compartimento e selecione o compartimento que contém a VCN ou a sub-rede.
Importante
A rede personalizada deve ser usada para usar uma montagem de armazenamento de arquivos.
-
- Esta etapa será opcional somente se BYOC (BYOC) estiver configurado. Faça upload do artefato de job arrastando o arquivo de artefato de job necessário para a caixa.
- (Opcional) Informe o tempo de execução máximo (em minutos entre 5 e 43200).
- Selecione Adicionar grupo de nós.
- Informe um nome exclusivo para o grupo de nós.
- Insira o número de réplicas.
- Insira o número mínimo de réplicas que devem ter êxito.
- Para Armazenamento, digite a quantidade de armazenamento em blocos a ser usada entre 50 GB e 10.240 GB (10 TB). Você pode alterar o valor em incrementos de 1 GB.
- (Opcional) Digite a configuração padrão:
- Informe a chave de variável de ambiente personalizada e um valor para ela.
- Selecione +Additional chave de ambiente personalizada para adicionar outra chave de variável de ambiente personalizada e repetir a etapa a.
- Informe os argumentos da linha de comando.
Observação
Se você tiver feito upload de um arquivo zip ou compactado tar, adicione aJOB_RUN_ENTRYPOINT
como uma variável de ambiente personalizada para apontar para o arquivo. - Selecione uma forma de Computação.
- (Opcional) Altere a forma de Computação selecionando Alterar forma. Em seguida, siga estas etapas no painel Selecionar computação.
- Selecione um tipo de instância.
- Selecione uma série de formas.
- Selecione uma das formas de Computação suportadas na série.
-
Selecione a forma mais adequada à maneira como deseja usar o recurso.
Para cada OCPU, selecione até 64 GB de memória e um total máximo de 512 GB. A quantidade mínima de memória permitida é 1 GB ou um valor correspondente ao número de OCPUs, o que for maior.
-
Se estiver usando VMs expansíveis, alterne Burstable.
Em Utilização da linha de base por OCPU, selecione a porcentagem de OCPUs que você geralmente deseja usar. Os valores suportados são 12,5% e 50%.
- Selecione Selecionar forma.
-
Para usar o recurso Bring Your Own Container, na configuração Ambiente, selecione Selecionar.
No painel Definir seu ambiente BYOC, siga estas etapas:
- Em Repositório, selecione um repositório na lista. Se o repositório estiver em outro compartimento, selecione Alterar compartimento.
- Em Imagem, selecione uma imagem na lista.
- (Opcional) Em Ponto de Entrada, informe um ponto de entrada. Para adicionar outro, selecione o parâmetro +Add.
- (Opcional) Em CMD, informe um CMD. Para adicionar outro, selecione o parâmetro +Add.Observação
Use CMD como argumentos para ENTRYPOINT ou o único comando a ser executado na ausência de ENTRYPOINT. - (Opcional) Em Compilação de imagens, insira uma compilação de imagem.
- (Opcional) Em ID da Assinatura, se estiver usando a verificação de assinatura, informe o OCID da assinatura da imagem. Por exemplo,
ocid1.containerimagesignature.oc1.iad.aaaaaaaaab...
. - Selecione Selecionar.
-
Adicione uma investigação de inicialização. Selecione Selecionar.
- Insira um comando.
- (Opcional) Para adicionar outro comando, selecione comando +Add e repita a etapa a.
- (Opcional) Informe um valor para o atraso inicial (em segundos).
- (Opcional) Informe um valor do período.
- (Opcional) Informe um valor para o limite de falha.
- Selecione Salvar.
- Selecione Adicionar.
- (Opcional) Para adicionar outro grupo de nós, selecione Adicionar grupo de nós e repita as etapas anteriores. Você pode adicionar até cinco grupos de nós.
- (Opcional) Se você tiver mais de um grupo de nós, especifique a ordem de inicialização do grupo de nós, em paralelo ou em sequência.
Etapas de Configuração Opcionais
Etapas de configuração opcionais ao criar um job de vários nós. - (Opcional) Para usar o registro, selecione Selecionar e, em seguida, certifique-se de que Ativar registro esteja selecionado.
- Selecione um grupo de logs na lista. Você pode mudar para outro compartimento para especificar um grupo de logs em outro compartimento do job.
-
Selecione uma das seguintes opções para armazenar todas as mensagens
stdout
estderr
:- Ativar criação automática de log
-
O serviço Data Science cria automaticamente um log quando o job é iniciado.
- Selecionar um log
-
Selecione um log a ser usado.
- Selecione Selecionar para retornar à página Criação da execução do job.
- (Opcional) Para usar montagens de armazenamento, selecione montagem de armazenamento +Add.
Certifique-se de ter a autorização para usar montagens de armazenamento.
- Selecione um tipo de montagem de armazenamento, OCI Object Storage ou OCI File Storage.
- Selecione um compartimento que contenha o recurso de armazenamento que você deseja montar.
-
Selecione uma das seguintes opções:
- Armazenamento de Objetos
-
Se estiver usando uma rede personalizada:
- Crie o gateway do serviço na VCN.
- Para as configurações da tabela de roteamento na sub-rede privada, adicione o gateway de serviço.
- Altere as regras de saída da lista de segurança da sub-rede necessária para permitir o tráfego para todos os serviços na rede.
O bucket que você deseja usar.
Você pode adicionar um prefixo de nome de objeto. O prefixo deve começar com um caractere alfanumérico. Os caracteres permitidos são alfanuméricos, barra ( / ), hífen ( - ) e sublinhado ( _ ).
- Armazenamento de Arquivos
-
O ponto de acesso NFS e o caminho de exportação que você deseja usar. Você deve ter criado o sistema de arquivos. Especifique um ponto de acesso NFS existente ou crie um novo.
Você deve usar uma rede personalizada para usar o armazenamento de arquivos.
Siga as regras da lista de segurança da sub-rede.Observação
Antes de montar um sistema de arquivos, configure regras de segurança na sub-rede da VCN para permitir o tráfego de rede de/para o ponto de acesso NFS. Você pode configurar regras de segurança em listas de segurança de sub-rede, grupos de segurança de rede ou usando uma combinação de ambos. Para obter mais informações, consulte Configurando Regras de Segurança da VCN para o Serviço File Storage.- Entrada com monitoramento de Estado nas portas TCP 111, 2048, 2049 e 2050, e portas UDP11 e 2048.
- Saída com monitoramento de Estado para portas de origem TCP 111, 2048, 2049 e 2050, e porta de origem UDP 111.
-
Insira o caminho sob o qual o armazenamento deve ser montado.
O armazenamento é montado no caminho de montagem especificado. O caminho deve começar com um caractere alfanumérico. O diretório de destino deve ser exclusivo nas montagens de armazenamento fornecidas. Os caracteres permitidos são alfanuméricos, hífen ( - ) e sublinhado ( _ ).
Você pode especificar o caminho completo, como o
/opc/storage-directory
. Se apenas um diretório for especificado, como/storage-directory
, ele será montado no diretório/mnt
padrão. Não é possível especificar diretórios específicos do SO, como/bin
ou/etc
. -
Selecione Enviar.
Repita essas etapas para adicionar até duas montagens de armazenamento para sessões de notebook.
- (Opcional) Selecione Mostrar opções avançadas para adicionar tags ao job.
- (Opcional) Na seção Tags, adicione uma ou mais tags ao job. Se você tiver permissões para criar um job, também terá permissões para aplicar tags de formato livre a esse job. Para aplicar uma tag definida, você deve ter permissões para usar o namespace da tag. Para obter mais informações sobre tags, consulte Tags de Recursos. Se você não tiver certeza se deseja aplicar tags, ignore essa opção ou pergunte a um administrador. Você pode aplicar as tags posteriormente.
- Selecione Próximo.
Verificar e Criar
Revise e crie o job. -
Revise o cargo.
Para atualizar qualquer parte da configuração do job, selecione Editar na seção apropriada.
-
Quando estiver satisfeito com a configuração, selecione Criar para criar o job.
Depois que o job estiver em um estado ativo, você poderá usar execuções de job para executar o job repetidamente.
Essas variáveis de ambiente controlam o job.
Use a CLI do Serviço Data Science para criar um job, como neste exemplo:
-
Crie um job com:
oci data-science job create \ --display-name <job_name>\ --compartment-id <compartment_ocid>\ --project-id <project_ocid> \ --configuration-details file://<jobs_configuration_json_file> \ --infrastructure-configuration-details file://<jobs_infrastructure_configuration_json_file> \ --log-configuration-details file://<optional_jobs_infrastructure_configuration_json_file>
-
Use este arquivo JSON de configuração de jobs:
{ "jobType": "DEFAULT", "maximumRuntimeInMinutes": 240, "commandLineArguments" : "test-arg", "environmentVariables": { "SOME_ENV_KEY": "some_env_value" } }
-
Use este arquivo JSON de configuração da infraestrutura de jobs:
{ "jobInfrastructureType": "STANDALONE", "shapeName": "VM.Standard2.1", "blockStorageSizeInGBs": "50", "subnetId": "<subnet_ocid>" }
- (Opcional) Use este arquivo JSON de configuração de registro em log de jobs:
{ "enableLogging": true, "enableAutoLogCreation": true, "logGroupId": "<log_group_ocid>" }
-
Faça upload de um arquivo de artefato de job para o job que você criou com:
oci data-science job create-job-artifact \ --job-id <job_ocid> \ --job-artifact-file <job_artifact_file_path> \ --content-disposition "attachment; filename=<job_artifact_file_name>"
-
Crie um job com:
O ADS SDK também é uma biblioteca Python disponível publicamente que você pode instalar com este comando:
pip install oracle-ads
Ele fornece o wrapper que facilita a criação e a execução de jobs em notebooks ou na sua máquina cliente.