Criando um Pipeline

Crie um pipeline do serviço Data Science para executar uma tarefa. Você pode criar pipelines usando o ADS SDK, a Console do OCI ou o OCI SDK. O uso do ADS para criar pipelines pode facilitar o desenvolvimento do pipeline, das etapas e das dependências. O ADS suporta a leitura e a gravação do pipeline de e para um arquivo YAML. Você pode usar o ADS para exibir uma representação visual do pipeline. Recomendamos que você use o ADS para criar e gerenciar o pipeline usando código.

Verifique se você criou as políticas, autenticação e autorização necessárias para pipelines.

Importante

Para uma operação adequada das etapas do script, certifique-se de ter adicionado a seguinte regra a uma política de grupo dinâmico:

all {resource.type='datasciencepipelinerun', resource.compartment.id='<pipeline-run-compartment-ocid>'}

Antes de Começar

Crie um arquivo de artefato de etapa.
Verifique o uso das variáveis do ambiente pipelines.
Para armazenar e gerenciar logs de pipeline, saiba mais sobre registro em log.
Decida qual ambiente conda você deseja usar. Se você precisar de um ambiente conda personalizado, crie e publice um.

1. Na página de lista Projetos, selecione o projeto que contém os pipelines com os quais você deseja trabalhar. Se precisar de ajuda para localizar a página da lista ou o projeto, consulte Listando Projetos.
2. Na página de detalhes do projeto, selecione Pipelines.
3. Selecione Criar pipeline.
4. Na página Criar pipeline, especifique as informações a seguir.
  
  Compartimento: Selecione o compartimento no qual armazenar o pipeline.
  
  Nome (Opcional): Informe um nome para o pipeline (limite de 255 caracteres). Se você não fornecer um nome, um nome é gerado automaticamente. Exemplo: pipeline2022808222435
  
  Description (Opcional): Digite uma descrição para o pipeline.
  
  Etapas do pipeline: Para cada etapa do pipeline que você deseja adicionar ao pipeline, selecione Adicionar etapas do pipeline para abrir o painel Adicionar etapa do pipeline e, em seguida, siga o procedimento do tipo de etapa do pipeline desejado.
  Job: Para criar uma etapa do pipeline com base em um job, selecione De jobs e especifique as seguintes informações.
  Observação
  
  Opcionalmente, crie uma configuração de pipeline padrão que seja usada quando o pipeline for executado informando a variável de ambiente, os argumentos da linha de comando e o máximo de opções de runtime.
  
  Nome da etapa: Informe um nome exclusivo para a etapa. Não é possível repetir um nome de etapa em um pipeline.
  
  Descrição da etapa (Opcional): Informe uma descrição da etapa, que pode ajudá-lo a localizar dependências da etapa.
  
  Nome da execução da etapa
  
  Depende de (Opcional): Se essa etapa depender de outra etapa, selecione uma ou mais etapas a serem executadas antes dessa etapa.
  
  Selecionar um compartimento de jobs: Selecione o compartimento que contém o job que você deseja usar como etapa do pipeline.
  
  Selecionar um job: Selecione o job que você deseja usar como etapa do pipeline.
  
  Parâmetros (Opcional):
  Observação
  
  A etapa precisa garantir que o arquivo especificado (por exemplo, /home/datascience/output.json) seja preenchido com um JSON válido definindo as variáveis especificadas. Por exemplo:
  { "message":"Hello John!", "ocpu": 2, "memory": 10 }
  
  Chave de variável de ambiente personalizada (Opcional): As variáveis de ambiente para esta etapa do pipeline.
  
  Valor (Opcional): O valor da chave.
  
  Argumentos da linha de comandos (Opcional): Informe os argumentos da linha de comandos que você deseja usar para executar a etapa do pipeline.
  
  Máximo de runtime (em minutos) (Opcional): O número máximo de minutos que a etapa do pipeline tem permissão para executar. O serviço cancelará a execução do pipeline se seu runtime exceder o valor especificado. O tempo de execução máximo é de 30 dias (43.200 minutos). Recomendamos que você configure um runtime máximo em todas as execuções de pipeline para evitar execuções de pipeline de runaway.
  
  Parâmetros de saída (Opcional):
  
  Tipo de parâmetro de saída: Selecione JSON.
  
  Nome do parâmetro: Informe um nome de parâmetro.
  
  Nome do arquivo de saída: Selecione o nome do arquivo de saída no qual a etapa armazena os parâmetros de saída. Por exemplo: /home/datascience/output.json.
  
  Salvar: selecione esta opção para salvar a etapa.
  A página Criar pipeline é reaberta com a etapa adicionada.
  
  Script: Para criar uma etapa de pipeline com base em um script, selecione Do script e especifique as seguintes informações.
  
  Nome da etapa: Informe um nome exclusivo para a etapa. Não é possível repetir um nome de etapa em um pipeline.
  
  Descrição da etapa (Opcional): Informe uma descrição da etapa, que pode ajudá-lo a localizar dependências da etapa.
  
  Depende de (Opcional): Se essa etapa depender de outra etapa, selecione uma ou mais etapas a serem executadas antes dessa etapa.
  
  Fazer upload do artefato de job: Arraste um arquivo de etapa de job para a caixa ou selecione a caixa para navegar até o arquivo para seleção.
  
  Ponto de Entrada (Opcional): Selecione um arquivo para ser o ponto de execução da entrada da etapa. Isso é útil quando você tem muitos arquivos.
  
  Parâmetros (Opcional):
  Observação
  
  A etapa precisa garantir que o arquivo especificado (por exemplo, /home/datascience/output.json) seja preenchido com um JSON válido definindo as variáveis especificadas. Por exemplo:
  { "message":"Hello John!", "ocpu": 2, "memory": 10 }
  
  Chave de variável de ambiente personalizada (Opcional): As variáveis de ambiente para esta etapa do pipeline.
  
  Valor (Opcional): O valor da chave.
  
  Argumentos da linha de comandos (Opcional): Informe os argumentos da linha de comandos que você deseja usar para executar a etapa do pipeline.
  
  Máximo de runtime (em minutos) (Opcional): O número máximo de minutos que a etapa do pipeline tem permissão para executar. O serviço cancelará a execução do pipeline se seu runtime exceder o valor especificado. O tempo de execução máximo é de 30 dias (43.200 minutos). Recomendamos que você configure um runtime máximo em todas as execuções de pipeline para evitar execuções de pipeline de runaway.
  
  Parâmetros de saída (Opcional):
  
  Tipo de parâmetro de saída: Selecione JSON.
  
  Nome do parâmetro: Informe um nome de parâmetro.
  
  Nome do arquivo de saída: Selecione o nome do arquivo de saída no qual a etapa armazena os parâmetros de saída. Por exemplo: /home/datascience/output.json.
  
  Altere a forma de Computação selecionando Alterar forma. Em seguida, siga estas etapas no painel Selecionar forma de computação.
  Observação
  
  Para a forma AMD, você pode usar o padrão ou definir o número de OCPUs e de memória.
  
  Selecione um tipo de instância.
  
  Selecione uma série de formas.
  
  Selecione uma das formas de Computação suportadas na série. Selecione a forma que melhor se adapte à forma como deseja usar o recurso.
  
  Expanda a forma selecionada para configurar OCPUs e memória.
  
  Número de OCPUs
  
  Quantidade de memória (GB): Para cada OCPU, selecione até 64 GB de memória e um total máximo de 512 GB. A quantidade mínima de memória permitida é 1 GB ou um valor correspondente ao número de OCPUs, o que for maior.
  
  Ativar Forma Expansível: Selecione se estiver usando VMs expansíveis e, em seguida, para Utilização da linha de base por OCPU, selecione a porcentagem de OCPUs que você geralmente deseja usar. Os valores suportados são 12,5% e 50%. (Para implantações de modelo, somente o valor de 50% é suportado.)
  
  Selecione Selecionar forma.
  
  Forma de computação parametrizada
  
  Forma parametrizada
  
  Ocpus parametrizadas
  
  MemoryInGBs parametrizada
  
  Armazenamento em Blocos: Informe o volume de armazenamento que você deseja usar entre 50 GB e 10, 240 GB (10 TB). Você pode alterar o valor em incrementos de 1 GB. O valor padrão é 100 GB. de
  
  Recursos de rede: Selecione a opção relevante.
  
  Rede Padrão: Restringe o tráfego somente aos serviços Oracle. O sistema usa a rede existente gerenciada pelo serviço. A carga de trabalho é anexada usando uma VNIC secundária a uma VCN e sub-rede pré-configuradas gerenciadas pelo serviço. Essa sub-rede fornecida possibilita a saída para a internet pública por meio de um gateway NAT e o acesso a outros serviços doOracle Cloud por meio de um gateway de serviço.
  Se você precisar de acesso apenas à internet pública e aos serviços da OCI, recomendamos o uso dessa opção. Não é necessário criar recursos de rede ou gravar políticas para permissões de rede.
  
  Rede padrão com internet: Permite acesso de saída à internet por meio do gateway NAT do serviço Data Science.
  Observação
  
  Você não pode usar Rede padrão com internet em realms desconectados e tenancies de desenvolvimento da Oracle. Se sua tenancy ou compartimento tiver uma política de zona de segurança do serviço Data Science que negue acesso à rede pública (por exemplo, deny model_deploy_public_network — consulte Política de zona de segurança do serviço Data Science), a opção de acesso à internet pública gerenciada pelo serviço será desativada. Se você tentar usar essa opção, receberá um erro 404 NotAuthorizedOrNotFound.
  
  Rede Personalizada: Selecione a VCN e sub-rede (por compartimento) que você deseja usar.
  Para acesso de saída à Internet pública, use uma sub-rede privada com uma rota para um gateway NAT.
  Observação
  
  A rede personalizada deve ser usada para usar uma montagem de armazenamento de arquivos.
  
  Não há suporte para a alternância de rede personalizada para rede gerenciada após a criação.
  
  Se você vir o banner The specified subnet is not accessible. Select a different subnet., crie uma política que permita ao serviço Data Science usar a rede personalizada. Consulte Políticas.
  
  Montagens de armazenamento (Opcional):
  
  Montagens de armazenamento de arquivos (Opcional): Selecione Adicionar montagem de armazenamento de arquivos e insira as seguintes informações.
  
  Compartimento: Selecione o compartimento que contém o destino que você deseja montar.
  
  Ponto de acesso NFS: o ponto de acesso NFS que você deseja usar.
  
  Caminho de exportação: o caminho de exportação que você deseja usar.
  
  Caminho e diretório de destino: Informe o caminho a ser usado para montar o armazenamento.
  O caminho deve começar com um caractere alfanumérico. O diretório de destino deve ser exclusivo nas montagens de armazenamento fornecidas. Os caracteres permitidos são alfanuméricos, hífen ( - ) e sublinhado ( _ ).
  Você pode especificar o caminho completo, como o /opc/storage-directory. Se apenas um diretório for especificado, como /storage-directory, ele será montado no diretório /mnt padrão. Não é possível especificar diretórios específicos do SO, como /bin ou /etc.
  
  Montagens do armazenamento de objetos (Opcional): Selecione Adicionar montagem do armazenamento de objetos e especifique as seguintes informações.
  
  Compartimento: Selecione o compartimento que contém o bloco que você deseja montar.
  
  Bloco: Selecione o bloco que você deseja usar.
  
  Prefixo do nome do objeto (Opcional): Prefixo do nome do objeto. O prefixo deve começar com um caractere alfanumérico. Os caracteres permitidos são alfanuméricos, barra ( / ), hífen ( - ) e sublinhado ( _ ).
  
  Caminho e diretório de destino: Informe o caminho a ser usado para montar o armazenamento.
  O caminho deve começar com um caractere alfanumérico. O diretório de destino deve ser exclusivo nas montagens de armazenamento fornecidas. Os caracteres permitidos são alfanuméricos, hífen ( - ) e sublinhado ( _ ).
  Você pode especificar o caminho completo, como o /opc/storage-directory. Se apenas um diretório for especificado, como /storage-directory, ele será montado no diretório /mnt padrão. Não é possível especificar diretórios específicos do SO, como /bin ou /etc.
  
  Observação
  
  Se estiver usando uma rede personalizada:
  
  Crie o gateway do serviço na VCN.
  
  Para as configurações da tabela de roteamento na sub-rede privada, adicione o gateway de serviço.
  
  Altere as regras de saída da lista de segurança da sub-rede necessária para permitir o tráfego para todos os serviços na rede.
  
  Salvar: selecione esta opção para salvar a etapa.
  A página Criar pipeline é reaberta com a etapa adicionada.
  
  Contêiner: Para criar uma etapa de pipeline com base em um contêiner, selecione Do contêiner e especifique as seguintes informações.
  Opcionalmente, ao definir etapas de pipeline, você pode optar por usar Traga seu Próprio Contêiner. Para obter mais informações, consulte BYOC (Bring Your Own Container) para Pipelines.
  
  Nome da etapa: Informe um nome exclusivo para a etapa. Não é possível repetir um nome de etapa em um pipeline.
  
  Descrição da etapa (Opcional): Informe uma descrição da etapa, que pode ajudá-lo a localizar dependências da etapa.
  
  Depende de (Opcional): Se essa etapa depender de outra etapa, selecione uma ou mais etapas a serem executadas antes dessa etapa.
  
  Configurar ambiente de contêiner: Selecione Configurar para abrir o painel Configurar ambiente de contêiner e, em seguida, especifique as seguintes informações.
  
  Compartimento do repositório
  
  Repositório
  
  Imagem
  
  Entrypoint
  
  CMD: use CMD como argumentos para ENTRYPOINT ou o único comando a ser executado na ausência de ENTRYPOINT.
  
  Compilação de imagens (Opcional)
  
  ID da Assinatura (Opcional): Se estiver usando a verificação de assinatura, informe o OCID da assinatura da imagem. Exemplo: ocid1.containerimagesignature.oc1.iad.aaaaaaaaab....
  
  Configurar ambiente de contêiner: Selecione Configurar para abrir o painel Configurar ambiente de contêiner e, em seguida, especifique as seguintes informações.
  
  Compartimento do repositório
  
  Repositório
  
  Imagem
  
  Ponto de Entrada (Opcional)
  
  CMD (Opcional): Utilize CMD como argumentos para o ENTRYPOINT ou o único comando a ser executado na ausência de um ENTRYPOINT.
  
  Compilação de imagens (Opcional)
  
  ID da Assinatura (Opcional): Se estiver usando a verificação de assinatura, informe o OCID da assinatura da imagem. Exemplo: ocid1.containerimagesignature.oc1.iad.aaaaaaaaab....
  
  Fazer upload do artefato de job: Arraste um artefato de etapa para a caixa ou selecione a caixa para navegar até o arquivo para seleção.
  Esta etapa é opcional somente se BYOC estiver configurado.
  
  Parâmetros (Opcional):
  Observação
  
  A etapa precisa garantir que o arquivo especificado (por exemplo, /home/datascience/output.json) seja preenchido com um JSON válido definindo as variáveis especificadas. Por exemplo:
  { "message":"Hello John!", "ocpu": 2, "memory": 10 }
  
  Chave de variável de ambiente personalizada (Opcional): As variáveis de ambiente para esta etapa do pipeline.
  
  Valor (Opcional): O valor da chave.
  
  Argumentos da linha de comandos (Opcional): Informe os argumentos da linha de comandos que você deseja usar para executar a etapa do pipeline.
  
  Máximo de runtime (em minutos) (Opcional): O número máximo de minutos que a etapa do pipeline tem permissão para executar. O serviço cancelará a execução do pipeline se seu runtime exceder o valor especificado. O tempo de execução máximo é de 30 dias (43.200 minutos). Recomendamos que você configure um runtime máximo em todas as execuções de pipeline para evitar execuções de pipeline de runaway.
  
  Parâmetros de saída (Opcional):
  
  Tipo de parâmetro de saída: Selecione JSON.
  
  Nome do parâmetro: Informe um nome de parâmetro.
  
  Nome do arquivo de saída: Selecione o nome do arquivo de saída no qual a etapa armazena os parâmetros de saída. Por exemplo: /home/datascience/output.json.
  
  Altere a forma de Computação selecionando Alterar forma. Em seguida, siga estas etapas no painel Selecionar forma de computação.
  Observação
  
  Para a forma AMD, você pode usar o padrão ou definir o número de OCPUs e de memória.
  
  Selecione um tipo de instância.
  
  Selecione uma série de formas.
  
  Selecione uma das formas de Computação suportadas na série. Selecione a forma que melhor se adapte à forma como deseja usar o recurso.
  
  Expanda a forma selecionada para configurar OCPUs e memória.
  
  Número de OCPUs
  
  Quantidade de memória (GB): Para cada OCPU, selecione até 64 GB de memória e um total máximo de 512 GB. A quantidade mínima de memória permitida é 1 GB ou um valor correspondente ao número de OCPUs, o que for maior.
  
  Ativar Forma Expansível: Selecione se estiver usando VMs expansíveis e, em seguida, para Utilização da linha de base por OCPU, selecione a porcentagem de OCPUs que você geralmente deseja usar. Os valores suportados são 12,5% e 50%. (Para implantações de modelo, somente o valor de 50% é suportado.)
  
  Selecione Selecionar forma.
  
  Forma de computação parametrizada
  
  Forma parametrizada
  
  Ocpus parametrizadas
  
  MemoryInGBs parametrizada
  
  Armazenamento em Blocos: Informe o volume de armazenamento que você deseja usar entre 50 GB e 10, 240 GB (10 TB). Você pode alterar o valor em incrementos de 1 GB. O valor padrão é 100 GB. de
  
  Recursos de rede: Selecione a opção relevante.
  
  Rede Padrão: Restringe o tráfego somente aos serviços Oracle. O sistema usa a rede existente gerenciada pelo serviço. A carga de trabalho é anexada usando uma VNIC secundária a uma VCN e sub-rede pré-configuradas gerenciadas pelo serviço. Esta sub-rede fornecida possibilita a saída para a internet pública por meio de um gateway NAT e o acesso a outros serviços doOracle Cloud por meio de um gateway de serviço.
  Se você precisar de acesso apenas à internet pública e aos serviços da OCI, recomendamos o uso dessa opção. Não é necessário criar recursos de rede ou gravar políticas para permissões de rede.
  
  Rede padrão com internet: Permite acesso de saída à internet por meio do gateway NAT do serviço Data Science.
  Observação
  
  Você não pode usar Rede padrão com internet em realms desconectados e tenancies de desenvolvimento da Oracle. Se sua tenancy ou compartimento tiver uma política de zona de segurança do serviço Data Science que negue acesso à rede pública (por exemplo, deny model_deploy_public_network—consulte Política de zona de segurança do serviço Data Science), a opção de acesso à internet pública gerenciada pelo serviço será desativada. Se você tentar usar essa opção, receberá um erro 404 NotAuthorizedOrNotFound.
  
  Rede Personalizada: Selecione a VCN e sub-rede (por compartimento) que você deseja usar.
  Para acesso de saída à Internet pública, use uma sub-rede privada com uma rota para um gateway NAT.
  Observação
  
  A rede personalizada deve ser usada para usar uma montagem de armazenamento de arquivos.
  
  Não há suporte para a alternância de rede personalizada para rede gerenciada após a criação.
  
  Se você vir o banner The specified subnet is not accessible. Select a different subnet., crie uma política que permita ao serviço Data Science usar a rede personalizada. Consulte Políticas.
  
  Montagens de armazenamento (Opcional):
  
  Montagens de armazenamento de arquivos (Opcional): Selecione Adicionar montagem de armazenamento de arquivos e insira as seguintes informações.
  
  Compartimento: Selecione o compartimento que contém o destino que você deseja montar.
  
  Ponto de acesso NFS: o ponto de acesso NFS que você deseja usar.
  
  Caminho de exportação: o caminho de exportação que você deseja usar.
  
  Caminho e diretório de destino: Informe o caminho a ser usado para montar o armazenamento.
  O caminho deve começar com um caractere alfanumérico. O diretório de destino deve ser exclusivo nas montagens de armazenamento fornecidas. Os caracteres permitidos são alfanuméricos, hífen ( - ) e sublinhado ( _ ).
  Você pode especificar o caminho completo, como o /opc/storage-directory. Se apenas um diretório for especificado, como /storage-directory, ele será montado no diretório /mnt padrão. Não é possível especificar diretórios específicos do SO, como /bin ou /etc.
  
  Montagens do armazenamento de objetos (Opcional): Selecione Adicionar montagem do armazenamento de objetos e especifique as seguintes informações.
  
  Compartimento: Selecione o compartimento que contém o bloco que você deseja montar.
  
  Bloco: Selecione o bloco que você deseja usar.
  
  Prefixo do nome do objeto (Opcional): Prefixo do nome do objeto. O prefixo deve começar com um caractere alfanumérico. Os caracteres permitidos são alfanuméricos, barra ( / ), hífen ( - ) e sublinhado ( _ ).
  
  Caminho e diretório de destino: Informe o caminho a ser usado para montar o armazenamento.
  O caminho deve começar com um caractere alfanumérico. O diretório de destino deve ser exclusivo nas montagens de armazenamento fornecidas. Os caracteres permitidos são alfanuméricos, hífen ( - ) e sublinhado ( _ ).
  Você pode especificar o caminho completo, como o /opc/storage-directory. Se apenas um diretório for especificado, como /storage-directory, ele será montado no diretório /mnt padrão. Não é possível especificar diretórios específicos do SO, como /bin ou /etc.
  
  Observação
  
  Se estiver usando uma rede personalizada:
  
  Crie o gateway do serviço na VCN.
  
  Para as configurações da tabela de roteamento na sub-rede privada, adicione o gateway de serviço.
  
  Altere as regras de saída da lista de segurança da sub-rede necessária para permitir o tráfego para todos os serviços na rede.
  
  Salvar: selecione esta opção para salvar a etapa.
  A página Criar pipeline é reaberta com a etapa adicionada.
  
  Aplicativo do serviço Data Flow: Para criar uma etapa de pipeline com base em um aplicativo do serviço Data Flow, selecione De aplicativos do serviço Data Flow e especifique as seguintes informações.
  
  Nome da etapa: Informe um nome exclusivo para a etapa. Não é possível repetir um nome de etapa em um pipeline.
  
  Descrição da etapa (Opcional): Informe uma descrição da etapa, que pode ajudá-lo a localizar dependências da etapa.
  
  Depende de (Opcional): Se essa etapa depender de outra etapa, selecione uma ou mais etapas a serem executadas antes dessa etapa.
  
  Selecione um compartimento de aplicativo do dataflow
  
  Selecione um aplicativo de fluxo de dados
  
  Parâmetros (Opcional):
  Observação
  
  A etapa precisa garantir que o arquivo especificado (por exemplo, /home/datascience/output.json) seja preenchido com um JSON válido definindo as variáveis especificadas. Por exemplo:
  { "message":"Hello John!", "ocpu": 2, "memory": 10 }
  
  Chave de variável de ambiente personalizada (Opcional): As variáveis de ambiente para esta etapa do pipeline.
  
  Valor (Opcional): O valor da chave.
  
  Argumentos da linha de comandos (Opcional): Informe os argumentos da linha de comandos que você deseja usar para executar a etapa do pipeline.
  
  Máximo de runtime (em minutos) (Opcional): O número máximo de minutos que a etapa do pipeline tem permissão para executar. O serviço cancelará a execução do pipeline se seu runtime exceder o valor especificado. O tempo de execução máximo é de 30 dias (43.200 minutos). Recomendamos que você configure um runtime máximo em todas as execuções de pipeline para evitar execuções de pipeline de runaway.
  
  Configuração do serviço Data Flow: Selecione Configurar para abrir o painel Configurar configuração do serviço Data Flow e, em seguida, especifique as informações a seguir.
  
  Forma do driver
  
  OCPUs do Driver
  
  Memória do Driver (GB)
  
  Forma do executor
  
  OCPUs do Executor
  
  Memória do Executor (GB)
  
  Número de executores
  
  Informe o caminho do bucket manualmente
  
  URI do bucket de logs
  
  Compartimento do nome do bucket do serviço Object Storage
  
  Nome do bucket de armazenamento de objetos
  
  Chave
  
  Valor
  
  URI do bucket do Warehouse
  
  Configurar: Selecione para salvar as informações inseridas e voltar à página Adicionar etapa do pipeline.
  
  Salvar: selecione esta opção para salvar a etapa.
  A página Criar pipeline é reaberta com a etapa adicionada.
  
  Parâmetros (Opcional):
  Observação
  
  A etapa precisa garantir que o arquivo especificado (por exemplo, /home/datascience/output.json) seja preenchido com um JSON válido definindo as variáveis especificadas. Por exemplo:
  { "message":"Hello John!", "ocpu": 2, "memory": 10 }
  
  Chave de variável de ambiente personalizada (Opcional): As variáveis de ambiente para esta etapa do pipeline.
  
  Valor (Opcional): O valor da chave.
  
  Argumentos da linha de comandos (Opcional): Informe os argumentos da linha de comandos que você deseja usar para executar a etapa do pipeline.
  
  Máximo de runtime (em minutos) (Opcional): O número máximo de minutos que a etapa do pipeline tem permissão para executar. O serviço cancelará a execução do pipeline se seu runtime exceder o valor especificado. O tempo de execução máximo é de 30 dias (43.200 minutos). Recomendamos que você configure um runtime máximo em todas as execuções de pipeline para evitar execuções de pipeline de runaway.
  
  Chave de parâmetro personalizada
  
  Valor
  
  Altere a forma de Computação selecionando Alterar forma. Em seguida, siga estas etapas no painel Selecionar forma de computação.
  Observação
  
  Para a forma AMD, você pode usar o padrão ou definir o número de OCPUs e de memória.
  
  Selecione um tipo de instância.
  
  Selecione uma série de formas.
  
  Selecione uma das formas de Computação suportadas na série. Selecione a forma que melhor se adapte à forma como deseja usar o recurso.
  
  Expanda a forma selecionada para configurar OCPUs e memória.
  
  Número de OCPUs
  
  Quantidade de memória (GB): Para cada OCPU, selecione até 64 GB de memória e um total máximo de 512 GB. A quantidade mínima de memória permitida é 1 GB ou um valor correspondente ao número de OCPUs, o que for maior.
  
  Ativar Forma Expansível: Selecione se estiver usando VMs expansíveis e, em seguida, para Utilização da linha de base por OCPU, selecione a porcentagem de OCPUs que você geralmente deseja usar. Os valores suportados são 12,5% e 50%. (Para implantações de modelo, somente o valor de 50% é suportado.)
  
  Selecione Selecionar forma.
  
  Forma de computação parametrizada
  
  Forma parametrizada
  
  Ocpus parametrizadas
  
  MemoryInGBs parametrizada
  
  Armazenamento em Blocos: Informe o volume de armazenamento que você deseja usar entre 50 GB e 10, 240 GB (10 TB). Você pode alterar o valor em incrementos de 1 GB. O valor padrão é 100 GB. de
  
  Recursos de rede: Selecione a opção relevante.
  
  Rede Padrão: Restringe o tráfego somente aos serviços Oracle. O sistema usa a rede existente gerenciada pelo serviço. A carga de trabalho é anexada usando uma VNIC secundária a uma VCN e sub-rede pré-configuradas gerenciadas pelo serviço. Essa sub-rede fornecida possibilita a saída para a internet pública por meio de um gateway NAT e o acesso a outros serviços doOracle Cloud por meio de um gateway de serviço.
  Se você precisar de acesso apenas à internet pública e aos serviços da OCI, recomendamos o uso dessa opção. Não é necessário criar recursos de rede ou gravar políticas para permissões de rede.
  
  Rede padrão com internet: Permite acesso de saída à internet por meio do gateway NAT do serviço Data Science.
  Observação
  
  Você não pode usar Rede padrão com internet em realms desconectados e tenancies de desenvolvimento da Oracle. Se sua tenancy ou compartimento tiver uma política de zona de segurança do serviço Data Science que negue acesso à rede pública (por exemplo, deny model_deploy_public_network — consulte Política de zona de segurança do serviço Data Science), a opção de acesso à internet pública gerenciada pelo serviço será desativada. Se você tentar usar essa opção, receberá um erro 404 NotAuthorizedOrNotFound.
  
  Rede Personalizada: Selecione a VCN e sub-rede (por compartimento) que você deseja usar.
  Para acesso de saída à Internet pública, use uma sub-rede privada com uma rota para um gateway NAT.
  Observação
  
  A rede personalizada deve ser usada para usar uma montagem de armazenamento de arquivos.
  
  Não há suporte para a alternância de rede personalizada para rede gerenciada após a criação.
  
  Se você vir o banner The specified subnet is not accessible. Select a different subnet., crie uma política que permita ao serviço Data Science usar a rede personalizada. Consulte Políticas.
  
  Ativar registro em log (Opcional): Mensagens de log.
  
  Compartimento do grupo de logs: Selecione o compartimento que contém o grupo de logs.
  
  Grupo de logs: Selecione o grupo.
  
  Montagens de armazenamento (Opcional):
  
  Montagens de armazenamento de arquivos (Opcional): Selecione Adicionar montagem de armazenamento de arquivos e insira as seguintes informações.
  
  Compartimento: Selecione o compartimento que contém o destino que você deseja montar.
  
  Ponto de acesso NFS: o ponto de acesso NFS que você deseja usar.
  
  Caminho de exportação: o caminho de exportação que você deseja usar.
  
  Caminho e diretório de destino: Informe o caminho a ser usado para montar o armazenamento.
  O caminho deve começar com um caractere alfanumérico. O diretório de destino deve ser exclusivo nas montagens de armazenamento fornecidas. Os caracteres permitidos são alfanuméricos, hífen ( - ) e sublinhado ( _ ).
  Você pode especificar o caminho completo, como o /opc/storage-directory. Se apenas um diretório for especificado, como /storage-directory, ele será montado no diretório /mnt padrão. Não é possível especificar diretórios específicos do SO, como /bin ou /etc.
  
  Montagens do armazenamento de objetos (Opcional): Selecione Adicionar montagem do armazenamento de objetos e especifique as seguintes informações.
  
  Compartimento: Selecione o compartimento que contém o bloco que você deseja montar.
  
  Bloco: Selecione o bloco que você deseja usar.
  
  Prefixo do nome do objeto (Opcional): Prefixo do nome do objeto. O prefixo deve começar com um caractere alfanumérico. Os caracteres permitidos são alfanuméricos, barra ( / ), hífen ( - ) e sublinhado ( _ ).
  
  Caminho e diretório de destino: Informe o caminho a ser usado para montar o armazenamento.
  O caminho deve começar com um caractere alfanumérico. O diretório de destino deve ser exclusivo nas montagens de armazenamento fornecidas. Os caracteres permitidos são alfanuméricos, hífen ( - ) e sublinhado ( _ ).
  Você pode especificar o caminho completo, como o /opc/storage-directory. Se apenas um diretório for especificado, como /storage-directory, ele será montado no diretório /mnt padrão. Não é possível especificar diretórios específicos do SO, como /bin ou /etc.
  
  Observação
  
  Se estiver usando uma rede personalizada:
  
  Crie o gateway do serviço na VCN.
  
  Para as configurações da tabela de roteamento na sub-rede privada, adicione o gateway de serviço.
  
  Altere as regras de saída da lista de segurança da sub-rede necessária para permitir o tráfego para todos os serviços na rede.
  
  Tags (em Opções avançadas): Adicione tags ao pipeline. Se você tiver permissões para criar um recurso, também terá permissões para aplicar tags de formato livre a esse recurso. Para aplicar uma tag definida, você deve ter permissões para usar o namespace da tag. Para obter mais informações sobre tags, consulte Tags de Recursos. Se você não tiver certeza se deseja aplicar tags, ignore essa opção ou pergunte a um administrador. Você pode aplicar as tags posteriormente.
5. Selecione Criar.
  
  Depois que o pipeline estiver em um estado ativo, você poderá usar execuções de pipeline para executar o pipeline repetidamente.

Essas variáveis de ambiente controlam a execução do pipeline.

Você pode usar a CLI do OCI para criar um pipeline como neste exemplo do Python:

Criar um pipeline:

Os seguintes parâmetros estão disponíveis para uso no payload:


Nome do Parâmetro	Obrigatório	Descrição
Pipeline (nível superior)
`projectId`	Obrigatório	O OCID do projeto no qual criar o pipeline.
`compartmentId`	Obrigatório	O OCID do compartimento no qual criar o pipeline.
`displayName`	Opcional	O nome do pipeline.
`infrastructureConfigurationDetails`	Opcional	Configuração de infraestrutura (computação) padrão a ser usada para todas as etapas do pipeline. Consulte `infrastructureConfigurationDetails` para obter detalhes sobre os parâmetros suportados. Pode ser substituído pela configuração de execução do pipeline.
`logConfigurationDetails`	Opcional	Log padrão a ser usado para todas as etapas do pipeline. Consulte `logConfigurationDetails` para obter detalhes sobre os parâmetros suportados. Pode ser substituído pela configuração de execução do pipeline.
`configurationDetails`	Opcional	Configuração padrão para a execução do pipeline. Consulte `configurationDetails` para obter detalhes sobre os parâmetros suportados. Pode ser substituído pela configuração de execução do pipeline.
`freeformTags`	Opcional	Tags a serem adicionadas ao recurso de pipeline.
`stepDetails`
`stepName`	Obrigatório	Nome da etapa. Deve ser exclusivo no pipeline.
`description`	Opcional	Descrição em texto livre da etapa.
`stepType`	Obrigatório	`CUSTOM_SCRIPT` ou `ML_JOB`
`jobId`	Obrigatório*	Para etapas `ML_JOB`, este é o OCID do job a ser usado para a execução da etapa.
`stepInfrastructureConfigurationDetails`	Opcional*	Configuração de infraestrutura padrão (Compute) a ser usada para esta etapa. Consulte `infrastructureConfigurationDetails` para obter detalhes sobre os parâmetros suportados. Pode ser substituído pela configuração de execução do pipeline. *Deve ser definido em pelo menos um nível (precedência com base na prioridade, sendo 1 o mais alto): 1 execução de pipeline e/ou 2 passos e/ou 3 pipeline
`stepConfigurationDetails`	Opcional*	Configuração padrão para a execução da etapa. Consulte `configurationDetails` para obter detalhes sobre os parâmetros suportados. Pode ser substituído pela configuração de execução do pipeline. *Deve ser definido em pelo menos um nível (precedência com base na prioridade, sendo 1 o mais alto): 1 execução de pipeline e/ou 2 passos e/ou 3 pipeline
`dependsOn`	Opcional	Lista de etapas que devem ser concluídas antes do início desta etapa. Isso cria o gráfico de dependências do workflow do pipeline.
`infrastructureConfigurationDetails`
`shapeName`	Obrigatório	Nome da forma de Computação a ser usada. Por exemplo, VM.Standard2.4.
`blockStorageSizeInGBs`	Obrigatório	Número de GBs a serem usados como armazenamento anexado para a VM.
`logConfigurationDetails`
`enableLogging`	Obrigatório	Defina para usar o log.
`logGroupId`	Obrigatório	OCID do grupo de logs a ser usado para os logs. O grupo de logs deve ser criado e estar disponível quando o pipeline for executado
`logId`	Opcional*	OCID do Log a ser usado para os logs quando não estiver usando o parâmetro `enableAutoLogCreation`.
`enableAutoLogCreation`	Opcional	Se definido como `True`, um log para cada execução de pipeline será criado.
`configurationDetails`
`type`	Obrigatório	Somente `DEFAULT` é suportado.
`maximumRuntimeInMinutes`	Opcional	Limite de tempo em minutos para a execução do pipeline.
`environmentVariables`	Opcional	Variáveis de ambiente a serem fornecidas para as execuções da etapa do pipeline. Por exemplo: `"environmentVariables": { "CONDA_ENV_TYPE": "service" }` Verifique a lista de variáveis de ambiente suportadas pelo serviço.

pipeline_payload = {
    "projectId": "<project_id>",
    "compartmentId": "<compartment_id>",
    "displayName": "<pipeline_name>",
    "pipelineInfrastructureConfigurationDetails": {
        "shapeName": "VM.Standard2.1",
        "blockStorageSizeInGBs": "50"
    },
    "pipelineLogConfigurationDetails": {
        "enableLogging": True,
        "logGroupId": "<log_group_id>",
        "logId": "<log_id>"
    },
    "pipelineDefaultConfigurationDetails": {
        "type": "DEFAULT",
        "maximumRuntimeInMinutes": 30,
        "environmentVariables": {
            "CONDA_ENV_TYPE": "service",
            "CONDA_ENV_SLUG": "classic_cpu"
        }
    },
    "stepDetails": [
        {
            "stepName": "preprocess",
            "description": "Preprocess step",
            "stepType": "CUSTOM_SCRIPT",
            "stepInfrastructureConfigurationDetails": {
                "shapeName": "VM.Standard2.4",
                "blockStorageSizeInGBs": "100"
            },
            "stepConfigurationDetails": {
                "type": "DEFAULT",
                "maximumRuntimeInMinutes": 90
                "environmentVariables": {
                    "STEP_RUN_ENTRYPOINT": "preprocess.py",
                    "CONDA_ENV_TYPE": "service",
                    "CONDA_ENV_SLUG": "onnx110_p37_cpu_v1"
            }
        },
        {
            "stepName": "postprocess",
            "description": "Postprocess step",
            "stepType": "CUSTOM_SCRIPT",
            "stepInfrastructureConfigurationDetails": {
                "shapeName": "VM.Standard2.1",
                "blockStorageSizeInGBs": "80"
            },
            "stepConfigurationDetails": {
                "type": "DEFAULT",
                "maximumRuntimeInMinutes": 60
            },
            "dependsOn": ["preprocess"]
        },
    ],
    "freeformTags": {
        "freeTags": "cost center"
    }
}
pipeline_res = dsc.create_pipeline(pipeline_payload)
pipeline_id = pipeline_res.data.id

Até que todos os artefatos de etapas do pipeline sejam submetidos a upload, o pipeline estará no estado CREATING.

Faça upload de um artefato de etapa:

Após o upload de um artefato, ele não poderá ser alterado.

fstream = open(<file_name>, "rb")
dsc.create_step_artifact(pipeline_id, step_name, fstream, content_disposition=f"attachment; filename={<file_name>}")

Atualizar um pipeline:

Você só pode atualizar um pipeline quando ele estiver em um estado ACTIVE.

update_pipeline_details = {
"displayName": "pipeline-updated"
}
self.dsc.update_pipeline(<pipeline_id>, <update_pipeline_details>)

Iniciar execução do pipeline:

pipeline_run_payload = {
"projectId": project_id,
"displayName": "pipeline-run",
"pipelineId": <pipeline_id>,
"compartmentId": <compartment_id>,
}
dsc.create_pipeline_run(pipeline_run_payload)

O ADS SDK também é uma biblioteca Python disponível publicamente que você pode instalar com este comando:
```
pip install oracle-ads
```
Você pode usar o ADS SDK para criar e executar pipelines.

Criando Pipelines com Rede Personalizada Usando APIs

Você pode selecionar a rede personalizada ao criar um pipeline. Use uma rede personalizada que você já criou no pipeline para oferecer flexibilidade extra na rede.

Forneça subnet-id em infrastructure-configuration-details para usar uma sub-rede personalizada no nível do pipeline. Por exemplo:

"infrastructure-configuration-details": {
      "block-storage-size-in-gbs": 50,
      "shape-config-details": {
        "memory-in-gbs": 16.0,
        "ocpus": 1.0
      },
      "shape-name": "VM.Standard.E4.Flex",
      "subnet-id": "ocid1.subnet.oc1.iad.aaaaaaaa5lzzq3fyypo6x5t5egplbfyxf2are6k6boop3vky5t4h7g35xkoa"
}

Ou nos detalhes step-container-configuration-para usar uma sub-rede personalizada para uma etapa específica. Por exemplo:

"step-infrastructure-configuration-details": {
          "block-storage-size-in-gbs": 50,
          "shape-config-details": {
            "memory-in-gbs": 16.0,
            "ocpus": 1.0
          },
          "shape-name": "VM.Standard.E4.Flex",
          "subnet-id": "ocid1.subnet.oc1.iad.aaaaaaaa5lzzq3fyypo6x5t5egplbfyxf2are6k6boop3vky5t4h7g35xkoa"
},

Documentação do Oracle Cloud Infrastructure

Criando um Pipeline

Antes de Começar

Criando Pipelines com Rede Personalizada Usando APIs