Usando Parâmetros em Pipelines

No Data Integration, os parâmetros em pipelines se originam de parâmetros designados em fluxos de dados e tarefas.

Para operadores de fluxo de dados que usam expressões na configuração, os valores de qualquer parâmetro usado nas expressões também estão disponíveis para reconfiguração em um pipeline.

Consulte Usando Parâmetros de Fluxo de Dados e Sobre Parâmetros de Expressão para saber como usar parâmetros e parâmetros de expressão (também conhecidos como parâmetros escalares) em fluxos de dados.

Parâmetros e parâmetros de expressão usados em fluxos de dados e tarefas têm tipos e valores padrão. Se você não alterar os valores do parâmetro de entrada para tarefas e fluxos de dados associados em um pipeline, os valores padrão originais serão usados no design time ou no runtime do pipeline quando você executá-lo.

Os tipos de dados de parâmetro de entrada suportados são:

NUMERIC
VARCHAR
DATE
DATETIME
DECIMAL
DOUBLE
FLOAT
INTEGER
TIMESTAMP
TINYINT
BOOLEAN
LONG
STRING

Os parâmetros para os recursos de origem e destino em uma tarefa do carregador de dados também podem ser reconfigurados quando a tarefa é usada em um pipeline. Para saber como usar parâmetros em tarefas do carregador de dados, consulte Usando Parâmetros para Origem e Destino.

Maneiras de Reconfigurar Parâmetros em um Pipeline

Quando você adiciona uma tarefa parametrizada a um pipeline, é possível usar a guia Configuração no painel Propriedades para reconfigurar qualquer um dos valores de parâmetro especificados nessa tarefa ou no fluxo de dados associado que uma tarefa de integração encapsula.

Para reconfigurar um valor de parâmetro de entrada para uma tarefa em um pipeline, você pode designar à entrada:

Um valor específico diretamente
O valor de saída de um operador anterior. Por exemplo, um parâmetro de saída.
Um parâmetro definido pelo usuário, que permite definir o valor no runtime ou no design time do pipeline ao criar uma tarefa que encapsula o pipeline.
Um parâmetro do sistema

Ao criar uma tarefa de pipeline para um pipeline parametrizado, você poderá usar a página Configurar Parâmetros para alterar os valores padrão dos parâmetros definidos pelo usuário, se houver.

Tipos de Parâmetros de Pipeline

No Data Integration, os tipos de parâmetros que você pode usar em pipelines são definidos pelo usuário ou gerados pelo sistema.

Os parâmetros gerados pelo sistema podem ser classificados nos seguintes tipos:

Parâmetros definidos pelo usuário

Parâmetros definidos pelo usuário são aqueles personalizados que você cria em pipelines para designar às entradas de parâmetros de entrada dos operadores de tarefa. Um parâmetro definido pelo usuário é local no pipeline em que você o criou; assim, não é possível reutilizar um parâmetro definido pelo usuário nos pipelines.

Um parâmetro definido pelo usuário tem nome, tipo e valor. Você especifica um nome e um valor quando cria um parâmetro definido pelo usuário. O tipo depende do tipo do parâmetro de entrada ao qual você está designando o parâmetro definido pelo usuário. Não é possível alterar o tipo de parâmetro definido pelo usuário.

Os tipos de parâmetros definidos pelo usuário que você pode criar em um pipeline incluem:

Ativo de dados
Conexão
Esquema
Entidade de dados
Condição (com base em uma condição de junção parametrizada ou de filtro)
Expressão

Você também pode adicionar parâmetros de tipos de dados, como NUMERIC, VARCHAR, DATE, DECIMAL e STRING.

Ao projetar um pipeline, você pode usar o painel Parâmetros ou a guia Parâmetros no painel Propriedades do pipeline para ver os parâmetros definidos pelo usuário que foram adicionados.

Os parâmetros definidos pelo usuário também estão disponíveis no Expression Builder quando você define uma expressão no pipeline usando um operador de expressão.

Parâmetros do sistema

O serviço Data Integration gera parâmetros do sistema que você pode usar para designar às entradas de parâmetros de entrada dos operadores de tarefa no runtime. Um parâmetro do sistema tem nome e tipo. Você pode vincular o valor de um parâmetro do sistema a um parâmetro de entrada do mesmo tipo, mas não pode alterar o valor.

A tabela a seguir mostra os parâmetros do sistema que podem ser usados em um pipeline.


Nome	Tipo	Descrição
SYS.TASK_START_TIME	TIMESTAMP	Horário inicial da tarefa em UTC.
SYS.TASK_RUN_KEY	STRING	Chave de execução da tarefa.
SYS.TASK_RUN_NAME	STRING	Nome de execução da tarefa.
SYS.TASK_KEY	STRING	Chave da tarefa.
SYS.TASK_NAME	STRING	O nome da tarefa.
SYS.PARENT_TASK_RUN_KEY	STRING	Chave de execução da tarefa pai.
SYS.TASK_SCHEDULE_TRIGGER_TIME	TIMESTAMP	O horário de acionamento da programação (para uma execução de tarefa iniciada por uma programação). O horário programado pode ser diferente do horário inicial da tarefa.
SYS.TASK_SCHEDULE_TIMEZONE	STRING	O fuso horário correspondente ao horário programado, que representa o horário definido na programação da tarefa.
SYS.RETRY_ATTEMPT	INTEGER	O número de tentativas de execução de uma tarefa configurada para novas tentativas quando uma execução falha.
SYS.PIPELINE_NAME	STRING	Nome do pipeline.
SYS.PIPELINE_IDENTIFIER	STRING	Identificador do pipeline.
SYS.TIMEOUT	INTEGER	O valor de timeout (em minutos) do pipeline. A execução do pipeline falha quando o valor de timeout é atingido.
SYS.WORKSPACE_ID	STRING	Identificador do espaço de trabalho.
SYS.APPLICATION_KEY	STRING	Chave do aplicativo.
SYS.REGION	STRING	Nome da região.

Ao projetar um pipeline, você pode usar a guia Parâmetros no painel Propriedades do pipeline para ver os parâmetros de pipeline do sistema que estão disponíveis. A coluna Usado em indica onde um parâmetro é usado no pipeline.

Ao adicionar uma expressão a um operador de expressão em um pipeline, você pode usar a guia Parâmetros no Expression Builder para ver a lista de parâmetros do sistema. Você pode usar parâmetros do sistema em expressões para registrar informações do sistema.

Parâmetros de saída

Parâmetros de saída são aqueles gerados pelo sistema para operadores que você pode usar para transmitir valores de saída de um operador em um pipeline para outro operador downstream.

A tabela a seguir mostra alguns parâmetros de saída que você pode usar.


Nome	Tipo	Descrição
SYS.STATUS	STRING	Status da operação (por exemplo, execução de tarefa)
SYS.ERROR_MESSAGE	STRING	Mensagem de erro da operação
SYS.NO_OF_INSERTS	INTEGER	Número de linhas inseridas e atualizadas
SYS.DATA_READ	INTEGER	Volume de dados lidos
SYS.DATA_WRITTEN	INTEGER	Volume de dados gravados
SYS.DURATION	INTEGER	Duração da operação
SYS.START_TIME_TIMESTAMP	TIMESTAMP	Hora inicial da execução da tarefa no formato Timestamp.
SYS.END_TIME_TIMESTAMP	TIMESTAMP	Hora final da execução da tarefa no formato Timestamp.
SYS.TASK_RUN_KEY	STRING	Chave de execução da tarefa.
SYS.TASK_RUN_NAME	STRING	Nome de execução da tarefa.
SYS.TASK_NAME	STRING	O nome da tarefa.
SYS.TASK_KEY	STRING	Chave da tarefa.

Ao projetar um pipeline, você pode usar a guia Saída no painel Propriedades de um operador de tarefa para exibir as saídas que podem ser usadas como entradas para o próximo operador.

Observe o seguinte:

Para um operador de tarefa SQL associado a um procedimento armazenado, as saídas incluem qualquer parâmetro de saída do procedimento armazenado SQL.
Para um operador de mesclagem, as saída disponíveis são uma combinação de parâmetros de saída do sistema e as saída de cada operador conectado ao operador de mesclagem.
- Somente as seguintes saídas do sistema estão disponíveis: SYS.STATUS, SYS.START_TIME_TIMESTAMP e SYS.END_TIME_TIMESTAMP
- As saídas de tarefas são qualificadas pelo nome de um operador de tarefa. Por exemplo: TASK_OPERATOR_1.SYS.STATUS, TASK_OPERATOR_2.SYS.STATUS
- As saídas de um operador de expressão são qualificadas pelo nome do operador de expressão e pelo identificador da expressão. Por exemplo: EXPRESSION_1. EXPRESSION_ERROR_MESSAGE
- As saídas de um operador de mesclagem são qualificadas pelo nome do operador de mesclagem. Por exemplo: MERGE_3. SYS.START_TIME_TIMESTAMP
Para um operador de tarefa do OCI Data Flow associado a um aplicativo do OCI Data Flow, as saídas incluem quaisquer parâmetros de saída do aplicativo e os seguintes tipos de dados de saída:
- com.oracle.dos.task.model.customparameter.Arguments: argumentos
- Flutuante:
  - bytesProcessed
  - bytesWritten
- String:
  - applicationId
  - displayName
Para um operador de tarefa REST, os seguintes tipos de dados de saídas de resposta REST estão disponíveis:
- JSON ou JSON_TEXT: SYS.RESPONSE_PAYLOAD_JSON e SYS.RESPONSE_HEADERS_JSON
- String: SYS.RESPONSE_STATUS
Observação
- Para usar uma saída de resposta REST em operações downstream, passe a saída por um operador de expressão no qual você possa aplicar operações de string e regex. Em seguida, use o resultado nos operadores subsequentes de tarefa na direção descendente.
- As saídas de String SYS.RESPONSE_PAYLOAD e SYS.RESPONSE_HEADERS estão obsoletas. Recomendamos converter qualquer uso existente para os equivalentes de tipo de dados JSON de SYS.RESPONSE_PAYLOAD_JSON e SYS.RESPONSE_HEADERS_JSON, respectivamente.

Sobre o Painel de Parâmetros

O painel Parâmetros mostra todos os parâmetros de pipeline definidos pelo usuário que foram criados em um pipeline.

Para acessar o painel Parâmetros quando o pipeline é aberto na tela do designer, selecione Parâmetros no menu Exibir da barra de ferramentas da tela.

Use a guia Exibir para ver os parâmetros definidos pelo usuário no pipeline. São mostrados os parâmetros utilizados e não utilizados. Quando você seleciona o link Usado no para um parâmetro que é usado no pipeline, o operador de tarefa que faz referência a ele é colocado em foco na tela.

Use a guia Configuração no painel Parâmetros para excluir um parâmetro definido pelo usuário ou editar o valor padrão.

Observação

Quando você exclui um parâmetro de pipeline definido pelo usuário, todos os valores configurados nos operadores associados ao parâmetro são removidos. Para reconfigurar um valor de entrada, consulte Configurando Parâmetros de Entrada para Tarefas.

Adicionando um Parâmetro em um Pipeline

Você pode adicionar e definir parâmetros definidos pelo usuário nos parâmetros de entrada dos operadores de tarefa em um pipeline.

A forma como você define um parâmetro definido pelo usuário depende do tipo do parâmetro de entrada. Para todos os tipos de parâmetros, informe um nome e uma descrição opcional e defina um valor padrão para o parâmetro definido pelo usuário. Você não pode alterar o tipo e não pode alterar o nome e a descrição após a criação do parâmetro.

Um parâmetro definido pelo usuário pode ser reutilizado dentro do mesmo pipeline para representar o valor configurado para outro parâmetro de entrada do mesmo tipo.

Na tela de um pipeline, selecione um operador de tarefa que tenha um ou mais parâmetros de entrada.
No painel Propriedades da tarefa selecionada, selecione Configuração.
Ao lado de Parâmetros de entrada configurados, verifique o número de parâmetros de entrada configurados e disponíveis.
Por exemplo, 0/4 significa que quatro parâmetros de entrada estão disponíveis na tarefa e nenhum foi reconfigurado.
Selecione Configurar ao lado de Parâmetros da entrada configurados.
Na página Configurar parâmetros de entrada, analise os valores de entrada que podem ser configurados. Na linha do tipo e valor de parâmetro que você deseja adicionar e atribuir a um parâmetro de pipeline definido pelo usuário, selecione Configurar.
Na página Configurar parâmetro de entrada para <type> que é exibida para o parâmetro selecionado, selecione Designar um parâmetro.
Selecione Usar parâmetros definidos do usuário e, em seguida, Adicionar parâmetro para criar um parâmetro definido pelo usuário.
No painel Adicionar parâmetro, digite um nome para o parâmetro no campo Identifier.
(Opcional) Digite uma Descrição para ajudar a identificar a finalidade do parâmetro definido pelo usuário para outros usuários.
O campo Tipo mostra o tipo do parâmetro de entrada, que não pode ser alterado.
Defina o valor padrão do parâmetro.
A forma como você define o valor padrão depende do tipo de parâmetro de entrada. Por exemplo, para uma entidade de dados, você usa menus para selecionar um ativo de dados, uma conexão e um esquema e, em seguida, seleciona a entidade.
Para criar o parâmetro, selecione Adicionar.
Por padrão, o parâmetro recém-criado definido pelo usuário é selecionado na página Configurar parâmetro de entrada para <type>.
Repita as etapas para adicionar mais parâmetros definidos pelo usuário do mesmo tipo, se necessário.

Exibindo os Parâmetros em um Pipeline

Você pode exibir os parâmetros do sistema disponíveis em um pipeline e os parâmetros definidos pelo usuário criados em um pipeline.

Você também pode usar esse procedimento para ver onde um parâmetro é usado em um pipeline.

Na tela de um pipeline, clique em qualquer área em branco.
No painel Propriedades do pipeline, selecione Parâmetros.
Selecione Definido pelo usuário ou Definido pelo sistema.
Verifique a lista.
A coluna Used in indica onde o parâmetro é usado no pipeline.

Designando um Parâmetro em um Pipeline

Você pode designar parâmetros existentes, definidos pelo usuário e do sistema, a parâmetros de entrada dos operadores de tarefa em um pipeline.

Na tela de um pipeline, selecione um operador de tarefa que tenha um ou mais parâmetros de entrada.
No painel Propriedades da tarefa selecionada, selecione Configuração.
Ao lado de Parâmetros de entrada configurados, verifique o número de parâmetros de entrada configurados e disponíveis.
Por exemplo, 0/4 significa que quatro parâmetros de entrada estão disponíveis na tarefa e nenhum foi reconfigurado.
Selecione Configurar ao lado de Parâmetros de entrada configurados.
Na página Configurar parâmetros de entrada, analise os valores de entrada que podem ser configurados. Na linha do tipo e valor do parâmetro que você deseja atribuir a um parâmetro definido pelo usuário ou do sistema, selecione Configurar.
Na página Configurar parâmetro de entrada para <type> que é exibida para o parâmetro selecionado, selecione Designar um Parâmetro.
Selecione Usar parâmetros definidos pelo usuário ou Usar parâmetros do sistema.
Selecione um parâmetro existente na lista de parâmetros definido pelo usuário ou pelo sistema e selecione Concluído.

Somente parâmetros do mesmo tipo que o parâmetro de entrada estão disponíveis para seleção. Se não houver nenhum disponível, selecione Cancelar.

Para um parâmetro definido pelo usuário, você também pode selecionar Adicionar para criar um parâmetro e selecioná-lo em seguida. Consulte Adicionando um Parâmetro em um Pipeline.

Editando o Valor Padrão de um Parâmetro Definido pelo Usuário

No design time do pipeline, você pode alterar rapidamente o valor padrão de um parâmetro definido pelo usuário designado.

Na tela de um pipeline, selecione Parâmetros no menu Exibir da barra de ferramentas da tela.
No painel Parâmetros, selecione a guia Configuração.
Verifique os parâmetros listados por nome.
Você pode pesquisar a lista digitando o nome completo de um parâmetro.
Na linha do valor de parâmetro que você deseja alterar, selecione Editar no menu Ações ().
Os tipos de dados de parâmetro que você pode editar incluem NUMERIC, VARCHAR, DATE, DECIMAL, DOUBLE, FLOAT, INTEGER, TIMESTAMP, TINYINT, BOOLEAN, LONG e STRING.

Cancelando a Designação de um Parâmetro em um Pipeline

O cancelamento da designação de um parâmetro só remove o valor reconfigurado do parâmetro de entrada. Ele não exclui o parâmetro de entrada da tarefa nem exclui o parâmetro definido pelo usuário.

Na tela de um pipeline, selecione um operador de tarefa que tenha um ou mais parâmetros de entrada.
No painel Propriedades da tarefa selecionada, selecione Configuração.
Ao lado de Parâmetros de entrada configurados, verifique o número de parâmetros de entrada configurados e disponíveis.
Por exemplo, 2/4 significa que quatro parâmetros de entrada estão disponíveis na tarefa e dois foram reconfigurados.
Selecione Configurar ao lado de Parâmetros da entrada configurados.
Na página Configurar parâmetros de entrada, verifique as entradas que estão configuradas.
Uma entrada tem um Valor padrão. Se o parâmetro de entrada for reconfigurado, a entrada terá um Valor configurado. Um valor configurado pode ser um nome de parâmetro definido pelo usuário com o valor reconfigurado mostrado entre parênteses.
Para cancelar a designação de um parâmetro de entrada, selecione Limpar.

Excluindo um Parâmetro em um Pipeline

Você pode excluir parâmetros de pipeline definidos pelo usuário que não precisam mais de um pipeline.

Não é possível excluir os parâmetros do sistema em um pipeline.

Na tela de um pipeline, selecione Parâmetros no menu Exibir da barra de ferramentas da tela.
A guia Exibir no painel Parâmetros mostra os parâmetros definidos pelo usuário que foram criados nesse pipeline. Se um parâmetro for usado em uma tarefa, o link Usado em mostrará o nome dessa tarefa.
No painel Parâmetros, selecione Configuração.
Selecione um ou mais parâmetros que deseja excluir e, em seguida, selecione Excluir.

Observação

Quando você exclui um parâmetro definido pelo usuário em um pipeline, todos os valores configurados nos operadores de tarefa associados a esse parâmetro no pipeline são removidos. Para reconfigurar um valor de entrada, consulte Configurando Parâmetros de Entrada para Tarefas.

Documentação do Oracle Cloud Infrastructure