Selecionando a Origem de uma Tarefa do Carregador de Dados
Selecione o ativo de dados, a conexão e o esquema que tem os dados de origem para carregamento. Em seguida, selecione uma ou várias entidades de dados no esquema, dependendo do tipo de carga especificado para a tarefa do carregador de dados.
Ao selecionar várias entidades de dados de um tipo de origem de armazenamento de arquivos (como Armazenamento de Objetos), você pode usar um padrão de arquivo para adicionar entidades que correspondam ao padrão e usar o qualificador de entidade lógica para agrupar entidades correspondentes em um ou mais grupos de padrões. Cada grupo de padrões é tratado como uma entidade lógica durante o runtime.
Para configurar os dados de origem para uma tarefa do carregador de dados, comece selecionando um ativo de dados, uma conexão e um esquema.
Você pode parametrizar os recursos depois de fazer as seleções.
Na tabela de entidades de dados, selecione a entidade de dados que você deseja usar como origem. Os dados da entidade de dados selecionada são carregados para o destino quando a tarefa é executada.
Você pode parametrizar a entidade de dados de origem depois de selecionar uma entidade de dados na lista de entidades disponíveis.
- Vá para a etapa Origem, guia Entidades de dados.
-
Execute uma das seguintes opções para selecionar uma entidade de dados:
-
Na tabela Entidades de dados disponíveis, selecione uma entidade de dados marcando a caixa de seleção ao lado do nome da entidade. Em seguida, selecione Definir como origem. O nome da entidade de dados que você selecionou é exibido ao lado da Entidade de dados selecionados.
Para filtrar a lista de entidades disponíveis, informe um nome ou um padrão no campo e pressione Enter. Você pode digitar um nome parcial ou um padrão usando caracteres especiais como *. Por exemplo, digite
ADDRESS_*para localizar ADDRESS_EU1, ADDRESS_EU2 e ADDRESS_EU3. -
Se aplicável, selecione Inserir SQL personalizado e Adicionar SQL.
No painel do editor que aparece, informe uma única instrução SQL que defina os dados a serem usados como origem e selecione Validar.
Observação: em instruções SQL, use aspas simples em torno de parâmetros. Por exemplo:
select * from ORDERS where Created_On >= '${SYS.LAST_LOAD_DATE}'Se uma validação for bem-sucedida, selecione Adicionar.
O label
SQL_ENTITY<nnnnnnnnn>é exibido, por exemplo,SQL_ENTITY123456789. Para ver ou editar a instrução, selecione Editar.
-
- (Opcional) Você pode designar um parâmetro à entidade de dados de origem depois de fazer uma seleção.
- Selecione Parameterizar ao lado do recurso para designar um parâmetro a esse recurso. Ao parametrizar, o Data Integration adiciona um parâmetro do tipo apropriado e define o valor do parâmetro padrão para o valor que está configurado no momento para esse recurso.
- Se disponível, selecione Reutilizar parâmetro de entidade de dados de destino para usar o parâmetro de entidade de destino como o parâmetro dessa entidade de dados de origem. Para obter mais informações, consulte Reutilizando Parâmetros para Recursos de Origem ou de Destino.
-
Para configurar ainda mais a origem de dados e a tarefa do carregador, selecione a guia Configurações, se aplicável. Dependendo do tipo de origem, as definições que você pode configurar são:
- Permitir pushdown ou desativar pushdown: Por padrão, um processamento de dados é descarregado no sistema de origem. Para aplicar processamento ou transformações fora do sistema de origem, desmarque a caixa de seleção.
- Permitir divergência de esquema ou bloquear as definições de esquema: Por padrão, as alterações de definição de esquema na entidade de dados especificada são detectadas e selecionadas automaticamente (design time e runtime). Para usar uma forma fixa da entidade de dados especificada mesmo quando a forma subjacente tiver sido alterada, desmarque a caixa de seleção.
Para um arquivo JSON, a divergência de esquema é desativada por padrão e não poderá ser ativada se um esquema personalizado for usado para inferir a forma da entidade. Se quiser que o desvio de esquema esteja disponível e ativado, edite a origem JSON no fluxo de dados ou na tarefa do carregador de dados e desmarque a caixa de seleção Usar esquema personalizado.
- Extrair metadados do arquivo como atributos: Por padrão, o nome do arquivo, o tamanho do arquivo e outros metadados do arquivo são incluídos como atributos nos dados de origem.
Caracteres especiais (incluindo espaço) nos nomes de arquivo não são suportados.
Desmarque a caixa de seleção se não quiser usar metadados de arquivo como atributos.
-
Carga incremental: Marque a caixa de seleção para identificar e carregar somente os dados criados ou modificados desde a última vez em que o processo de carga foi executado.
(Somente origem do banco de dados relacional) Para coluna Marca d'água, selecione a coluna usada para marcar as linhas que foram carregadas incrementalmente. Somente as colunas
DATE,TIMESTAMPeDATETIMEpodem ser usadas como coluna de marca d'água.
Na lista de entidades de dados disponíveis, selecione as entidades de dados que você deseja usar como origem. Você pode selecionar as entidades de dados individualmente, selecionar todas as entidades disponíveis ou usar um padrão de arquivo para selecionar entidades como um grupo. Quando a tarefa é executada, os dados das entidades de dados de origem selecionadas são carregados para os destinos mapeados.
O Data Integration cria regras para as entidades de dados que você inclui como origem. As regras são adicionadas quando você faz seleções de entidade de dados individuais ou quando usa um padrão de arquivo (com ou sem um nome de grupo). As entidades de dados agrupadas são tratadas como uma entidade lógica durante o runtime.
Quando você remove entidades de dados da lista Entidades de dados de origem selecionadas, essas entidades de dados não são mais incluídas na origem da tarefa do carregador de dados.
Ao selecionar várias entidades de dados de um tipo de origem de armazenamento de arquivos (por exemplo, Armazenamento de Objetos) a serem usadas como origem para uma tarefa do carregador de dados, você pode usar um padrão de arquivo para agrupar e adicionar arquivos existentes que correspondam ao padrão. Os arquivos de entrada futuros que correspondem ao padrão também são incluídos no grupo.
No padrão de arquivo, você também pode usar o qualificador logicalentity para agrupar entidades correspondentes em um ou mais grupos de padrões. Cada grupo de padrões é tratado como uma entidade lógica durante o runtime.
As entidades de dados que correspondem a vários grupos de padrões são incluídas em todos esses grupos.
Considere os seguintes nomes de arquivos de entidades de dados que estão disponíveis para seleção:
SRC_BANK_A_01.csv
SRC_BANK_B_01.csv
SRC_BANK_C_01.csv
SRC_BANK_C_02.csv
MYSRC_BANK_A_01.csv
MYSRC_BANK_B_01.csv
MYSRC_BANK_C_01.csv
MYSRC_BANK_C_02.csv
MYSRC_BANK_D_01.csv
MYSRC_BANK_D_02.csvQuando você usa o padrão de arquivo SRC*.csv, o Data Integration cria uma regra de padrão e adiciona os seguintes arquivos à origem:
SRC_BANK_A_01.csv
SRC_BANK_B_01.csv
SRC_BANK_C_01.csv
SRC_BANK_C_02.csvQuando você usa o padrão de arquivo MYSRC_BANK_C*.csv e fornece o nome do grupo MYSRC, o Data Integration cria uma regra de grupo. No runtime, o nome do grupo consolida todos os arquivos que correspondem ao padrão em uma entidade de origem chamada MYSRC. Por exemplo, os seguintes arquivos são consolidados:
MYSRC_BANK_C_01.csv
MYSRC_BANK_C_02.csvQuaisquer arquivos de entrada futuros que correspondam ao padrão serão adicionados ao grupo. Por exemplo:
MYSRC_BANK_C_03.csv
MYSRC_BANK_C_04.csvQuando você usa o padrão de arquivo com o qualificador logicalentity, MYSRC_BANK_{logicalentity:B|D}*.csv, e fornece o prefixo de nome de grupo MYNEWSRC_, o Data Integration cria uma regra de grupo e adiciona dois grupos de padrões que consolidam os seguintes arquivos correspondentes:
For pattern group MYNEWSRC_B:
MYSRC_BANK_B_01.csv
For pattern group MYNEWSRC_D:
MYSRC_BANK_D_01.csv
MYSRC_BANK_D_02.csvO Data Integration cria grupos na lista Selecionar entidades de dados de origem quando você usa um padrão de arquivo para selecionar vários arquivos (por exemplo, no Object Storage) como um grupo para inclusão na origem de uma tarefa do carregador de dados.
- Vá para a etapa Origem, guia Entidades de dados.
- Na lista Entidades de dados de origem selecionadas, selecione um nome de grupo.
- No painel Exibir detalhes do grupo de padrões, você pode exibir o padrão usado para criar o grupo e a lista de entidades de dados que correspondem ao padrão.
O Data Integration adiciona regras quando você seleciona várias entidades de dados a serem incluídas na origem para uma tarefa do carregador de dados.
Uma regra é adicionada quando você fez seleções de entidade de dados individuais ou, quando aplicável, incluiu as entidades por um padrão ou grupo. O número de regras é mostrado acima da tabela entidades de dados de origem selecionadas, entre parênteses ao lado de Exibir regras. Por exemplo, Exibir regras (3).
Antes de remover uma regra de grupo, verifique a lista de entidades de dados afetadas pela remoção da regra. Consulte Exibindo a Lista de Arquivos Incluídos em um Grupo.