Documentação do Oracle Cloud Infrastructure

Como Trabalhar com Tarefas do Carregador de Dados

Uma tarefa do carregador de dados permite extrair dados de uma origem e carregá-los em um destino. As tarefas do carregador de dados são essenciais para preparação de dados, migração de dados ou carregamento de dados diversos em data lakes ou data warehouses.

No Data Integration, você pode usar uma tarefa do carregador de dados para executar o carregamento de dados de 1 a 1 ou de n a n de um tipo de sistema para outro, com a opção de várias ou nenhuma transformação de dados antes do carregamento. Quando você cria uma tarefa do carregador de dados, o Data Integration o orienta pelo processo de seleção da entidade ou entidades de origem e destino, aplicação de transformações e validação da tarefa. Para o destino, você tem a opção de criar a entidade ou entidades antes de carregar ou selecionar entidades existentes para carregar os dados. Para origem e destino, você tem a opção de usar parâmetros para especificar os recursos e reutilizar parâmetros, conforme descrito em Parâmetros para Origem e Destino.

As páginas a seguir descrevem como você pode criar, editar e excluir tarefas do carregador de dados:

As páginas a seguir descrevem como usar parâmetros em uma tarefa do carregador de dados:

As páginas a seguir descrevem outras tarefas de gerenciamento que podem ser executadas:

Partes de uma Tarefa do Carregador de Dados

A configuração de uma tarefa para carregar dados de uma origem para um destino envolve várias etapas.

  • Informações básicas e Tipo de carga: Escolha o tipo da entidade de dados de origem e de destino e o tipo de carga.

    Para os tipos de ativos de dados do serviço Database, File storage e SaaS que você pode usar como entidades de dados de origem e de destino, consulte Tipos de Origem e Destino Suportados.

    Para o tipo de carga, os dados de origem a serem carregados podem vir de Várias entidades de dados em um esquema ou de uma Entidade de dados única. Por exemplo, dados em duas ou mais entidades de uma origem do Oracle Database podem ser carregados para um destino do Object Storage.

  • Origem: Selecione o ativo de dados, a conexão e o esquema que tem os dados de origem para carregamento. Em seguida, dependendo do tipo de carregamento especificado, selecione uma ou mais entidades de dados a serem adicionadas à origem para carregamento. Consulte Selecionando a Origem.

    Para parametrizar um recurso na origem, consulte Parâmetros para Origem e Destino.

  • Alvo: Selecione o ativo de dados, a conexão, o esquema e a entidade de dados a serem usados como destino. Por padrão, as entidades de origem e de destino são mapeadas por nome. Se você não tiver uma entidade existente para a qual carregar, poderá criar uma nova. Consulte Selecionando o Destino.

    Para parametrizar um recurso de destino, consulte Usando Parâmetros para Origem e Destino.

  • Transformação: Use as guias interativas para aplicar transformações nos atributos de origem. Uma tarefa do carregador de dados suporta transformações nos níveis de metadados e de dados. Consulte Aplicando Transformações.
  • Mapeamento de atributos: Ao carregar dados para uma entidade de dados de destino existente ou para várias entidades, por padrão, os atributos de origem são mapeados para os atributos de destino pelo nome do atributo. Você pode aplicar mais regras de mapeamento a todos os atributos em todas as entidades mapeadas. Consulte Mapeando Atributos.
  • Revisar e validar: Revise e altere qualquer uma das etapas de configuração e verifique se a tarefa do carregador de dados é válida antes de publicar. Consulte Revisando e Validando a Tarefa.

Parâmetros para Origem e Destino

Ao usar parâmetros para a origem ou o destino, você tem a flexibilidade de usar a mesma tarefa do carregador de dados para diferentes origens de dados ou destinos de dados no design time ou no runtime.

Você pode usar um parâmetro para cada um dos seguintes recursos, tanto no tipo de carga de entidade de dados única quanto no tipo de carga de várias entidades de dados:

  • Ativo de dados de origem, conexão e esquema ou bucket
  • Ativo de dados de destino, conexão e esquema ou bucket

Observe que quando o tipo de ativo de dados é Armazenamento de Objetos, você pode parametrizar o bucket (esquema), mas não o compartimento que contém o bucket.

Com o recurso de entidade de dados, você só pode parametrizar a entidade de origem ou a entidade de destino nas seguintes condições:

  • Ao usar o tipo de carga de entidade de dados única
  • Ao criar uma nova entidade de dados no destino informando um nome de entidade
  • Ao usar uma entidade de dados existente no destino

Quando você parametriza um recurso na origem e no destino, o Data Integration adiciona e usa automaticamente os seguintes nomes de parâmetro:

Recurso Nome do parâmetro da origem Nome do parâmetro de destino
Ativo de dados SOURCE_DATA_ASSET TARGET_DATA_ASSET
Conexão SOURCE_CONNECTION TARGET_CONNECTION
Esquema ou bucket SOURCE_SCHEMA TARGET_SCHEMA
Entidade de dados SOURCE_DATA_ENTITY TARGET_DATA_ENTITY

Para parametrizar um recurso no destino, consulte também Reutilizando Parâmetros para Recursos de Origem ou de Destino.

Adicionando, Editando e Removendo Parâmetros

Você gerencia parâmetros na etapa Origem e na etapa Destino ao criar a tarefa do carregador de dados.

Depois de selecionar um ativo de dados de origem, uma conexão, um esquema ou uma entidade de dados, você poderá designar um parâmetro a um recurso selecionando Parameterizar ao lado do recurso.

Da mesma forma para recursos de destino, depois de selecionar um ativo de dados de destino, uma conexão, um esquema ou uma entidade de dados, você pode designar um parâmetro a um recurso selecionando Parameterizar ao lado do recurso.

Para parametrizar um recurso na origem ou no destino, consulte também Reutilizando Parâmetros de Recursos de Origem ou de Destino.

Depois que os parâmetros forem adicionados, você poderá editar um nome de parâmetro e adicionar uma descrição. Consulte Editando um Parâmetro de Recurso.

Para remover um parâmetro designado a um recurso, consulte Removendo um Parâmetro de Recurso.

Reutilizando Parâmetros para Recursos de Origem ou de Destino

Suponha que você tenha parametrizado o ativo de dados de origem, a conexão, o esquema ou a entidade de dados em uma tarefa do carregador de dados. Para parametrizar os recursos de destino, em vez de selecionar Parameterizar, você pode selecionar Reutilizar parâmetro de origem <resource type> para usar os mesmos parâmetros que os que foram adicionados aos recursos do mesmo tipo na origem.

Da mesma forma, se você tiver parametrizado os recursos de destino e quiser usar os parâmetros de destino para os recursos do mesmo tipo na origem, poderá selecionar o parâmetro Reutilizar destino <resource type> para parametrizar o ativo de dados de origem, a conexão, o esquema ou a entidade de dados.

Quando você parametriza um recurso de origem ou destino reutilizando o parâmetro de recurso do mesmo tipo que está no destino ou na origem, o Data Integration não cria um novo parâmetro. Em vez disso, somente um parâmetro é usado para um tipo de recurso que está na origem e no destino.

Por exemplo, se um ativo de dados de origem do Object Storage for parametrizado, o nome do parâmetro do ativo de dados de destino do Object Storage será SOURCE_DATA_ASSET quando você reutilizar o parâmetro de origem do ativo de dados de destino, conforme mostrado na tabela a seguir:

Recurso de destino Nome do parâmetro de destino ao reutilizar o parâmetro de origem do mesmo tipo
Ativo de dados SOURCE_DATA_ASSET
Conexão SOURCE_CONNECTION
Esquema ou bucket SOURCE_SCHEMA
Entidade de dados SOURCE_DATA_ENTITY

Da mesma forma, se um recurso de destino do Object Storage, como a conexão, for parametrizado, o parâmetro de conexão de origem do Object Storage será TARGET_CONNECTION quando você reutilizar o parâmetro de destino da conexão de origem.

Recurso na origem Nome do parâmetro de origem ao reutilizar o parâmetro de destino do mesmo tipo
Ativo de dados TARGET_DATA_ASSET
Conexão TARGET_CONNECTION
Esquema ou bucket TARGET_SCHEMA
Entidade de dados TARGET_DATA_ENTITY