Fluxos de Dados

Um esquema define a forma dos dados em um sistema de origem ou de destino. Ao trabalhar em um fluxo de dados no Data Integration, o desvio de esquema ocorre quando as definições de dados são alteradas.

Por exemplo, um atributo pode ser adicionado ou removido na origem, ou um atributo no destino pode ser renomeado. Se você não tratar o desvio de esquema, os processos de ETL poderão falhar ou você poderá perder a qualidade dos dados.

Por padrão, o Data Integration lida com a divergência de esquema para você. Quando você configurar um operador de origem no designer do fluxo de dados, depois de selecionar uma entidade, selecione a guia Opções Avançadas no painel Propriedades. A caixa de verificação Permitir Divergência de Esquema selecionada indica que a divergência de esquema está ativada.

Quando o desvio de esquema está ativado, o Data Integration pode detectar alterações de definição de esquema nas entidades de dados especificadas, durante o design time e o runtime do fluxo de dados. Todas as alterações são selecionadas automaticamente e o esquema é adaptado para acomodar novos atributos, atributos removidos, nomes de atributo diferentes, tipos de dados alterados etc.

Se você desmarcar a caixa de seleção Permitir Divergência de Esquema, desativará a divergência de esquema para bloquear as definições de esquema quando o fluxo de dados for definido. Quando a divergência de esquema é desativada, o serviço Data Integration usa uma forma fixa da entidade de dados especificada mesmo quando a forma subjacente foi alterada.

Sem tratar o desvio de esquema, os fluxos de dados podem se tornar vulneráveis a alterações na direção ascendente na origem de dados. Com a ajuda do desvio de esquema, os fluxos de dados se tornam mais resilientes e se adaptam automaticamente a qualquer alteração. Não é necessário reprojetar os fluxos dos dados quando ocorrem alterações de definição de esquema.

Para um arquivo JSON, a divergência de esquema é desativada por padrão e não poderá ser ativada se um esquema personalizado for usado para inferir a forma da entidade. Se quiser que o desvio de esquema esteja disponível e ativado, edite a origem JSON no fluxo de dados ou na tarefa do carregador de dados e desmarque a caixa de seleção Usar esquema personalizado.

No Data Integration, uma operação de dados em um fluxo de dados pode ser enviada para um sistema de dados de origem ou de destino para processamento.

Por exemplo, uma operação de classificação ou filtragem pode ser executada no sistema de origem enquanto os dados estão sendo lidos. No caso em que uma das origens de uma operação de junção está no mesmo sistema do destino, a operação de dados pode ser enviada para o sistema de destino.

O Data Integration pode usar o pushdown em um fluxo de dados quando você usa sistemas de dados relacionais que suportam pushdown. A lista atual inclui bancos de dados Oracle, Oracle Autonomous Data Warehouse, Oracle Autonomous Transaction Processing e MySQL.

Por padrão, o serviço Data Integration usa pushdown quando aplicável. Quando você configurar um operador de origem no designer do fluxo de dados, depois de selecionar uma entidade, selecione a guia Opções Avançadas no painel Propriedades. A caixa de verificação Permitir Pushdown selecionada indica que a pushdown está ativada.

Quando o pushdown está ativado, o Data Integration converte a lógica de operação de dados aplicável em instruções SQL que são executadas então diretamente no banco de dados relacional. Ao submeter o processamento de dados ao banco de dados, menos dados são extraídos e carregados.

Se você desmarcar a caixa de seleção Permitir Pushdown, desativará o pushdown. Quando o pushdown é desativado, o Data Integration extrai todos os dados do sistema de origem e processa os dados nos clusters do Apache Spark alocados para o espaço de trabalho.

Ao permitir que o Data Integration use pushdown, o desempenho é melhorado porque:

• O poder de processamento do banco de dados é usado
• Menos dados são consumidos para processamento.

Com base na otimização, o Data Integration pode usar o pushdown parcial ou completo em um fluxo de dados. O pushdown parcial é executado quando um sistema de dados relacionais suportado é usado na origem ou no destino. O pushdown completo é executado quando as seguintes condições estão presentes:

• Só existe um destino no fluxo de dados.
• Em um fluxo de dados com uma única origem, a origem e o destino usam a mesma conexão com um sistema de dados relacionais suportado.
• Em um fluxo de dados com várias origens, todas as origens também devem usar o mesmo banco de dados e conexão.
• Todos os operadores e funções de transformação no fluxo de dados podem gerar um código SQL de pushdown válido.

A preparação de dados garante que os processos do Data Integration consumam dados precisos e significativos com menos erros para produzir dados de qualidade a fim de obter informações mais confiáveis.

A preparação de dados inclui limpeza e validação de dados para reduzir erros e transformar e enriquecer os dados antes de carregá-los para os sistemas de destino. Por exemplo, os dados podem vir de diferentes origens com vários formatos e até mesmo informações duplicadas. A preparação de dados pode envolver a remoção de atributos e linhas duplicados, a padronização em um formato para todos os atributos de data e o mascaramento de dados de atributos confidenciais, como cartões de crédito e senhas.

O Data Integration fornece operadores e funções de modelagem prontos para uso e transformações que você pode usar em ferramentas interativas para preparar dados à medida que projeta a lógica dos processos de ETL. Por exemplo, a guia Atributos permite pesquisar atributos de entrada por um padrão e aplicar uma regra de exclusão.

Na guia Dados, você pode aplicar transformações em um único atributo ou filtrar os atributos por um padrão de nome ou tipo de dados; em seguida, aplicar transformações em um grupo de atributos. Você também pode visualizar os resultados das transformações de dados na guia Dados, sem precisar executar todo o fluxo de dados.

No Data Integration, você usa a guia Mapear para descrever o fluxo de dados dos atributos de origem para os atributos de destino.

Destino pode ser uma entidade de dados existente ou nova. Em um fluxo de dados, a guia Mapear só se aplica a um operador de destino para uma entidade de dados existente. Para entidades de dados de destino existentes, os atributos de origem e quaisquer atributos personalizados provenientes de operações na direção ascendente são mapeados para atributos no destino.

Você pode optar por usar mapeamento automático ou mapa manual. Para mapeamento automático, o Data Integration pode mapear atributos de entrada para atributos de destino com o mesmo nome ou de acordo com a posição deles nas listas de atributos. Para mapeamento manual, você pode arrastar um atributo de entrada da lista de origem para um atributo na lista de destino para criar um mapeamento. Se preferir, use a caixa de diálogo Mapear Atributo para criar um mapeamento selecionando um atributo de origem e um atributo de destino. Você também pode usar um padrão de atributo de origem e um padrão de atributo de destino para criar o mapeamento.

Quando você marca a caixa de seleção Criar nova entidade de dados em um operador de destino, a guia Mapear não fica disponível. O Data Integration usa os atributos de origem de entrada para criar a estrutura de tabela ou arquivo com um mapeamento de um para um.

As ferramentas que ajudam a navegar em um fluxo de dados ou em um pipeline na tela incluem:

• Exibir: Selecione este menu para optar por abrir ou fechar os painéis Propriedades, Operadores, Validação e Parâmetros.
• Ampliar: Permite ampliar o design.
• Reduzir: Permite que você reduza o zoom para exibir mais do design.
• Definir Zoom: Retorna à view padrão do design.
• Grid Guide: Ativa e desativar os guias de grade.
• Layout Automático: Organiza os operadores na tela.
• Excluir: Remove o operador selecionado da tela.
• Desfazer: Remove a última ação executada.
• Refazer: Executa a última ação se você tiver selecionado anteriormente Desfazer.

A tela é a área de trabalho principal, na qual você projeta o fluxo de dados ou o pipeline.

Arraste objetos do painel Operadores até a tela para começar.

Você começa com uma tela em branco para um fluxo de dados. Para que um fluxo de dados seja válido, você deve ter pelo menos uma origem e um destino definidos.

Para um pipeline, você começa com uma tela que tem um operador de início e um operador de fim. Para ser válido, o design do pipeline deve incluir pelo menos um operador de tarefa.

Para conectar dois operadores, passe o mouse sobre um operador até ver o conector (círculo pequeno) no lado direito do operador. Em seguida, arraste o conector para o operador ao qual você deseja se conectar. Uma conexão é válida quando uma linha conecta os operadores depois que você solta o conector.

Para inserir um operador entre dois operadores conectados, clique com o botão direito do mouse na linha de conexão e use o menu Inserir.

Para excluir uma conexão, você pode clicar com o botão direito do mouse em uma linha e selecionar Excluir.

Para duplicar um operador de origem, destino ou expressão, clique com o botão direito do mouse no ícone do operador e selecione Duplicar.

O painel Operadores exibe os operadores que você pode adicionar a um fluxo de dados ou a um pipeline.

Arraste operadores do painel Operadores para a tela para projetar o fluxo de dados ou o pipeline. Cada operador tem outro conjunto de propriedades que você configura usando o painel Propriedades.

Para um fluxo de dados, você pode adicionar operadores de entrada, saída e modelagem.

Para um pipeline, adicione operadores de entrada, saída e tarefa para construir uma sequência.

O painel Propriedades permite que você configure o fluxo de dados ou o pipeline e seus operadores.

Use a guia Validação para validar o fluxo de dados ou o pipeline inteiro.

Na guia Parâmetros, você pode exibir todos os parâmetros definidos no nível do fluxo de dados ou do pipeline, incluindo parâmetros gerados pelo sistema. No caso de parâmetros definidos pelo usuário, você pode excluir parâmetros e, se aplicável, editar os valores padrão dos parâmetros.

Para um fluxo de dados, depois de adicionar um operador na tela, selecione o operador e use o painel Propriedades para configurar o operador. Você pode:

• Especifique os detalhes do operador, como o identificador, e configure definições específicas do operador na guia Detalhes.
• Exibir os atributos de entrada e saída do operador na guia Atributos.
• Mapear atributos de entrada para atributos na entidade de dados de destino de um operador de destino na guia Mapear.
• Visualizar uma amostra de dados na guia Dados.
• Validar a configuração do operador na guia Validação.

Da mesma forma, para um pipeline, depois de adicionar um operador na tela, selecione o operador e use o painel Propriedades para configurar o operador. Você pode:

• Especifique um nome para o operador na guia Detalhes. Para um operador de mesclagem, especifique uma condição de mesclagem. Para um operador de expressão, adicione uma ou mais expressões. Para operadores de tarefa, você seleciona uma tarefa a ser vinculada ao operador e especifica quando a tarefa é executada com base no status de execução do operador de upstream.

  Para todos os operadores de tarefa, você pode selecionar tarefas em tempo de design de projetos no espaço de trabalho atual e tarefas publicadas de qualquer Aplicativo no espaço de trabalho atual. Com tarefas REST publicadas e tarefas do OCI Data Flow, você também pode selecionar uma tarefa de qualquer Aplicativo em outro espaço de trabalho no mesmo compartimento ou em outro compartimento.

• Se aplicável, especifique as opções de execução da tarefa na guia Configuração.
• Se aplicável, configure os parâmetros de entrada na guia Configuração .
• Exiba as saída na guia Saída, que pode ser usada como entradas para o próximo operador no pipeline.
• Se aplicável, validar a configuração do operador na guia Validação.

O painel Parâmetros exibe os parâmetros usados em um fluxo de dados ou em um pipeline.

Você também pode excluir um parâmetro do painel Parâmetros.

Você pode exibir todas as mensagens de erro e advertência de um fluxo de dados ou pipeline no painel Validação global.

Na barra de ferramentas da tela, selecione Validar para verificar e depurar o fluxo de dados antes de usar o fluxo de dados em uma tarefa de integração. Da mesma forma, verifique e depure o pipeline antes de usá-lo em uma tarefa de pipeline. O painel Validação global é aberto e exibe mensagens de erro e advertência que você deve tratar. A seleção de uma mensagem leva você ao operador que produziu a mensagem de erro ou de aviso.