Sobre Fluxos de Dados

Os fluxos de dados permitem que você organize e integre seus dados para produzir conjuntos de dados tratados que seus usuários podem visualizar.

Use fluxos de dados para manipular seus dados visualmente sem precisar de qualificações de codificação manual.

Por exemplo, você poderá usar um fluxo de dados para:

  • Criar um conjunto de dados.
  • Combinar dados de diferentes origens.
  • Agregar dados.
  • Treinar modelos de aprendizado de máquina ou aplicar aos seus dados um modelo preditivo de aprendizado de máquina.
  • Executar detecção de objeto, classificação de imagem ou detecção de texto usando inteligência artificial por meio do serviço OCI Vision.

Você cria fluxos de dados no painel de design do fluxo de dados.
Descrição de GUID-2B831D4B-0478-4EAC-917D-EA910D9FFFE3-default.png segue
.png

Para criar um fluxo de dados, adicione etapas. Cada etapa executa uma função específica, por exemplo, adicionar dados, unir tabelas, mesclar colunas ou transformar dados. Use o editor de fluxo de dados para adicionar e configurar suas etapas. Cada etapa é validada quando você a adiciona ou altera. Quando configura seu fluxo de dados, você o executa para criar ou atualizar um conjunto de dados.

Ao adicionar suas próprias colunas ou transformar dados, você pode usar uma ampla faixa de operadores SQL (por exemplo, BETWEEN, LIKE, IN), expressões condicionais (por exemplo, CASE) e funções (por exemplo, Média, Mediano, Percentil).

Atualizando Conjuntos de Dados Gerados por Fluxos de Dados

Você pode reexecutar fluxos de dados para manter seus conjuntos de dados atualizados.

Nota:

Quando você reexecuta um fluxo de dados, qualquer transformação aplicada diretamente ao conjunto de dados de saída fora do fluxo de dados é perdida. O conjunto de dados é recriado do zero.

Limites do Fluxo de Dados

Se você estiver processando grandes quantidades de dados, observe que há limites de fluxo de dados. Consulte Limites do Fluxo de Dados.

Suporte de Banco de Dados para Fluxos de Dados

Com fluxos de dados, você pode tratar dados de conjuntos de dados e áreas de assunto.

Você pode executar fluxos de dados individualmente ou em uma sequência. Você pode incluir várias origens de dados em um fluxo de dados e especificar como uni-las.

Use a etapa Adicionar Dados para adicionar dados a um fluxo de dados e use a etapa Salvar Dados para salvar dados de saída de um fluxo de dados.

Você pode salvar os dados de saída de um fluxo de dados em um conjunto de dados ou em um dos tipos de banco de dados suportados. Se você salvar dados em um banco de dados, poderá transformar a origem de dados substituindo-a por dados do fluxo de dados. As tabelas da origem de dados e do fluxo de dados devem estar no mesmo banco de dados e ter o mesmo nome. Antes de iniciar, crie uma conexão com um dos tipos de banco de dados suportados.

Nota:

Você pode adicionar dados de bancos de dados remotos conectados com o Data Gateway. Entretanto, não é possível salvar dados em bancos de dados remotos conectados com o Data Gateway.

Saída de Dados

Você pode salvar dados de saída de fluxos de dados para estes tipos de banco de dados:
  • Oracle Autonomous AI Lakehouse
  • Oracle Autonomous AI Transaction Processing
  • Oracle Database
  • Apache Hive
  • Hortonworks Hive
  • MapR Hive
  • Spark

Para obter informações sobre versão do banco de dados, consulte Origens de Dados com Suporte.

Entrada de Dados

Em fluxos de dados, você pode processar dados de conjuntos de dados e áreas de assunto. Não é possível extrair dados diretamente dos bancos de dados - primeiro você precisa criar um conjunto de dados com base nas tabelas de banco de dados.

Como Trabalhar no Designer de Fluxo de Dados

O designer de fluxo de dados permite tratar e transformar seus dados em um ambiente de design gráfico.

Como trabalhar no designer de fluxo de dados:

Use o designer de fluxo de dados para organizar e configurar as etapas do fluxo de dados que transformam seus dados.



Use esses recursos no designer de fluxo de dados.

Funcionalidade Ícone Descrição
Layout compacto Ícone de layout compacto Agrupe as etapas em uma área de visualização menor para reduzir a rolagem.
Layout expandido Ícone de layout expandido Alinhe as etapas de origem de dados de entrada à esquerda para melhorar a legibilidade.
Junção ou união incompleta

Ícone Concluir junção ou união

Indica uma origem de dados que não está unida. Passe o cursor do mouse sobre o ícone de link azul Ícone Concluir junção ou união para ver um destino de junção sugerido (linha pontilhada) e clique novamente para concluir a junção ou união (linha sólida).

Para remover uma conexão, clique com o botão direito do mouse na etapa Associar Ícone Associar etapa ou na etapa União Ícone Etapa de união e selecione Excluir.

Aprimoramentos de zoom Ícone Zoom Mais zoom e menos zoom.