Sobre Fluxos de Dados

Crie fluxos de dados para carregar dados de uma conexão de origem, executar transformações e mover os dados para um banco de dados de destino.

O editor de fluxo de dados é dividido em cinco partes, o Painel Entidade de Dados, a Barra de Ferramentas Funções do Banco de Dados, a Tela de Design, o Painel Propriedades e o Painel Status.

Descrição da ilustração datafloweditor.png,

• Painel Entidades de Dados: O painel entidade de dados exibe as Entidades de Dados que estão disponíveis para uso em seus fluxos de Dados. A lista exibida pode ser filtrada usando os campos Nome e Tags. O painel inclui opções que permitem adicionar esquemas, importar entidades de dados, remover qualquer um dos esquemas associados ao fluxo de dados e atualizar entidades de dados. Consulte Adicionar Componentes para obter informações sobre como usar essas opções.

  Esse painel também inclui os seguintes controles:

  • : Salva o fluxo de dados.
  • : Executa o fluxo de dados.
  • : Permite programar a execução do fluxo de dados em um intervalo de tempo especificado.
  • : Valida o fluxo de dados.
  • : Permite verificar o código que será executado quando você executar o job de fluxo de dados.
  • : Alinha os nós do fluxo de dados.
  • : Maximiza ou minimiza o diagrama de fluxo de dados na tela de design.
  • : Permite que você use consultas SQL para criar um fluxo de dados. Consulte Gerar Fluxo de Dados com Base em Instruções SQL.
  • : Sincroniza todas as atualizações feitas nas entidades de dados dentro do fluxo de dados.
• Barra de Ferramentas de Funções do Banco de Dados: A barra de ferramentas Funções do Banco de Dados exibe as funções do banco de dados que podem ser usadas em seus fluxos de dados. Assim como as Entidades de Dados, você pode arrastar e soltar as ferramentas de Banco de Dados que deseja usar na tela de design. Consulte Funções de Banco de Dados Suportadas para obter mais informações.
• Design Canvas: A tela de design é onde você cria sua lógica de transformação. Depois de adicionar as Entidades de Dados e as Funções de Banco de Dados à tela de design, você poderá conectá-las em uma ordem lógica para concluir seus fluxos de dados.
• Painel de Propriedades: O painel de propriedades exibe as propriedades do objeto selecionado na tela de design. O Painel Propriedades é agrupado em quatro Guias. Geral, Atributos, Visualizar Dados, Mapeamento de Colunas e Opções. Nem todas as guias estão disponíveis, pois elas variam de acordo com o objeto selecionado. Consulte Propriedades do Componente para saber mais sobre essas opções.
• Painel de Status: Quando você executa um fluxo de dados, o Painel de Status mostra o status do job que está sendo executado em segundo plano para concluir a solicitação. Você pode ver o status do job que está em execução no momento ou o status do último job. Para obter mais informações sobre o painel Status, consulte Monitorar Status de Cargas de dados, Fluxos de dados e Fluxos de trabalho.

O Oracle Data Transforms suporta várias funções de banco de dados que você pode arrastar e soltar na Tela de Design para conectar componentes em um fluxo de dados.

A barra de ferramentas Funções do Banco de Dados no editor do serviço Data Flow inclui as seguintes funções de banco de dados que podem ser usadas em seus fluxos de dados. Consulte Referência de Linguagem SQL do Oracle Database para saber mais sobre as funções do banco de dados.

1. Transformação de Dados

   Ela contém os seguintes componentes:

   • Agregar
   • Expressão
   • Filtro
   • Junção
   • Distinto
   • Consulta
   • Definido
   • Classificar
   • Filtro de Subconsulta
   • Função de Tabela
2. Preparação de Dados

   Ela contém os seguintes componentes:

   • Limpeza de Dados
   • Substituição
   • Equi_Width Compartimento
   • Compartimento Quantil
   • Lead
   • Atraso
   • Substituir
3. Aprendizado de Máquina

   Ela contém os seguintes componentes:

   • Previsão
   • Modelo de Predição
   • Detecção de Outlier
   • Vetor de Incorporação de Texto
4. Texto

   Ela contém os seguintes componentes:

   • CONTAGEM REGEXP
   • INSTR REGEXP
   • SUBST. REGEXP
   • REGEXP - SUBSTITUIR
   • Editar Similaridade de Distância
   • Contém
5. Oracle Spatial and Graph

   Ela contém os seguintes componentes:

   • Dimensão de Buffer
   • Tolerância de Buffer
   • Dimensão de Distância
   • Tolerância de Distância
   • Mais próximo
   • Simplificar
   • Ponto
   • Ferramentas de código geográfico:
     Observação
     
     As Ferramentas de Código Geográfico a seguir só funcionam em ambientes que não sejam do Autonomous Database.
     • Geocodificação como Geometria
     • Geocódigo
     • Geocodificar Endereço
     • Geocodificar Todos
     • Geocodificar Endereço/Todos
     • Geocodificação Reversa
     Observação
     
     A Ferramenta de Geocódigo a seguir só funciona em um ambiente do Autonomous Database.
     • Nuvem de Geocódigo
   • Junção Espacial

Adicione as entidades de dados e as funções de banco de dados ao Design Canvas e conecte-as em uma ordem lógica para concluir seus fluxos de dados.

Por exemplo:

Descrição da ilustração add-components.png

O Data Transforms suporta o uso de vetores de tipo de dados vetorial e a incorporação de vetores em um fluxo de dados. Atualmente, o Data Transforms se integra ao serviço OCI Generative AI para converter texto de entrada em incorporações de vetores que você pode usar para análise e pesquisas de dados.

Para incorporação de texto, o Data Transforms suporta tanto o texto armazenado em uma coluna quanto os links http armazenados em uma coluna. Antes de usar vetores de incorporação em um fluxo de dados, você precisa fazer o seguinte:

• Crie uma conexão do Oracle AI Database 26ai. Consulte Trabalhar com Conexões para obter instruções genéricas sobre como criar uma conexão no serviço Data Transforms.
• Crie uma conexão da Oracle Cloud Infrastructure (OCI) Generative AI. Consulte Criar e usar uma Conexão do Oracle Cloud Infrastructure Generative AI.

Para usar incorporações de vetores em um fluxo de dados:

1. Siga as instruções em Criar um Serviço Data Flow para criar um novo fluxo de dados.
2. No Editor do Serviço Data Flow, clique em Adicionar um Esquema para definir sua conexão de origem. Na lista drop-down Conexão, selecione a conexão do Oracle AI Database 26ai e o esquema que você deseja usar na lista drop-down. Clique em OK.
3. Arraste as tabelas que você deseja usar como origem no fluxo de dados e solte-as na tela de design.
4. Na barra de ferramentas Funções do Banco de Dados, clique em Machine Learning e arraste o componente de transformação Vetor de Incorporação de Texto para soltá-lo na tela de design.
5. Clique no componente de transformação Vetor de Incorporação de Texto para exibir suas propriedades.
6. Na guia Geral, especifique o seguinte:
   • Serviço de IA - Selecione OCI Generative AI no menu suspenso.
   • Conexão - A lista drop-down lista todas as conexões disponíveis para o Serviço AI selecionado. Selecione a conexão que deseja usar.
   • Modelo de AI - A lista drop-down lista todos os modelos disponíveis para o Serviço e a Conexão de AI selecionados. Os seguintes modelos são listados:
     • "cohere.embed-português-luz-v2.0"
     • "cohere.embed-português-luz-v3.0"
     • "cohere.embed-inglês-v3.0"
     • "cohere.embed-multilingual-light-v3.0"
     • "cohere.embed-multilingual-v3.0"
     Você também pode digitar o nome do modelo.
7. Na guia Mapeamento de Coluna, mapeie a coluna de origem que deseja incorporar ao atributo INPUT do operador. A única coluna disponível nos mapeamentos de coluna é input_text. Arraste uma coluna de texto das colunas disponíveis para a coluna Expressão. Esses são os dados nos quais os vetores serão criados.
8. Arraste a tabela que você deseja usar como destino no fluxo de dados e solte-a na tela de design.
9. Salve e execute o fluxo de dados.

   As Transformações de Dados criarão vetores para cada uma das linhas na tabela de origem e gravarão isso na tabela de destino.

Você pode usar o recurso de junção automática para estabelecer condições de junção entre tabelas com base em relacionamentos predefinidos, como relacionamentos de chave primária/chave estrangeira ou nomes de colunas comuns.

Para usar junções automáticas em um fluxo de dados:

1. Siga as instruções em Criar um Serviço Data Flow para criar um novo fluxo de dados.
2. No Editor do Serviço Data Flow, clique em Adicionar um Esquema para definir sua conexão de origem.
3. Arraste a tabela que tem a chave estrangeira e solte-a na tela de design.
4. Selecione o objeto na tela de design e clique no ícone .

   A página Entidade de Dados de Junção é exibida listando as tabelas em que a chave estrangeira desta tabela faz referência à chave primária de outra tabela.

5. Selecione a(s) tabela(s) que deseja usar e clique em Salvar. Isso criará automaticamente a condição de junção.
6. Salve e execute o fluxo de dados.

   Transformações de Dados unirão as tabelas e inserirão os registros correspondentes na tabela de destino.

Você pode usar instruções SQL para gerar fluxos de dados usando o recurso de analisador SQL de Transformações de Dados.

Você pode fornecer uma representação de um fluxo de dados que tenha a entidade de dados de destino e a entidade de dados de origem, fazendo com que ambas as seções sejam inseridas e selecionadas na instrução SQL. O recurso Data Transforms SQL parser analisará a instrução SQL, a converterá em um fluxo de dados e a exibirá no Design Canvas.

O parser SQL suporta os seguintes operadores:

• Entidades de dados: As entidades de dados são geradas com base no local em que são referenciadas nas instruções SQL recebidas como entrada pelo Analisador SQL.
• Expressão: Os componentes de expressão são gerados quando uma função é identificada na instrução SQL. No entanto, esse tipo de componente não será gerado se a função for uma agregação. Nesses casos, é substituído por um componente de Agregação. Os componentes de expressão também serão gerados se o componente Parser SQL localizar expressões aritméticas ou lógicas dentro da instrução.
• Agregação: Os componentes de agregação são gerados exclusivamente quando as funções de agregação são detectadas na instrução SQL. Esses componentes podem ser criados independentemente de incluírem outros operadores de agregação, como GROUP BY e HAVING.
• Filtro: Os componentes do filtro são gerados sempre que o componente do Analisador SQL encontra a palavra-chave WHERE e é capaz de tratar qualquer tipo de condição.
• Junção: Os componentes de junção são gerados para cada tipo de junção suportado pela Oracle e podem tratar qualquer condição de junção especificada na instrução SQL.
• Definir: Os componentes do conjunto são gerados para todos os tipos de operações do conjunto - como UNION, INTERSECT e EXCEPT - quando estão presentes na instrução SQL.

Para gerar um fluxo de dados usando instruções SQL:

1. Siga as instruções em Criar um Serviço Data Flow para criar um novo fluxo de dados.
2. No Editor de Fluxo de Dados, clique no ícone .
3. Na página Gerar Fluxo de Dados do SQL, insira sua instrução SQL na janela Informar Consulta SQL. Consulte Exemplo.
4. Clique em Gerar.

   O recurso Analisador SQL gera o fluxo de dados e exibe uma visualização.

5. Clique em Aplicar para carregar o fluxo de dados na Tela de Design.
6. Salve o fluxo de dados.
7. Arraste e solte mais elementos na Tela de Design, se necessário.
8. Salve e execute o fluxo de dados.

create table DEMO_TARGET.SUB_QUANTITY
(
  QUANTITY_SOLD NUMBER(10,2),
PROD_SUBCATEGORY VARCHAR2(50 CHAR)
)

INSERT 
  /*+  APPEND PARALLEL  */ 
  INTO DEMO_TARGET.SUB_QUANTITY
  (
    QUANTITY_SOLD ,
    PROD_SUBCATEGORY 
  ) 
SELECT 
  (SUM(SALES.QUANTITY_SOLD)) ,
  PRODUCTS.PROD_SUBCATEGORY  
FROM 
  SH.SALES SALES  INNER JOIN  SH.PRODUCTS PRODUCTS  
    ON  SALES.PROD_ID=PRODUCTS.PROD_ID
GROUP BY
  PRODUCTS.PROD_SUBCATEGORY  

View materializada é um objeto de banco de dados que contém os resultados de uma consulta. Para usar views materializadas em Transformações de Dados, você precisa primeiro criar a entidade de dados de view materializada usando o editor do serviço Data Flow e, em seguida, usar a entidade de dados em um fluxo de dados como origem.

O Painel Propriedades exibe várias configurações para componentes selecionados na Tela de Design.

Dependendo do componente selecionado, você pode ver qualquer um dos seguintes ícones:

• Geral () - Exibe o nome do componente com seus detalhes de conexão e esquema. Você pode editar algumas dessas propriedades.
• Atributos () - Exibe os detalhes de todos os atributos associados ao componente.
• Mapeamento de colunas () - Permite mapear todas as colunas automaticamente. Consulte Mapear Colunas de Dados para obter mais informações.
• Visualizar () - Exibe uma visualização do componente. Para tabelas Oracle, você também pode exibir as estatísticas da entidade de dados selecionada. Consulte Exibir Estatísticas de Entidades de Dados para obter detalhes sobre as informações estatísticas disponíveis.
• Opções () - Exibe opções como
  • Truncar Tabela - Substitui qualquer conteúdo de tabela de destino existente por novos dados.
  • Anexar - Insere registros do fluxo no destino. Os registros existentes não são atualizados.
  • Incremental - Integra dados na tabela de destino comparando os registros do fluxo com os registros existentes e atualizando os registros quando seus dados associados não forem os mesmos. As que ainda não existem no alvo são inseridas.
    A opção inclui um recurso de compactação automática que é definido como True por padrão. Para jobs de fluxo de dados que usam o modo Atualização Incremental para carregar dados em uma partição de destino Oracle compactada, o recurso Compactação automática recomprime as partições de destino modificadas após a conclusão bem-sucedida da carga. Para partições de tabela que não foram originalmente compactadas, a compactação é ignorada, independentemente de a compactação Automática estar definida como verdadeira.

    Observação
    
    A opção de compactação Automática está disponível para o usuário ADMIN ou para um usuário com a atribuição DWROLE. Para fluxos de dados que têm usuários de esquema diferentes de ADMIN, você precisa designar o DWROLE ao usuário ou desativar a compactação Automática para evitar erros de execução.

Quando você conecta a entidade de dados de origem à entidade de dados de destino, os nomes das colunas são automaticamente mapeados pelos nomes das colunas. Você tem a opção de mapear as colunas por Posição ou por Nome ou mapear as colunas manualmente usando o Editor de Expressão.

Depois que os mapeamentos estiverem prontos, você poderá continuar a validar e executar o fluxo de dados.