Crie fluxos de dados para carregar dados de uma conexão de origem, executar transformações e mover os dados para um banco de dados de destino.

O editor de fluxo de dados é dividido em cinco partes, o Painel Entidade de Dados, a Barra de Ferramentas Funções do Banco de Dados, a Tela de Design, o Painel Propriedades e o Painel Status.

Descrição da ilustração datafloweditor.png,

• Painel Entidades de Dados: O painel entidade de dados exibe as Entidades de Dados que estão disponíveis para uso em seus fluxos de Dados. A lista exibida pode ser filtrada usando os campos Nome e Tags. O painel inclui opções que permitem adicionar esquemas, importar entidades de dados, remover qualquer um dos esquemas associados ao fluxo de dados e atualizar entidades de dados. Consulte Adicionar Componentes para obter informações sobre como usar essas opções.
• Barra de Ferramentas de Funções do Banco de Dados: A barra de ferramentas Funções do Banco de Dados exibe as funções do banco de dados que podem ser usadas em seus fluxos de dados. Assim como as Entidades de Dados, você pode arrastar e soltar as ferramentas de Banco de Dados que deseja usar na tela de design. Consulte Funções de Banco de Dados Suportadas para obter mais informações.
• Design Canvas: A tela de design é onde você cria sua lógica de transformação. Depois de adicionar as Entidades de Dados e as Funções de Banco de Dados à tela de design, você poderá conectá-las em uma ordem lógica para concluir seus fluxos de dados.
• Painel de Propriedades: O painel de propriedades exibe as propriedades do objeto selecionado na tela de design. O Painel Propriedades é agrupado em quatro Guias. Geral, Atributos, Visualizar Dados, Mapeamento de Colunas e Opções. Nem todas as guias estão disponíveis, pois elas variam de acordo com o objeto selecionado. Consulte Propriedades do Componente para saber mais sobre essas opções.
• Painel de Status: Quando você executa um fluxo de dados, o Painel de Status mostra o status do job que está sendo executado em segundo plano para concluir a solicitação. Você pode ver o status do job que está em execução no momento ou o status do último job. Para obter mais informações sobre o painel Status, consulte Monitorar Status de Cargas de dados, Fluxos de dados e Fluxos de trabalho.

Depois de projetar o fluxo de dados necessário,

• Clique em para salvar o fluxo de dados criado/projetado.
• Clique em para alinhar os nós do fluxo de dados projetado.
• Clique em para executar o fluxo de dados criado.
• Clique em para validar o fluxo de dados criado.
• Clique em para maximizar ou minimizar o diagrama de fluxo de dados criado na tela de design.

O Oracle Data Transforms suporta várias funções de banco de dados que você pode arrastar e soltar na Tela de Design para conectar componentes em um fluxo de dados.

A barra de ferramentas Funções do Banco de Dados no editor do serviço Data Flow inclui as seguintes funções de banco de dados que podem ser usadas em seus fluxos de dados. Consulte Referência de Linguagem SQL do Oracle Database para saber mais sobre as funções do banco de dados.

1. Transformação de Dados

   Ela contém os seguintes componentes:

   • Agregar
   • Expressão
   • Filtro
   • Junção
   • Distinto
   • Consulta
   • Definido
   • Classificar
   • Filtro de Subconsulta
   • Função de Tabela
2. Preparação de Dados

   Ela contém os seguintes componentes:

   • Limpeza de Dados
   • Substituição
   • Equi_Width Compartimento
   • Compartimento Quantil
   • Lead
   • Atraso
   • Substituir
3. Aprendizado de Máquina

   Ela contém os seguintes componentes:

   • Previsão
   • Modelo de Predição
   • Detecção de Outlier
   • Vetor de Incorporação de Texto
4. Texto

   Ela contém os seguintes componentes:

   • CONTAGEM REGEXP
   • INSTR REGEXP
   • SUBST. REGEXP
   • REGEXP - SUBSTITUIR
   • Editar Similaridade de Distância
   • Contém
5. Oracle Spatial and Graph

   Ela contém os seguintes componentes:

   • Dimensão de Buffer
   • Tolerância de Buffer
   • Dimensão de Distância
   • Tolerância de Distância
   • Mais próximo
   • Simplificar
   • Ponto
   • Ferramentas de código geográfico:
     Observação
     
     As Ferramentas de Código Geográfico a seguir só funcionam em ambientes que não sejam do Autonomous Database.
     • Geocodificação como Geometria
     • Geocódigo
     • Geocodificar Endereço
     • Geocodificar Todos
     • Geocodificar Endereço/Todos
     • Geocodificação Reversa
     Observação
     
     A Ferramenta de Geocódigo a seguir só funciona em um ambiente do Autonomous Database.
     • Nuvem de Códigos Geográficos
   • Junção Espacial

Adicione as entidades de dados e as funções de banco de dados ao Design Canvas e conecte-as em uma ordem lógica para concluir seus fluxos de dados.

Por exemplo:

Descrição da ilustração add-components.png

O Data Transforms suporta o uso de vetores de tipo de dados vetorial e a incorporação de vetores em um fluxo de dados. Atualmente, o Data Transforms se integra ao serviço OCI Generative AI para converter texto de entrada em incorporações de vetores que você pode usar para análise e pesquisas de dados.

Para incorporação de texto, o Data Transforms suporta tanto o texto armazenado em uma coluna quanto os links http armazenados em uma coluna. Antes de usar vetores de incorporação em um fluxo de dados, você precisa fazer o seguinte:

• Crie uma conexão do Oracle Database 23ai. Consulte Trabalhar com Conexões para obter instruções genéricas sobre como criar uma conexão no serviço Data Transforms.
• Crie uma conexão da Oracle Cloud Infrastructure (OCI) Generative AI. Consulte Criar e usar uma Conexão do Oracle Cloud Infrastructure Generative AI.

Para usar incorporações de vetores em um fluxo de dados:

1. Siga as instruções em Criar um Serviço Data Flow para criar um novo fluxo de dados.
2. No Editor do Serviço Data Flow, clique em Adicionar um Esquema para definir sua conexão de origem. Na lista drop-down Conexão, selecione na lista drop-down a conexão do Oracle Database 23ai e o esquema que deseja usar. Clique em OK.
3. Arraste as tabelas que você deseja usar como origem no fluxo de dados e solte-as na tela de design.
4. Na barra de ferramentas Funções do Banco de Dados, clique em Machine Learning e arraste o componente de transformação Vetor de Incorporação de Texto para soltá-lo na tela de design.
5. Clique no componente de transformação Vetor de Incorporação de Texto para exibir suas propriedades.
6. Na guia Geral, especifique o seguinte:
   • Serviço de IA - Selecione OCI Generative AI no menu suspenso.
   • Conexão - A lista drop-down lista todas as conexões disponíveis para o Serviço AI selecionado. Selecione a conexão que deseja usar.
   • Modelo de AI - A lista drop-down lista todos os modelos disponíveis para o Serviço e a Conexão de AI selecionados. Os seguintes modelos são listados:
     • "cohere.embed-português-luz-v2.0"
     • "cohere.embed-português-luz-v3.0"
     • "cohere.embed-inglês-v3.0"
     • "cohere.embed-multilingual-light-v3.0"
     • "cohere.embed-multilingual-v3.0"
     Você também pode digitar o nome do modelo.
7. Na guia Mapeamento de Coluna, mapeie a coluna de origem que deseja incorporar ao atributo INPUT do operador. A única coluna disponível nos mapeamentos de coluna é input_text. Arraste uma coluna de texto das colunas disponíveis para a coluna Expressão. Esses são os dados nos quais os vetores serão criados.
8. Arraste a tabela que você deseja usar como destino no fluxo de dados e solte-a na tela de design.
9. Salve e execute o fluxo de dados.

   As Transformações de Dados criarão vetores para cada uma das linhas na tabela de origem e gravarão isso na tabela de destino.

O Painel Propriedades exibe várias configurações para componentes selecionados na Tela de Design.

Dependendo do componente selecionado, você pode ver qualquer um dos seguintes ícones:

• Geral () - Exibe o nome do componente com seus detalhes de conexão e esquema. Você pode editar algumas dessas propriedades.
• Atributos () - Exibe os detalhes de todos os atributos associados ao componente.
• Mapeamento de colunas () - Permite mapear todas as colunas automaticamente. Consulte Mapear Colunas de Dados para obter mais informações.
• Visualizar () - Exibe uma visualização do componente. Para tabelas Oracle, você também pode exibir as estatísticas da entidade de dados selecionada. Consulte Exibir Estatísticas de Entidades de Dados para obter detalhes sobre as informações estatísticas disponíveis.
• Opções () - Exibe opções como
  • Truncar Tabela - Substitui qualquer conteúdo de tabela de destino existente por novos dados.
  • Anexar - Insere registros do fluxo no destino. Os registros existentes não são atualizados.
  • Incremental - Integra dados na tabela de destino comparando os registros do fluxo com os registros existentes e atualizando os registros quando seus dados associados não forem os mesmos. As que ainda não existem no alvo são inseridas.
    A opção inclui um recurso de compactação automática que é definido como True por padrão. Para jobs de fluxo de dados que usam o modo Atualização Incremental para carregar dados em uma partição de destino Oracle compactada, o recurso Compactação automática recomprime as partições de destino modificadas após a conclusão bem-sucedida da carga. Para partições de tabela que não foram originalmente compactadas, a compactação é ignorada, independentemente de a compactação Automática estar definida como verdadeira.

    Observação
    
    A opção de compactação Automática está disponível para o usuário ADMIN ou para um usuário com a atribuição DWROLE. Para fluxos de dados que têm usuários de esquema diferentes de ADMIN, você precisa designar o DWROLE ao usuário ou desativar a compactação Automática para evitar erros de execução.

Quando você conecta a entidade de dados de origem à entidade de dados de destino, os nomes das colunas são automaticamente mapeados pelos nomes das colunas. Você tem a opção de mapear as colunas por Posição ou por Nome ou mapear as colunas manualmente usando o Editor de Expressão.

Depois que os mapeamentos estiverem prontos, você poderá continuar a validar e executar o fluxo de dados.