Documentação do Oracle Cloud Infrastructure

Criando um Fluxo de Dados

Crie um fluxo de dados em um projeto ou pasta no Data Integration. Fluxo de dados é um programa visual que representa o fluxo de dados dos ativos de dados de origem, como um arquivo sem formatação, para ativos de dados de destino, como um data lake ou data warehouse.

O Data Integration inclui um projeto padrão para você começar. Para criar outros projetos ou pastas, consulte Projetos e Pastas.

    1. Na seção Fluxos de dados do projeto ou da pasta em que você deseja criar um fluxo de dados, selecione Criar fluxo de dados. Se precisar de ajuda para localizar a seção Fluxos de dados em uma página de detalhes do projeto ou da pasta, consulte Listando Fluxos de Dados.

      O Data Integration exibe o designer em uma guia. A tela está vazia. Os painéis Operadores e Propriedades estão abertos. Para obter informações sobre os operadores, consulte Usando Operadores do Serviço Data Flow.

    2. Na guia Detalhes no painel Propriedades, digite um nome e uma descrição opcional para o fluxo de dados.

      O identificador é um valor gerado pelo sistema com base no nome. Você pode alterar o valor, mas depois de criar e salvar o fluxo de dados, não será possível atualizar o identificador.

    3. (Opcional) Para o campo Projeto ou pasta, clique em Selecionar e selecione outro projeto ou pasta na qual salvar o fluxo de dados.
    4. Arraste operadores de fluxo de dados do painel Operadores para a tela a fim de projetar o fluxo de dados.

      Para ser válido, um fluxo de dados deve ter pelo menos um operador de origem e um operador de destino. Embora o serviço Data Integration ofereça suporte a vários operadores de destino em um fluxo de dados, um operador de destino só pode ter uma porta de entrada.

      Dica

      Quando você usar um operador de classificação, aplique-o depois de aplicar outros operadores. A aplicação do operador de classificação imediatamente antes do operador de destino garante que os dados do destino sejam inseridos na ordem de classificação que você deseja.

    5. Para duplicar um operador de origem, destino ou expressão, clique com o botão direito do mouse no ícone do operador e selecione duplicar. Em seguida, selecione o operador duplicado e renomeie o identificador no painel Propriedades.

      Se o operador original estiver conectado a outros operadores, as conexões não serão copiadas para o operador duplicado.

    6. Conecte os operadores na tela:

      • Passe o mouse sobre um operador até ver o conector (círculo pequeno) no lado direito do operador e arraste o conector para o próximo operador ao qual você deseja se conectar. Uma conexão é válida quando uma linha conecta os operadores depois que você solta o conector.

        Observação

        Uma linha de conexão simboliza como os dados fluem de um nó para outro. Embora seja possível arrastar um conector visível de um objeto para outro, não é possível ter mais de uma linha de conexão de entrada para um operador de filtro, expressão, agregação, distinto, classificação e destino.

      • Para inserir um operador entre dois operadores conectados, clique com o botão direito do mouse na linha de conexão e use o menu Inserir.

      • Para excluir uma conexão, clique com o mouse na linha e selecione Excluir.

    7. Na guia Detalhes no painel Propriedades, configure propriedades básicas e obrigatórias para cada operador.

      • Para obter informações sobre como designar parâmetros e exibir parâmetros do sistema que estão disponíveis no runtime, consulte Usando Parâmetros de Fluxo de Dados.

      • Quando aplicável, use a guia Opções avançadas para especificar outras propriedades. Para obter informações sobre propriedades avançadas de cada operador, consulte Usando Operadores de Fluxo de Dados.

    8. Para salvar o fluxo de dados pela primeira vez, selecione um dos seguintes botões:
      • Criar: Cria e salva o fluxo de dados. Você pode continuar criando e editando o fluxo de dados no designer.
      • Criar e fechar: Cria e salva o fluxo de dados, fecha o designer e retorna você à lista Fluxos de dados na página de detalhes do projeto ou da pasta.
    9. Salve periodicamente enquanto trabalha no designer selecionando um dos seguintes botões:
      • Salvar: Confirma alterações desde o último salvamento. Você pode continuar editando depois de salvar.
      • Salvar e fechar: Confirma alterações, fecha o designer e retorna você à lista Fluxos de dados na página de detalhes do projeto ou da pasta.
      • Salvar como: Confirma alterações (desde o último salvamento) e salva em uma cópia em vez de substituir o fluxo de dados atual. Você pode fornecer um nome para a cópia e selecionar outro projeto ou pasta para a cópia ou salvar a cópia no mesmo projeto ou pasta do fluxo de dados atual.
    10. Valide o fluxo dos dados para verificar se há avisos ou erros que possam causar problemas durante o runtime. Na barra de ferramentas do designer, selecione Validar.

      O Data Integration exibe o painel Validação global. Se forem encontrados avisos ou erros, selecione um nome de identificador na lista de problemas para colocar o operador com esse aviso ou erro em foco na tela.

    11. Quando terminar de trabalhar no fluxo de dados, selecione Criar e fechar ou Salvar e fechar.
    Para executar o fluxo de dados, crie uma tarefa de integração. Consulte Criando uma Tarefa de Integração.

  • Use o comando oci data-integration data-flow create e os parâmetros necessários para criar um fluxo de dados:

    oci data-integration data-flow create [OPTIONS]

    Para obter uma lista completa de flags e opções de variáveis para comandos da CLI, consulte a Referência de Linha de Comando.

  • Execute a operação CreateDataFlow para criar um fluxo de dados.