Carregar Dados de uma Origem SFTP no Fusion Data Intelligence (Visualização)

Como administrador de serviços, você pode usar o serviço de extração do Fusion Data Intelligence para adquirir dados de uma origem FTP segura (SFTP) e usá-los para criar aumentos de dados.

1. Verifique o número da porta do seu banco de dados FTP seguro e crie uma solicitação de serviço para abrir a porta.
   Observação
   
   Você deve fornecer o endereço IP do servidor SFTP, que deve ser um IP público e não pode ser nome de host e um nome de domínio totalmente qualificado (FQDN) ou um IP privado de classe A.
2. No Fusion Data Intelligence, crie a conexão de dados SFTP usando estas instruções:
   1. Na Console do Fusion Data Intelligence, clique em Configuração de Dados em Administração de Aplicativos.
   2. Na página Configuração de Dados, clique em Gerenciar Conexões.
   3. Na página Gerenciar Conexões, clique em Criar e em Conexão.
   4. Em Criar Conexão, selecione Extração de Dados em Tipo de Uso e, em seguida, selecione SFTP como tipo de conexão.
      
      

      

      
      
   5. In the dialog for the SFTP connection, select Standard in Connectivity Type, enter an email address to receive notifications in Notification Email, and provide applicable values in Remote Host, User Name, Private Key, Remote Host Extract Files Directory, File Type, CSV Delimiter, CSV Date Format, and CSV Timestamp Format. Em Bloquear Metadados, especifique se deseja desativar as extrações de metadados após a primeira atualização se os metadados não forem alterados. Essa opção será útil se o flag para derivar metadados de arquivos de dados usando o utilitário de metadados estiver ativado em sua origem. No Host Remoto, certifique-se de especificar um Servidor SFTP que suporte algoritmos de troca de chaves compatíveis com FIPS.
      Certifique-se do seguinte:

      • O nome da tabela e o nome do arquivo na origem SFTP precisam ser iguais.
      • A chave privada que você fornece está no formato OpenSSH válido e o número mínimo de bits na chave deve ser 2048.
      • O formato de data dos arquivos de dados deve corresponder ao formato de data na origem SFTP; por exemplo, se você tiver usado MM/dd/yyyy (23/01/1998) na origem, deverá especificar o mesmo formato em Formato de Data CSV. Consulte Sobre Formatação de Data e Timestamp para Extratores Baseados em Arquivo CSV.
      • O formato de timestamp para os arquivos de dados deve corresponder ao formato de timestamp na origem SFTP; por exemplo, se você tiver usado MM/dd/yyyy hh:mm:ss (23/01/1998 12:00:20) na origem, especifique o mesmo formato em Formato de Timestamp CSV.

      
      

      

      
      
   6. Verifique se a alternância Atualizar Metadados está ativada para garantir que os metadados sejam atualizados quando você salvar a conexão.
      Posteriormente, você poderá atualizar os metadados no menu Ações da página Gerenciar Conexões, se necessário.

      Observação
      
      Você não pode criar aumentos para SFTP, a menos que execute uma extração de metadados.
   7. Clique em Salvar.
3. Em sua origem SFTP:
   1. Crie a estrutura de pastas no Bucket usando estas diretrizes:
      

      • A pasta base no bucket deve corresponder aos detalhes fornecidos na conexão.
      • Dentro da pasta base, certifique-se de colocar cada arquivo em sua própria pasta.
      • Certifique-se de que o Prefixo de Data_Store_Name (igual ao nome da Pasta) e os Arquivos na pasta de destino correspondam exatamente.

      Consulte a seção "Para criar uma pasta ou subpasta" em Usando a Console.

   2. Dentro da pasta base, crie o arquivo de metadados para a Lista de Armazenamento de Dados. Esse arquivo lista os armazenamentos de dados suportados. Cada armazenamento de dados é uma pasta que tem o arquivo real usado no aumento de dados, por exemplo, ASSETS. Verifique se o nome do arquivo e o nome da pasta correspondem e se não há caracteres especiais (incluindo espaço) no armazenamento de dados, pasta ou nomes de arquivo.
      
   3. Crie o arquivo de metadados para cada arquivo de dados na pasta de armazenamento de dados usando estas diretrizes:

      O META_DATASTORES.csv deve ter estas colunas:

      • DATA_STORE_NAME - Uma coluna obrigatória para identificar o nome do armazenamento de dados.
      • DATA_STORE_LABEL - Uma coluna não obrigatória que identifica a descrição do armazenamento de dados.

      Observação
      
      Se você adicionar novos armazenamentos de dados a uma conexão de origem existente, certifique-se de que META_DATASTORES.csv contenha a lista completa de armazenamentos de dados, incluindo os armazenamentos de dados existentes mais antigos.

      Cada pasta deve ter:

      • Um arquivo de dados que tem os dados reais que são carregados no Fusion Data Intelligence. Este arquivo deve ter um prefixo com DATA STORE NAME.
      • Um arquivo de metadados para a lista de colunas contém todas as informações da coluna nos dados. Esse arquivo deve ter um Prefixo com META_DATASTORES_<DATA_STORE_NAME>_COL.
        • Para as colunas desses metadados, verifique o seguinte:
        • Se o nome da coluna for ABC, os metadados poderão ser ABC ou "ABC" - as aspas duplas serão ignoradas.
        • Se o nome da coluna for "ABC", os metadados deverão ser ""ABC"" – as primeiras aspas duplas serão ignoradas.

      Exemplo

      Na imagem, o nome da pasta é ACTIVITY_TYPES. Portanto, o nome do armazenamento de dados é ACTIVITY_TYPES. Você pode confirmar isso no arquivo META_DATASTORES.csv. Neste exemplo, o arquivo é chamado ACTIVITY_TYPES.xlsx ou ACTIVITY_TYPES.csv. O arquivo de metadados deve ser META_DATASTORES_ACTIVITY_TYPES_COL.csv.

      O META_DATASTORES_ACTIVITY_TYPES_COL.csv tem estas colunas:

      • DATA_STORE_NAME - Esta é uma coluna obrigatória.
      • COLUMN_NAME - Esta é uma coluna obrigatória.
      • COLUMN_LABEL - Esta é uma coluna não obrigatória.
      • DATA_TYPE – Esta é uma coluna obrigatória.
      • WIDTH – Esta coluna identifica o comprimento da string.
      • PRECISÃO - Este valor de coluna deve ser do tipo de dados Numérico.
      • ESCALA - Este valor de coluna deve ser um tipo de dados numérico.
      • KEY_SEQUENCE - Esta é uma coluna obrigatória que identifica a definição da Chave Primária. Se você estiver usando a chave primária composta, use números de ordem das colunas como valores.
4. Na página Gerenciar Conexões, selecione Ações da conexão SFTP e, em seguida, selecione Testar Conexão.
5. Para deletar uma conexão, na página Gerenciar Conexões, clique em Ações da conexão aplicável e selecione Excluir.
   Observação
   
   Certifique-se de excluir as áreas funcionais, os aumentos de dados e as configurações de dados personalizadas relacionadas à conexão de dados antes de excluí-la. Não é possível atualizar ou carregar dados de conexões de dados excluídas para o warehouse.
6. Após o estabelecimento bem-sucedido das conexões, navegue até o mosaico Aumento de Dados na página Configuração de Dados, selecione a conexão em Origem de Dados e crie um aumento de dados usando os dados SFTP. Selecione as tabelas de origem de FTP seguro aplicáveis. Suaumente os seus dados.