Charger des données à partir d'une source SFTP dans Fusion Data Intelligence (Aperçu)

En tant qu'administrateur de service, vous pouvez utiliser le service d'extraction Fusion Data Intelligence pour acquérir des données à partir d'une source FTP sécurisée (SFTP) et les utiliser pour créer des augmentations de données.

1. Vérifiez le numéro de port de votre base de données FTP sécurisée et créez une demande de service pour ouvrir le port.
   Note
   
   Vous devez fournir l'adresse IP du serveur SFTP, qui doit être une adresse IP publique et ne peut pas être un nom d'hôte et un nom de domaine complet ou une adresse IP privée de classe A.
2. Dans Fusion Data Intelligence, créez la connexion de données SFTP en suivant les instructions suivantes :
   1. Dans la console Fusion Data Intelligence, cliquez sur Configuration des données sous Administration de l'application.
   2. Dans la page Configuration des données, cliquez sur Gérer les connexions.
   3. Dans la page Gérer les connexions, cliquez sur Créer, puis sur Connexion.
   4. Dans Créer une connexion, sélectionnez Extraction de données dans Type d'utilisation, puis sélectionnez SFTP comme type de connexion.
      
      

      

      
      
   5. In the dialog for the SFTP connection, select Standard in Connectivity Type, enter an email address to receive notifications in Notification Email, and provide applicable values in Remote Host, User Name, Private Key, Remote Host Extract Files Directory, File Type, CSV Delimiter, CSV Date Format, and CSV Timestamp Format. Dans Verrouiller les métadonnées, spécifiez si vous voulez désactiver les extractions de métadonnées après la première actualisation si les métadonnées ne sont pas modifiées. Cette option est utile si l'indicateur permettant de dériver des métadonnées à partir de fichiers de données à l'aide de l'utilitaire de métadonnées est activé dans votre source. Dans Hôte distant, assurez-vous de spécifier un serveur SFTP qui prend en charge les algorithmes d'échange de clés conformes à FIPS.
      Vérifiez les points suivants :

      • Le nom de la table et le nom du fichier dans votre source SFTP doivent être identiques.
      • La clé privée que vous fournissez est dans le format OpenSSH valide et le nombre minimal de bits dans la clé doit être 2048.
      • Le format de date des fichiers de données doit correspondre au format de date de votre source SFTP. Par exemple, si vous avez utilisé MM/dd/yyyy (23/01/1998) dans votre source, vous devez spécifier le même format dans Format de date CSV. Voir À propos du formatage de date et d'horodatage pour les extracteurs basés sur des fichiers CSV.
      • Le format d'horodatage des fichiers de données doit correspondre au format d'horodatage de votre source SFTP; par exemple, si vous avez utilisé MM/dd/yyyy hh:mm:ss (01/23/1998 12:00:20) dans votre source, vous devez spécifier le même format dans le format d'horodatage CSV.

      
      

      

      
      
   6. Vérifiez que l'option Actualiser les métadonnées est activée pour garantir que les métadonnées sont actualisées lorsque vous enregistrez la connexion.
      Vous pouvez ensuite actualiser les métadonnées à partir du menu Actions de la page Gérer les connexions, si nécessaire.

      Note
      
      Vous ne pouvez pas créer d'augmentations pour SFTP sauf si vous effectuez une extraction de métadonnées.
   7. Cliquez sur enregistrer.
3. Dans votre source SFTP :
   1. Créez la structure de dossiers dans le seau en suivant les directives suivantes :
      

      • Le dossier de base dans le seau doit correspondre aux détails fournis dans la connexion.
      • Dans le dossier de base, veillez à placer chaque fichier dans son propre dossier.
      • Assurez-vous que le préfixe Data_Store_Name (identique au nom du dossier) et les fichiers du dossier cible correspondent exactement.

      Voir la section "Pour créer un dossier ou un sous-dossier" sous Utilisation de la console.

   2. Dans le dossier de base, créez le fichier de métadonnées pour la liste du magasin de données. Ce fichier répertorie les magasins de données pris en charge. Chaque magasin de données est un dossier dans lequel le fichier réel est utilisé pour l'augmentation des données, par exemple ASSETS. Assurez-vous que le nom de fichier et le nom de dossier correspondent et qu'il n'y a pas de caractères spéciaux (y compris l'espace) dans la banque de données, le dossier ou les noms de fichier.
      
   3. Créez le fichier de métadonnées pour chaque fichier de données sous le dossier du magasin de données en suivant les directives suivantes :

      META_DATASTORES.csv doit comporter les colonnes suivantes :

      • DATA_STORE_NAME - Colonne obligatoire pour identifier le nom du magasin de données.
      • DATA_STORE_LABEL - Colonne non obligatoire qui identifie la description du magasin de données.

      Note
      
      Si vous ajoutez de nouveaux magasins de données à une connexion source existante, assurez-vous que META_DATASTORES.csv contient la liste complète des magasins de données, y compris les anciennes.

      Chaque dossier doit comporter les éléments suivants :

      • Fichier de données contenant les données réelles qui sont chargées dans Fusion Data Intelligence. Ce fichier doit avoir le préfixe DATA STORE NAME.
      • Un fichier de métadonnées pour la liste de colonnes contient toutes les informations de colonne sur les données. Ce fichier doit avoir un préfixe avec META_DATASTORES_<DATA_STORE_NAME>_COL.
        • Pour les colonnes de ces métadonnées, assurez-vous que :
        • Si le nom de colonne est ABC, les métadonnées peuvent être ABC ou "ABC" - les guillemets doubles sont ignorés.
        • Si le nom de colonne est "ABC", les métadonnées doivent être "ABC" – les premiers guillemets sont ignorés.

      Exemple

      Dans l'illustration, le nom du dossier est ACTIVITY_TYPES. Par conséquent, le nom du magasin de données est ACTIVITY_TYPES. Vous pouvez le confirmer à partir du fichier META_DATASTORES.csv. Dans cet exemple, le fichier est nommé ACTIVITY_TYPES.xlsx ou ACTIVITY_TYPES.csv. Le fichier de métadonnées doit être META_DATASTORES_ACTIVITY_TYPES_COL.csv.

      META_DATASTORES_ACTIVITY_TYPES_COL.csv contient les colonnes suivantes :

      • DATA_STORE_NAME - Il s'agit d'une colonne obligatoire.
      • COLUMN_NAME - Il s'agit d'une colonne obligatoire.
      • COLUMN_LABEL - Il s'agit d'une colonne non obligatoire.
      • DATA_TYPE – Il s'agit d'une colonne obligatoire.
      • WIDTH – Cette colonne identifie la longueur de la chaîne.
      • PRECISION - Cette valeur de colonne doit être de type Numérique.
      • SCALE - Cette valeur de colonne doit être de type Numérique.
      • KEY_SEQUENCE - Il s'agit d'une colonne obligatoire qui identifie la définition de clé primaire. Si vous utilisez la clé primaire composite, utilisez les numéros d'ordre des colonnes comme valeurs.
4. Dans la page Gérer les connexions, sélectionnez Actions pour la connexion SFTP, puis Tester la connexion.
5. Pour supprimer une connexion, dans la page Gérer les connexions, cliquez sur Actions pour la connexion applicable et sélectionnez Supprimer.
   Note
   
   Assurez-vous de supprimer les secteurs fonctionnels, les augmentations de données et les configurations de données personnalisées liées à la connexion de données avant de la supprimer. Vous ne pouvez pas mettre à jour ou charger des données à partir de connexions de données supprimées vers l'entrepôt.
6. Une fois les connexions établies, naviguez jusqu'à la vignette Augmentation de données dans la page Configuration des données, sélectionnez la connexion dans Source de données et créez une augmentation de données à l'aide des données SFTP. Sélectionnez les tables sources FTP sécurisées applicables. Voir Augmenter vos données.