Charger les données d'une source SFTP dans Fusion Data Intelligence (aperçu)

En tant qu'administrateur de service, vous pouvez utiliser le service d'extraction Fusion Data Intelligence pour acquérir des données à partir d'une source FTP sécurisée et les utiliser pour créer des augmentations de données.

1. Vérifiez le numéro de port de votre base de données FTP sécurisée et créez une demande de service pour ouvrir le port.
   Remarque
   
   Vous devez fournir l'adresse IP du serveur SFTP, qui doit être une adresse IP publique et ne peut pas être un nom d'hôte et un nom de domaine qualifié complet ou une adresse IP privée de classe A.
2. Dans Fusion Data Intelligence, créez la connexion de données SFTP en suivant les instructions suivantes :
   1. Dans la console Fusion Data Intelligence, cliquez sur Configuration des données sous Administration des applications.
   2. Sur la page Configuration des données, cliquez sur Gérer les connexions.
   3. Sur la page Gérer les connexions, cliquez sur Créer, puis sur Connexion.
   4. Dans Créer une connexion, sélectionnez Extraction de données dans Type d'utilisation, puis sélectionnez SFTP comme type de connexion.
      
      

      

      
      
   5. In the dialog for the SFTP connection, select Standard in Connectivity Type, enter an email address to receive notifications in Notification Email, and provide applicable values in Remote Host, User Name, Private Key, Remote Host Extract Files Directory, File Type, CSV Delimiter, CSV Date Format, and CSV Timestamp Format. Dans Verrouiller les métadonnées, indiquez si vous souhaitez désactiver les extractions de métadonnées après la première actualisation si les métadonnées ne vont pas changer. Cette option est utile si l'indicateur permettant de dériver des métadonnées à partir de fichiers de données à l'aide de l'utilitaire de métadonnées est activé dans la source. Dans Hôte distant, assurez-vous de spécifier un serveur SFTP prenant en charge les algorithmes d'échange de clés conformes à la norme FIPS.
      Vérifiez les points suivants :

      • Le nom de la table et le nom du fichier dans la source SFTP doivent être identiques.
      • La clé privée que vous fournissez est au format OpenSSH valide et le nombre minimum de bits dans la clé doit être 2048.
      • Le format de date des fichiers de données doit correspondre au format de date de la source SFTP. Par exemple, si vous avez utilisé MM/dd/yyyy (23/01/1998) dans votre source, vous devez indiquer le même format dans Format de date CSV. Reportez-vous à A propos du formatage de date et d'horodatage pour les extracteurs basés sur des fichiers CSV.
      • Le format d'horodatage des fichiers de données doit correspondre au format d'horodatage de la source SFTP. Par exemple, si vous avez utilisé MM/dd/yyyy hh:mm:ss (23/01/1998 12:00:20) dans votre source, vous devez indiquer le même format dans Format d'horodatage CSV.

      
      

      

      
      
   6. Vérifiez que la bascule Actualiser les métadonnées est activée pour vous assurer que les métadonnées sont actualisées lors de l'enregistrement de la connexion.
      Vous pouvez actualiser ultérieurement les métadonnées à partir du menu Actions de la page Gérer les connexions, si nécessaire.

      Remarque
      
      Vous ne pouvez pas créer d'augmentations pour SFTP sauf si vous effectuez une extraction de métadonnées.
   7. Cliquez sur Enregistrer.
3. Dans votre source SFTP :
   1. Créez la structure de dossiers dans le bucket en respectant les consignes suivantes :
      

      • Le dossier de base du bucket doit correspondre aux détails fournis dans la connexion.
      • Dans le dossier de base, veillez à placer chaque fichier dans son propre dossier.
      • Assurez-vous que le préfixe Data_Store_Name (identique au nom de dossier) et les fichiers du dossier cible correspondent exactement.

      Reportez-vous à la section "Procédure de création d'un dossier ou d'un sous-dossier" dans Utilisation de la console.

   2. Dans le dossier de base, créez le fichier de métadonnées pour la liste de banques de données. Ce fichier répertorie les banques de données prises en charge. Chaque banque de données est un dossier contenant le fichier réel utilisé dans l'augmentation des données, par exemple, ASSETS. Assurez-vous que le nom du fichier et le nom du dossier correspondent et qu'il n'y a aucun caractère spécial (espace compris) dans la banque de données, le dossier ou les noms de fichier.
      
   3. Créez le fichier de métadonnées pour chaque fichier de données sous le dossier de banque de données en suivant les instructions suivantes :

      META_DATASTORES.csv doit comporter les colonnes suivantes :

      • DATA_STORE_NAME : colonne obligatoire identifiant le nom de la banque de données.
      • DATA_STORE_LABEL : colonne non obligatoire identifiant la description de la banque de données.

      Remarque
      
      Si vous ajoutez de nouvelles banques de données à une connexion source existante, assurez-vous que META_DATASTORES.csv contient la liste complète des banques de données, y compris les anciennes banques existantes.

      Chaque dossier doit comporter :

      • Fichier de données contenant les données réelles qui sont chargées dans Fusion Data Intelligence. Ce fichier doit avoir un préfixe avec le nom de stockage de données.
      • Un fichier de métadonnées pour la liste de colonnes contient toutes les informations de colonne sur les données. Ce fichier doit avoir un préfixe avec META_DATASTORES_<DATA_STORE_NAME>_COL.
        • Pour les colonnes de ces métadonnées, vérifiez les points suivants :
        • Si le nom de colonne est ABC, les métadonnées peuvent être ABC ou ABC. Les guillemets sont ignorés.
        • Si le nom de colonne est "ABC", les métadonnées doivent être "ABC". Les premiers guillemets sont ignorés.

      Exemple

      Dans l'image, le nom du dossier est ACTIVITY_TYPES. Par conséquent, le nom du magasin de données est ACTIVITY_TYPES. Vous pouvez le confirmer à partir du fichier META_DATASTORES.csv. Dans cet exemple, le fichier est nommé ACTIVITY_TYPES.xlsx ou ACTIVITY_TYPES.csv. Le fichier de métadonnées doit être META_DATASTORES_ACTIVITY_TYPES_COL.csv.

      META_DATASTORES_ACTIVITY_TYPES_COL.csv contient les colonnes suivantes :

      • DATA_STORE_NAME : colonne obligatoire.
      • COLUMN_NAME : colonne obligatoire.
      • COLUMN_LABEL : colonne non obligatoire.
      • DATA_TYPE : colonne obligatoire.
      • WIDTH : cette colonne identifie la longueur de la chaîne.
      • PRÉCISION - Cette valeur de colonne doit être de type Données numériques.
      • SCALE - Cette valeur de colonne doit être de type Données numériques.
      • KEY_SEQUENCE : colonne obligatoire identifiant la définition de clé primaire. Si vous utilisez la clé primaire composite, utilisez les numéros d'ordre des colonnes comme valeurs.
4. Sur la page Gérer les connexions, sélectionnez Actions pour la connexion SFTP, puis Tester la connexion.
5. Pour supprimer une connexion, sur la page Gérer les connexions, cliquez sur Actions pour la connexion applicable et sélectionnez Supprimer.
   Remarque
   
   Veillez à supprimer les domaines fonctionnels, les augmentations de données et les configurations de données personnalisées associés à la connexion de données avant de la supprimer. Vous ne pouvez pas mettre à jour ou charger les données des connexions de données supprimées vers l'entrepôt.
6. Une fois les connexions établies, accédez à la mosaïque Augmentation de données sur la page Configuration des données, sélectionnez la connexion dans Source de données et créez une augmentation de données à l'aide des données SFTP. Sélectionnez les tables source FTP sécurisées applicables. Reportez-vous à Augmentation des données.