将数据从 SFTP 源加载到 Fusion Data Intelligence （预览）

作为服务管理员，您可以使用 Fusion Data Intelligence 提取服务从安全 FTP 源 (Secure FTP Source，SFTP) 获取数据并使用它来创建数据扩充。

在创建此连接之前，请确保在“启用功能”页上启用了 SFTP 。请参阅使预览功能可用。

  1. 检查安全 FTP 数据库的端口号并创建服务请求以打开该端口。

    注意：

    您必须提供 SFTP 服务器的 IP 地址，该地址应为公共 IP，不能是主机名和全限定域名 (FQDN) 或 A 类专用 IP。
  2. 在 Fusion Data Intelligence 中，使用以下说明创建 SFTP 数据连接：
    1. 在 Fusion Data Intelligence 控制台中，单击应用程序管理下的数据配置。
    2. 在“数据配置”页上，单击管理连接。
    3. 在“管理连接”页面上，单击创建，然后单击连接。
    4. 在“创建连接”中，选择“用法类型”中的“数据提取”，然后选择 SFTP 作为连接类型。

      SFTP 连接选项

    5. 在 SFTP 连接的对话框中，提供 Remote Host（远程主机）、 User Name（用户名）、 Private Key（私钥）、 Remote Host Extract Files Directory（远程主机提取文件目录）、 File Type（文件类型）、 CSV Delimiter（CSV 分隔符）、 CSV Date Format（CSV 日期格式）和 CSV Timestamp Format（CSV 时间戳格式）中的适用值。确保 Remote Host Extract Files Directory 中的值以前导 "/" 开头，以避免出现问题。在锁定元数据中，指定如果元数据不会更改，是否要在首次刷新后关闭元数据提取。如果在源中启用了使用元数据实用程序从数据文件派生元数据的标志，则此选项很有用。在远程主机中，确保指定支持符合 FIPS 的密钥交换算法的 SFTP 服务器。
      确保以下各项：
      • SFTP 源中的表名和文件名需要相同。
      • 您提供的私钥采用有效的 OpenSSH 格式，密钥中的最小位数应为 2048。
      • 数据文件的日期格式必须与 SFTP 源中的日期格式匹配；例如，如果已在源中使用了 MM/dd/yyyy (01/23/1998)，则必须以 CSV 日期格式指定相同的格式。请参阅关于基于 CSV 文件的提取器的日期和时间戳格式设置。
      • 数据文件的时间戳格式必须与 SFTP 源中的时间戳格式匹配；例如，如果已在源中使用了 MM/dd/yyyy hh:mm:ss (01/23/1998 12:00:20)，则必须以 CSV 时间戳格式指定相同的格式。

      "Create Connection for SFTP" 对话框

    6. 验证是否启用了刷新元数据切换，以确保在保存连接时刷新元数据。
      如果需要，您可以稍后从“Manage Connections（管理连接）”页面上的“Actions（操作）”菜单刷新元数据。

      注意：

      除非执行元数据提取，否则无法为 SFTP 创建扩充。
    7. 单击保存。
  3. 在 SFTP 源中：
    1. 使用以下准则在存储桶中创建文件夹结构：
      基本文件夹
      • 存储桶中的基本文件夹必须与连接中提供的详细信息匹配。
      • 在基本文件夹内，确保将每个文件放置在其自己的文件夹中。
      • 确保 Data_Store_Name 的前缀（与文件夹名称相同）和目标文件夹中的文件完全匹配。

      请参见 Using the Console 中的 "To create a folder or subfolder" 部分。

    2. 在基本文件夹内，为数据存储列表创建元数据文件。此文件列出了支持的数据存储。每个数据存储都是一个文件夹，其中包含数据扩充中使用的实际文件，例如资产。确保文件名和文件夹名称匹配，并且数据存储、文件夹或文件名中没有任何特殊字符（包括空格）。
      基本文件夹结构
    3. 使用以下准则为数据存储文件夹下的每个数据文件创建元数据文件：

      META_DATASTORES.csv 必须具有以下列：

      • DATA_STORE_NAME - 用于标识数据存储名称的必需列。
      • DATA_STORE_LABEL - 标识数据存储说明的非必需列。

      注意：

      如果向现有源连接添加新数据存储，请确保 META_DATASTORES.csv 包含数据存储的完整列表，包括旧的现有数据存储。

      每个文件夹必须具有：

      • 包含装入到 Fusion Data Intelligence 中的实际数据的数据文件。此文件必须具有带有“数据商店名称”的前缀。
      • 列列表的元数据文件包含有关数据的所有列信息。此文件的前缀必须为 META_DATASTORES_<DATA_STORE_NAME>_COL。
        • 对于此元数据中的列，请确保：
        • 如果列名是 ABC，则元数据可以是 ABC 或 "ABC"，双引号将被忽略。
        • 如果列名是“ABC”，则元数据必须是“ABC”- 前两个双引号将被忽略。

      示例

      在图像中，文件夹名称为 ACTIVITY_TYPES。因此，数据存储名称为 ACTIVITY_TYPES。可以从 META_DATASTORES.csv 文件中确认这一点。在此示例中，文件名为 ACTIVITY_TYPES.xlsx 或 ACTIVITY_TYPES.csv。元数据文件必须为 META_DATASTORES_ACTIVITY_TYPES_COL.csv。文件夹和元数据文件样例

      META_DATASTORES_ACTIVITY_TYPES_COL.csv 包含以下列：
      • DATA_STORE_NAME - 这是必需列。
      • COLUMN_NAME - 这是必需列。
      • COLUMN_LABEL - 这是非必需列。
      • DATA_TYPE –这是必需列。
      • WIDTH- 此列标识字符串长度。
      • PRECISION - 此列值必须是数字数据类型。
      • SCALE - 此列值必须是数字数据类型。
      • KEY_SEQUENCE - 这是标识主键定义的必需列。如果使用组合主键，则使用列顺序号作为值。
  4. 在“管理连接”页上，为 SFTP 连接选择操作，然后选择测试连接。
  5. 要删除连接，请在“管理连接”页上，针对适用的连接单击操作，然后选择删除。

    注意：

    在删除之前，请确保删除与数据连接相关的功能区、数据扩充和数据应用程序。无法将数据从已删除的数据连接更新或加载到仓库。
  6. 成功建立连接后，导航到“数据配置”页上的“数据扩充”磁贴，在数据源中选择连接，然后使用 SFTP 数据创建数据扩充。选择适用的安全 FTP 源表。请参阅扩充您的数据。