将数据从 Oracle Object Storage Service 加载到 Fusion Data Intelligence

作为服务管理员,您可以使用 Fusion Data Intelligence 提取服务从 Oracle 对象存储服务获取数据并使用它来创建数据扩充。

建议的方法是在从 Oracle 对象存储服务获取数据后,从一个源表创建一个扩充。完成扩充后, Fusion Data Intelligence 将在这种情况下重命名源表,如果您从同一源创建多个扩充,则所有其他扩充可能会失败,并显示未找到源文件的消息。

  1. Fusion Data Intelligence 中创建与 Oracle 对象存储服务的连接时,将以下详细信息存储在要使用的文本文件中:
    1. 在 Oracle 对象存储服务中,创建 "Remote Host Extract Files"(远程主机提取文件)目录作为必须放置所有数据文件的基文件夹。请记下此目录的名称。请参阅使用控制台中的“创建文件夹或子文件夹”部分。
    2. 通过登录 Oracle Cloud Infrastructure 控制台并导航到存储桶来获取 Oracle 对象存储服务的 URL,以获取区域、名称空间和存储桶名称的详细信息。例如,URL 必须采用 https://objectstorage.<region>.oraclecloud.com/n/<namespace>/b/<name of the bucket> 格式。请参阅使用控制台中的“查看存储桶详细信息”部分。
    3. 通过在 Oracle Cloud Infrastructure 控制台中导航到身份和安全,然后导航到用户来获取用户的 OCID。在“用户”页上,搜索有权访问连接器中使用的存储桶的用户并复制 OCID 。通过在 Oracle Cloud Infrastructure 控制台中依次单击概要信息图标和租户来获取租户 ID。在租户信息下,复制 OCID 。请参见 Where to Get the Tenancy's OCID and User's OCID
    4. Oracle Cloud Infrastructure 控制台获取用户的指纹。在用户页上的资源下导航到 API 密钥,然后单击添加 API 密钥。在 "Add API Keys"(添加 API 密钥)对话框中,确保选中 Generate API Key Pair 。使用 Download Private KeyDownload Public Key 选项下载私钥和公钥。必须复制私钥的整个文本以及实际密钥前后的注释。这些注释可以简单如:“--------------- 开始 RSA 私有密钥 --------”和“----------- 结束 RSA 私有密钥 ----------”。不要只复制没有页眉和页脚注释的字母数字键。在 "Add API Keys"(添加 API 密钥)对话框中,选择 Choose Public Key File(选择公钥文件)上载文件,或者选择 Paste Public Key(粘贴公钥)(如果您希望将其粘贴到文本框中),然后单击 Add(添加)。复制在控制台中上载公共密钥后看到的指纹。类似于以下内容:12:34:56:78:90:ab:cd:ef:12:34:56:78:90:ab:cd:ef
  2. Fusion Data Intelligence 中,使用以下说明创建 Oracle 对象存储连接:
    1. Fusion Data Intelligence 控制台中,单击应用程序管理下的数据配置
    2. 在“数据配置”页上,单击管理连接
    3. 在“管理连接”页面上,单击创建,然后单击连接
    4. 在“创建连接”中,选择用法类型中的数据提取,然后选择 Oracle Object Storage Service 作为连接类型。
      Oracle 对象存储服务连接选项
    5. 在 Oracle 对象存储服务连接的对话框中,输入以下详细信息:
      • File Type(文件类型):csv
      • 远程主机提取文件目录:必须将所有数据文件放在 Oracle Object Storage Service 中的基本文件夹的名称
      • URL :您在文本文件中记下的 Oracle 对象存储服务的 URL
      • 用户 ID :有权访问 Oracle Object Storage Service 中适用存储桶的用户的 OCID
      • 指纹:在控制台中上载公钥后看到和复制的指纹。它类似于以下内容:12:34:56:78:90:ab:cd:ef:12:34:56:78:90:ab:cd:ef
      • 租户 ID :您在文本文件中记下的 Oracle Infrastructure Cloud 控制台中的租户
      • 私钥:粘贴以前下载的私钥内容
      • CSV 分隔符:数据文件的分隔符
      • 数据文件的日期格式必须与 Oracle 对象存储服务源中的日期格式匹配;例如,如果您已在源中使用了 MM/dd/yyyy (01/23/1998),则必须在 CSV 日期格式中指定相同的格式。请参阅关于基于 CSV 文件的提取器的日期和时间戳格式设置
      • 数据文件的时间戳格式必须与 Oracle 对象存储服务源中的时间戳格式匹配;例如,如果已在源中使用了 MM/dd/yyyy hh:mm:ss (01/23/1998 12:00:20),则必须以 CSV 时间戳格式指定相同的格式

      “为 Oracle 对象存储服务创建连接”对话框

    6. 验证是否启用了刷新元数据切换,以确保在保存连接时刷新元数据。
      如果需要,您可以稍后从“Manage Connections(管理连接)”页面上的“Actions(操作)”菜单刷新元数据。

      注意:

      除非执行元数据提取,否则无法为 Oracle 对象存储服务创建扩充。
    7. 单击保存
  3. 在 Oracle 对象存储服务中:
    1. 使用以下准则在存储桶中创建文件夹结构:
      基本文件夹
      • 存储桶中的基本文件夹必须与连接中提供的详细信息匹配。
      • 在基本文件夹内,确保将每个文件放置在其自己的文件夹中。
      • 确保 Data_Store_Name 的前缀(与文件夹名称相同)和目标文件夹中的文件完全匹配。

      请参见 Using the Console 中的 "To create a folder or subfolder" 部分。

    2. 在基本文件夹内,为数据存储列表创建元数据文件。此文件列出了支持的数据存储。每个数据存储都是一个文件夹,其中包含数据扩充中使用的实际文件,例如资产。确保文件名和文件夹名称匹配,并且数据存储、文件夹或文件名中没有任何特殊字符(包括空格)。
      基本文件夹结构
    3. 使用以下准则为数据存储文件夹下的每个数据文件创建元数据文件:

      META_DATASTORES.csv 必须具有以下列:

      • DATA_STORE_NAME - 用于标识数据存储名称的必需列。
      • DATA_STORE_LABEL - 标识数据存储说明的非必需列。

      注意:

      如果向现有源连接添加新数据存储,请确保 META_DATASTORES.csv 包含数据存储的完整列表,包括旧的现有数据存储。

      每个文件夹必须具有:

      • 包含装入到 Fusion Data Intelligence 中的实际数据的数据文件。此文件必须具有带有“数据商店名称”的前缀。
      • 列列表的元数据文件包含有关数据的所有列信息。此文件的前缀必须为 META_DATASTORES_<DATA_STORE_NAME>_COL。
        • 对于此元数据中的列,请确保:
        • 如果列名是 ABC,则元数据可以是 ABC 或 "ABC",双引号将被忽略。
        • 如果列名是“ABC”,则元数据必须是“ABC”- 前两个双引号将被忽略。

      示例

      在图像中,文件夹名称为 ACTIVITY_TYPES。因此,数据存储名称为 ACTIVITY_TYPES。可以从 META_DATASTORES.csv 文件中确认这一点。在此示例中,文件名为 ACTIVITY_TYPES.xlsx 或 ACTIVITY_TYPES.csv。元数据文件必须为 META_DATASTORES_ACTIVITY_TYPES_COL.csv。文件夹和元数据文件样例

      META_DATASTORES_ACTIVITY_TYPES_COL.csv 包含以下列:
      • DATA_STORE_NAME - 这是必需列。
      • COLUMN_NAME - 这是必需列。
      • COLUMN_LABEL - 这是非必需列。
      • DATA_TYPE –这是必需列。
      • WIDTH- 此列标识字符串长度。
      • PRECISION - 此列值必须是数字数据类型。
      • SCALE - 此列值必须是数字数据类型。
      • KEY_SEQUENCE - 这是标识主键定义的必需列。如果使用组合主键,则使用列顺序号作为值。
  4. Fusion Data Intelligence 的“Manage Connections(管理连接)”页面上,为 Oracle 对象存储服务连接选择操作,然后选择 Test Connection(测试连接)
  5. 要删除连接,请在“管理连接”页上,针对适用的连接单击操作,然后选择删除

    注意:

    在删除之前,请确保删除与数据连接相关的功能区、数据扩充和数据应用程序。无法将数据从已删除的数据连接更新或加载到仓库。
  6. 成功建立连接后,导航到“数据配置”页,在数据源中选择连接,然后单击“数据扩充”磁贴,然后使用 Oracle 对象存储服务中的数据创建数据扩充。从 Oracle 对象存储服务数据中选择适用的源表。请参阅扩充您的数据