创建和运行数据加载

数据加载允许您将多个数据实体从一个源连接加载到目标连接。

  • 创建数据加载
    使用“创建数据加载”向导可以定义数据加载的源连接和目标连接。
  • 运行数据加载
    创建数据加载后，将转至“数据加载详细信息”页面，该页面显示运行数据加载所需的详细信息。

父主题：“数据转换”页

创建数据加载

使用“创建数据加载”向导定义数据加载的源连接和目标连接。

注意：

Oracle 对象存储连接不支持数据加载。

该向导还允许您根据部署类型选择加载处理选项。新创建的数据加载将显示在关联项目的“数据加载”页中。单击所选数据加载旁边的“操作”图标 (“操作”图标) 以编辑、重命名、启动、导出或删除该图标。

要从主页创建数据加载，请执行以下操作：

  1. 可执行以下操作之一：
    • 在主页中，单击加载数据。此时将显示“Create Data Load（创建数据加载）”向导。

      在“Create Data Load（创建数据加载）”选项卡中，如果要替换默认值，请输入名称，添加说明，然后从下拉列表中选择项目。

    • 在主页上，依次单击项目和所需项目磁贴。在左侧窗格中，单击数据加载，然后单击创建数据加载。

    此时将显示“Create Data Load（创建数据加载）”向导。

  2. 在 "Name"（名称）字段中，输入数据加载的名称。该字段预先填充了默认名称。您可以编辑此值。
  3. 添加说明。此项是可选的。
  4. 如果已从主页中打开“Create Data Load（创建数据加载）”向导，则需要从下拉列表中选择项目名称。如果这是您第一次在此处执行此操作，请单击 + 图标以创建项目。如果您以 SUPERVISOR 身份登录，则默认项目名称为 Home。对于其他用户，默认项目名称的格式为 <username>_Home。可以编辑默认值。有关项目的详情，请参阅项目处理。
  5. 对于加载处理，请执行以下操作之一：
    • 选择内部单选按钮，然后从部署类型下拉列表中选择数据转换（批）。
    • 选择委派单选按钮，然后从部署类型下拉列表中选择 OCI GoldenGate。从 GoldenGate 部署连接下拉列表中选择一个连接。
  6. 单击下一步。
  7. 要定义源连接，请从连接下拉列表中选择要从中添加数据实体的必需连接。或者，单击 + 图标以创建新连接。有关连接的详细信息，请参见 Work with Connections 。
  8. 在 Schema（方案）下拉列表中，与所选连接对应的所有方案分两组列出：
    • 现有方案（已导入到 Oracle Data Transforms 中的区域）和
    • 新数据库方案（您尚未导入的区域）。
    从下拉列表中选择要使用的方案。

    注意：

    如果缺少诸如未指定用户名或密码、缺少 wallet 等信息，则列表可能无法填充“此连接缺少信息。”错误。单击“编辑”图标 (“编辑”图标) 以打开“更新连接”页，您可以在其中填写缺少的详细信息。
  9. 单击下一步。
  10. 同样，定义目标连接。如果您计划使用 Apache Iceberg 连接作为加载数据的目标，请参见 Creating and Running an Apache Iceberg Data Load 以了解具体说明。
  11. 单击保存。

    此时将显示“数据加载详细信息”页面，其中列出了所有加载的数据实体。

父主题：创建和运行数据加载

运行数据加载

创建数据加载后，将转至“数据加载详细信息”页面，该页面显示运行数据加载所需的详细信息。

它包括源方案的详细信息、从源方案加载的数据实体以及目标方案的详细信息。您可以选择要应用于每个数据实体的操作 - 重新创建、截断、附加 - 并成批加载到目标方案。运行数据加载时，多个作业在后台运行以完成请求。

可以通过以下任一方式运行数据加载：

注意：

Oracle 对象存储连接不支持数据加载。

从“数据加载详细信息”页面运行数据加载

“数据加载详细信息”页面显示运行数据加载所需的信息。在将数据实体加载到目标方案之前，可以对数据实体应用不同的操作 - 增量合并、增量附加、重新创建、截断和附加。

注意：

适用于：适用 数据转换，可在名为 Data Integrator：Web Edition 的市场中作为单独列表提供。

如果数据加载量很大，您可能希望增加 ODI 代理的内存以避免出现任何问题。在开始运行数据加载之前，请按照 Increase the Memory of ODI Agent 中的说明操作。

要从“数据加载详细信息”页面运行数据加载：

  1. 在“数据加载详细信息”页面中，选择要移至目标方案的数据实体。
    要筛选列表，您可以执行以下操作之一：
    • 在名称文本框中输入名称或名称的一部分。此搜索返回在名称中包含指定字符串的数据实体。例如，搜索字符串 AD 返回结果，例如 ADMIN、ADDRESS、BADGE、UPGRADE、WORKLOAD 等。
    • 启用使用正则表达式切换以使用模式匹配来搜索特定字符串的字符。例如，搜索字符串 CO.* 返回结果，例如 CONTACT、COUNT、COUNTRY 等。
    可以选择多个数据实体并将其加载到目标方案。您还可以使用以下选项对显示的列表进行排序：
    • 全部 - 显示与搜索标准匹配的所有数据实体。
    • Selected（已选）- 显示所选的所有行。
    • Unselected - 显示所有未选择的行。
    • 无效 - 显示所有无效行。

    注意：

    这些选项根据搜索标准显示数据实体的列表。要查看所有数据实体的列表，请清除任何应用的筛选器。
  2. 单击所需的图标以选择以下任何操作：
    • 增量合并 - 通过基于指定的合并关键字将源表与目标表进行比较，更新所选列中的数据。要使用此选项，请选择要合并的列，然后选择合并关键字。要使用此选项，请选择要合并的列，然后选择合并关键字。单击“验证”图标 (“验证”图标) 以验证所选值。

      注意：

      • 增量列的最后更新值存储在数据加载中。如果使用同一表创建新的数据加载，则此选项在首次运行时会执行“Append（附加）”、“Truncate（截断）”和“Recreate（重新创建）”。
      • 如果目标表未被截断，请不要使用“附加”、“截断”或“重新创建”模式启动数据加载，然后将操作切换为“增量合并”。这将导致更新目标表中的每个现有行。Oracle 建议您使用“增量合并”操作启动数据加载。
    • 增量附加 - 更新目标方案中所选列中的数据。要使用此选项，请选择要更新的列，然后单击“验证”图标 (“验证”图标) 以验证选择。

      首次运行“数据加载”时，此选项的工作方式与“附加”、“截断”和“重新创建”选项相同，这意味着所有行都将插入到目标中。在所有后续数据加载运行时，增量列仅用于筛选新行以附加数据，以避免多次加载相同的行。

      注意：

      • 增量列的最后更新值存储在数据加载中。如果使用同一表创建新的数据加载，则此选项在首次运行时会执行“Append（附加）”、“Truncate（截断）”和“Recreate（重新创建）”。
      • 如果目标表未被截断，请不要使用“附加”、“截断”或“重新创建”模式启动数据加载，然后将操作切换到“增量附加”。Oracle 建议您使用“增量附加”操作启动“数据加载”。
    • Recreate- 如果目标方案中已存在该表，则删除现有表并重新创建该表。

      注意：

      此选项不可用于使用 OCI GoldenGate 加载的数据实体。
    • Truncate（截断）- 如果该表已存在于目标方案中，则从所选表中删除所有数据。没有任何东西被丢弃。

      注意：

      对于 Delta 共享数据加载，“数据加载详细信息”页面仅包含 执行图标 选项。在将数据实体加载到目标方案之前，不能对数据实体应用不同的操作 - 增量合并、增量附加、重新创建、截断和附加。这是为了确保数据在 Delta 共享服务器和目标方案之间保持一致。
    • 附加 - 将数据集中的所有行插入到目标中。如果数据集包含目标中已经存在的记录，则将存在重复的记录。如果源数据集应仅具有新记录，或者目标中不涉及重复行，则使用“附加”。
    • Do Not Load（不加载）- 跳过数据加载作业中的所选数据实体。单击保存后，这些数据实体将不再可用于将来的数据加载作业。

    您可以选择多个数据实体并应用不同的操作。未保存的行将以粗体突出显示。

    注意：

    这些选项不可用于 Delta 共享连接。
  3. 要指定要如何将源列名称存储在目标表中，请单击“数据加载详细信息”页面右侧的设置。可以选择以下类型之一：
    • 通过用分隔符将所有名称括起来来保留原始名称 - 创建与目标表中的源表同名的列名。
    • 不使用分隔符 - 这是默认选择。将所有列名转换为大写，并用下划线替换空格和特殊字符。

      以下选项适用于保留字，例如 Date、Timestamp、Start 等。

      • 包含分隔符 - 这是默认选择。将作为保留字的列名与分隔符（并非所有列名）括起来。
      • Use a prefix（使用前缀） - 将指定的前缀添加到作为保留字的列名（而非所有列名）。

      对于在转换后具有相同名称的列名，名称后缀为数字值以保持唯一性。例如，列名

      Date, date, DATE, Item_@Code, Item$$Code, Item%%Code

      在目标表中创建为

      DATE, DATE_0, DATE_1, ITEM__CODE, ITEM__CODE_0, ITEM__CODE_1.

    注意：

    运行数据加载后，将为所有后续运行应用并保留选定的选项。您无法更改配置。
  4. 单击 “保存”图标 以保存更改。该行中的绿色复选标记 (绿色对勾图标) 表示已保存更改。
  5. 要开始数据加载，
    • 单击 执行图标。
    • 对于 GoldenGate 数据加载，单击 “部署”图标。

    当数据加载成功启动时，将显示确认提示。

要检查数据加载的状态，请参见“目标模式”详细信息下方右侧的“状态”面板。有关“状态”面板的详细信息，请参阅监视数据加载、数据流和工作流的状态。此面板显示用于运行此数据加载的作业的链接。单击此链接可监视“职务详细信息”页面上的进度。有关作业的更多信息，请参见 Create and Manage Jobs 。

从“工作流详细信息”页运行数据加载

您可以将多个数据加载与数据流或工作流一起添加到工作流，并将其作为单独的步骤运行。“工作流详细信息”页面的左侧面板列出了可供使用的数据流、工作流和数据加载。

对于数据加载，左侧面板列出了以下两个文件夹：
  • 数据加载 - 此文件夹列出您在本地 Data Transforms 实例中创建的所有数据加载。在工作流中选择一个是本地数据加载的步骤时，设计画布右侧提供的“属性”面板会将“类型”显示为 Data Load，将“链接对象”显示为主页 ><nameofDataLoad>。
  • 远程数据加载 - 此文件夹列出您在远程数据转换实例中创建的所有数据加载。请参阅创建用于远程数据加载的数据转换连接。在工作流中选择远程数据加载的步骤时，设计画布右侧提供的属性面板会将类型显示为 Remote Data Load，将链接对象显示为 Name of the Data Transforms connection > <nameofDataLoad>。

将数据加载添加到工作流后，单击 执行图标 执行这些加载。

父主题：创建和运行数据加载