将数据从自治事务处理复制到 Microsoft Fabric Lakehouse

此快速入门演示如何使用 OCI GoldenGate 将数据从自治事务处理复制到 Microsoft Fabric Lakehouse

开始之前

要成功完成此快速入门,您必须具有以下各项:

  • 源自治事务处理实例。
  • Microsoft Fabric Lakehouse 工作区:
    • 创建 Microsoft Entra ID 应用程序注册。记下应用程序(客户端)ID、目录(租户)ID 和客户端密钥。
    • 转到 Fabric 工作区,单击 Manage Access(管理访问),然后单击 Add People or Group(添加人员或组)。键入已注册的应用程序名称,选择贡献者角色,然后单击添加
    • 在工作区中创建数据湖仓。

环境设置:自治事务处理

如果您尚未设置用于复制的源数据库,可以按照以下步骤加载要用于此快速入门的示例方案。此快速入门对源数据库使用自治事务处理

要设置源 Autonomous Database,请执行以下操作:

  1. 下载并解压缩示例数据库方案
  2. 在 Oracle Cloud 控制台中,从“自治数据库”页中选择自治事务处理 (ATP) 实例以查看其详细信息并访问 Database Actions。
  3. 解锁 GGADMIN 用户:
    1. 单击数据库操作,然后单击数据库用户
    2. 找到 GGADMIN,然后单击其省略号菜单(三个点),然后选择编辑
    3. 在“编辑用户”面板中,输入 GGADMIN 密码,确认密码,然后取消选择帐户已锁定
    4. 单击应用更改
  4. 加载源示例方案和数据:
    1. 从“数据库操作”菜单的“开发”下,选择 SQL
    2. 将脚本从 OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql 复制并粘贴到 SQL 工作表中。
    3. 单击运行脚本。“脚本输出”选项卡显示确认消息。
    4. 清除 SQL 工作表,然后从 OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql. 复制并粘贴 SQL 脚本

      提示:

      您可能需要单独运行每个语句,SQL 工具才能成功执行脚本。
    5. 要验证表是否已成功创建,请关闭 SQL 窗口,然后重新打开。在“导航器”选项卡中,查找 SRC_OCIGGLL 方案,然后从各自的下拉列表中选择表。
  5. 启用补充事件记录:
    1. 清除 SQL 工作表。
    2. 输入以下语句,然后单击运行语句
      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

任务 2:添加 Extract

  1. 在“Deployments(部署)”页面上,选择源自治事务处理部署。
  2. 在部署详细信息页上,单击启动控制台
  3. 使用源部署的管理员用户名和密码登录。
  4. 添加事务处理信息
  5. 添加 Extract

任务 3:添加并运行 Distribution Path

  1. 如果使用 GoldenGate 身份证明存储,请在目标大数据部署中为分发路径创建用户,否则跳至步骤 3。
  2. ATP GoldenGate 部署控制台中,为在步骤 1 中创建的用户添加路径连接。
    1. 在源 ATP GoldenGate 部署控制台中,单击左侧导航中的路径连接
    2. 单击添加路径连接(加号图标),然后完成以下操作:
      1. 对于身份证明别名,输入 GGSNetwork
      2. 对于用户 ID ,输入在步骤 1 中创建的用户的名称。
      3. 输入用户密码两次以进行验证。
    3. 单击提交

      路径连接将显示在 "Path Connections"(路径连接)列表中。

  3. ATP 部署控制台中,使用以下值添加分发路径
    1. 源选项页上:
      • 对于源提取,选择在任务 2 中创建的提取。
      • 对于线索名称,输入两个字符的名称,例如 E1
    2. 目标选项页上:
      • 对于目标主机,输入目标部署的主机域。
      • 对于端口号,请输入 443
      • 对于线索名称,输入两个字符的名称,例如 E1
      • 对于别名,输入在步骤 2 中创建的身份证明别名。
  4. 目标大数据部署控制台中,查看因 Distribution Path 而创建的 Receiver Path
    1. 在目标大数据部署控制台中,单击 Receiver Service
    2. 查看路径详细信息。此路径是由于上一步中创建的 Distribution Path 而创建的。

任务 4:添加并运行 Replicat

  1. 在目标大数据部署控制台中,单击 Administrator Service ,然后单击 Add Replicat (加号图标)。
  2. 使用以下值添加副本
    1. 在“Replicat 信息”页的 Replicat 类型下,选择 Classic Replicat ,输入进程名称,然后单击下一步
    2. 在“复制选项”页上:
      • 对于名称,输入任务 2 中的线索名称。
      • 对于目标,选择 Microsoft Fabric Lakehouse
      • 对于格式,选择要摄取到 Microsoft Fabric Lakehouse 的格式。
      • 对于可用别名,从下拉列表中选择 Microsoft Fabric Lakehouse 连接。
    3. 在“Managed Options(托管选项)”页面上,保留默认值。
    4. 在“Replicat 参数”页上,保留默认值。
    5. 在“Replicat 属性”页上,更新以下属性:
      • gg.eventhandler.onelake.workspace=<target_workspace_name>
      • gg.eventhandler.onelake.lakehouse=<target_lakehouse_name>
  3. 单击创建并运行
您可以返回到“概览”页,在其中可以查看 Replicat 详细信息。

任务 5:验证复制

对源自治事务处理实例执行一些更新,以验证复制到 Microsoft Fabric Lakehouse
  1. Oracle Cloud 控制台中,打开导航菜单,选择 Oracle Database ,然后选择自治事务处理
  2. 在自治事务处理实例列表中,选择源实例以查看其详细信息。
  3. 在数据库详细信息页上,单击数据库操作

    注意:

    您应该自动登录。如果没有,请使用数据库身份证明登录。
  4. 在“数据库操作”主页上,选择 SQL
  5. 在工作表中输入以下内容,然后单击运行脚本
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
  6. 在源 ATP 部署控制台中,选择 Extract 名称,然后单击统计信息。验证 SRC_OCIGGLL.SRC_CITY 是否具有 10 个插入。
  7. 在目标大数据 OCI GoldenGate 部署控制台中,选择 Replicat 名称,然后单击统计信息。验证 SRC_OCIGGLL.SRC_CITY 是否具有 10 个插入。