将数据从 Autonomous AI Transaction Processing 复制到 Azure Data Lake Storage 第 2 代

此快速入门演示如何使用 OCI GoldenGate 将数据从 Autonomous AI Transaction Processing 复制到 Azure Data Lake Storage Gen 2。

开始之前

要成功完成此快速入门,您必须具有以下各项:

环境设置:自治 AI 事务处理

如果您尚未为复制设置源数据库,则可以按照以下步骤加载要用于此快速入门的示例方案。此快速入门将自治 AI 事务处理用于源数据库。

要设置源 Autonomous AI Transaction Processing,请执行以下操作:

  1. 下载并解压缩示例数据库方案

  2. 在 Oracle Cloud 控制台中,从“Autonomous AI Database(自治 AI 数据库)”页面中选择您的自治 AI 事务处理 (ATP) 实例,以查看其详细信息并访问 Database Actions。

  3. 解锁 GGADMIN 用户:

    1. 选择数据库操作,然后选择数据库用户

    2. 找到 GGADMIN,然后选择其省略号菜单(三个点),然后选择编辑

    3. 在 "Edit User"(编辑用户)面板中,输入 GGADMIN 密码,确认密码,然后取消选择 Account is Locked

    4. 选择 Apply Changes(应用更改)

  4. 加载源示例方案和数据:

    1. 从“数据库操作”菜单的“开发”下,选择 SQL

    2. 将脚本从 OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql 复制并粘贴到 SQL 工作表中。

    3. 选择运行脚本。“Script Output(脚本输出)”选项卡显示确认消息。

    4. 清除 SQL 工作表,然后从 OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql. 复制并粘贴 SQL 脚本

      提示:您可能需要单独运行每个语句,SQL 工具才能成功执行脚本。

    5. 要验证表是否已成功创建,请关闭 SQL 窗口,然后重新打开它。在“Navigator(导航器)”选项卡中,查找 SRC_OCIGGLL 方案,然后从其各自的下拉列表中选择表。

  5. 启用补充事件记录:

    1. 清除 SQL 工作表。

    2. 输入以下语句,然后选择运行语句

      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

任务 1:创建 OCI GoldenGate 资源

此快速入门示例需要源和目标的部署和连接。

  1. 为源自治 AI 事务处理实例创建 Oracle 部署

  2. 为目标 Azure 数据湖存储创建大数据部署

  3. 为源自治 AI 事务处理实例创建连接

  4. 为 Azure 数据湖存储创建连接

  5. 创建与 GoldenGate 的连接,然后将此连接分配给源 Oracle 部署

  6. 将自治 AI 事务处理连接分配给源 Oracle 部署

  7. 将 Azure 数据湖存储连接分配给目标大数据部署

任务 2:添加提取

  1. 在“Deployments(部署)”页面上,选择源 Autonomous AI Transaction Processing 部署。

  2. 在部署详细信息页上,选择启动控制台

  3. 使用源部署的管理员用户名和密码登录。

  4. 添加提取

任务 3:添加并运行分发路径

  1. 如果使用 GoldenGate 身份证明存储,请在目标大数据部署中为分发路径创建用户,否则跳至步骤 3。

  2. source GoldenGate 部署控制台中,为在步骤 1 中创建的用户添加路径连接。

    1. 在源 GoldenGate 部署控制台中,在左侧导航中选择 Path Connections(路径连接)

    2. 选择添加路径连接(加号图标),然后完成以下操作:

      1. 对于身份证明别名,输入 GGSNetwork

      2. 对于用户 ID ,输入在步骤 1 中创建的用户的名称。

      3. 输入用户的密码两次以进行验证。

    3. 选择提交

      路径连接将显示在“路径连接”列表中。

  3. source 部署控制台中, add a Distribution Path with the following values:

    1. 源选项页上:

      • 对于源提取,选择在任务 2 中创建的提取。

      • 对于线索名称,输入两个字符的名称,例如 E1

    2. 目标选项页上:

      • 对于目标主机,输入目标部署的主机域。

      • 端口号中,输入 443

      • 对于线索名称,输入两个字符的名称,例如 E1

      • 对于别名,输入在步骤 2 中创建的身份证明别名。

  4. target 大数据部署控制台中,查看作为分发路径结果创建的接收器路径。

    1. 在目标大数据部署控制台中,选择接收方服务

    2. 查看路径详细信息。此路径是在上一步中创建的分发路径的结果创建的。

任务 4:添加并运行复制

  1. 目标“大数据”部署控制台导航菜单中,选择复制

  2. Add a Replicat ,包含以下值:

    1. 在“复制信息”页的“复制”类型下,选择经典复制,输入进程名称,然后选择下一步

    2. 在“复制选项”页上:

      • 对于名称,输入任务 2 中的线索名称。

      • 对于,选择一个域。

      • 对于别名,选择在任务 1 中创建的 Azure 数据湖存储连接。

      • 对于检查点表,选择为目标部署创建的检查点表。

    3. 在“复制参数”页上,将 MAP *.*, TARGET *.*; 替换为:

      MAP SRC_OCIGGLL.*, TARGET *.*;
    4. 在“属性”页上,配置 Azure 数据湖存储属性。

      • (必需)gg.eventhandler.abs.bucketMappingTemplate:Azure 数据湖存储容器的名称。如果容器是预配置的,则可以提供静态容器名称。如果提供了 Azure 验证方法权限,则 Template Keywords 可用于 OCI GoldenGate 自动创建容器。

      • (可选)gg.handler.abs.format:选择如何格式化输出。JSON 是默认设置。可用的选项包括:

  3. 选择创建并运行

    返回到 "Overview"(概述)页面,您可以在该页面中查看复制详细信息。

任务 5:验证复制

对源自治 AI 事务处理实例执行一些更新以验证复制到 Azure 数据湖存储。

  1. 在 Oracle Cloud 控制台中,打开导航菜单,选择 Oracle AI Database ,然后选择 Autonomous AI Transaction Processing

  2. 在自治 AI 事务处理实例列表中,选择源实例以查看其详细信息。

  3. 在“数据库详细信息”页上,选择数据库操作

    注:您应该自动登录。如果没有,则使用数据库身份证明登录。

  4. 在“数据库操作”主页上,选择 SQL

  5. 在工作表中输入以下内容,然后选择运行脚本

    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
  6. 在源 ATP 部署控制台中,选择提取名称,然后选择统计信息。验证 SRC_OCIGGLL.SRC_CITY 是否具有 10 个插入。

  7. 在目标 Big Data OCI GoldenGate 部署控制台中,选择复制名称,然后选择统计信息。验证 SRC_OCIGGLL.SRC_CITY 是否具有 10 个插入。

  8. 在 Oracle Cloud 控制台中,导航到 Oracle 对象存储桶并检查其内容。

  9. 在 Azure 控制台中,导航到 Azure BLOB Storage 容器并检查其内容。

任务 6:监控和维护流程

  1. 监视复制过程

  2. Manage Trail files(管理线索文件)