为 Apache Iceberg 添加复制

学习为 Apache Iceberg 目标添加复制。

开始之前

确保查看有关此目标连接类型的详细信息

添加副本

  1. 在 OCI GoldenGate 部署控制台导航菜单中,选择 Replicat

  2. 在 "Replicat"(复制)页面上,选择 Add Replicat(添加复制)

  3. 在“添加复制”面板的复制信息页上,根据需要填写字段,然后选择下一步

    • 对于复制类型,选择“经典复制”

    • 输入 Process Name(流程名称),长度不超过 5 个字符。

    • 输入说明,以帮助区分此流程与其它流程。

  4. 复制选项页上,根据需要填写字段,然后选择下一步

    1. 对于 Replicat Trail ,输入提取线索名称。

    2. 对于目标,选择 Apache Iceberg

    3. 对于格式,选择要摄取到 Apache Iceberg 的格式。默认值为 Parquet。

    4. 对于 Available Alias(可用别名),从下拉列表中选择 Apache Iceberg 连接。

  5. 在“托管选项”页上,保留默认设置并选择下一步

  6. 在“复制参数”页上,保留默认设置,然后选择下一步

  7. 在“复制属性”页上,更新标记的字段 TODO ,然后选择创建并运行

    有关详细信息,请参阅 Apache Iceberg 目标详细信息

返回到“复制”页,在此页上可以查看复制进程的创建并访问复制操作。

已知问题

使用 AWS Glue 数据目录和 Amazon S3 存储桶进行 Apache Iceberg 复制

在使用 AWS Glue Data Catalog 和 AWS S3 存储桶的 Apache Iceberg 复制中,您可能会遇到以下错误:

Cannot find constructor for interface org.apache.iceberg.catalog.Catalog
	Missing org.apache.iceberg.aws.glue.GlueCatalog [java.lang.NoClassDefFoundError: software/amazon/awssdk/services/glue/model/AlreadyExistsException]

解决方法:按如下方式更新 gg.classpath

gg.classpath=$THIRD_PARTY_DIR/iceberg/*:$THIRD_PARTY_DIR/s3/*:$THIRD_PARTY_DIR/hadoop/*::$THIRD_PARTY_DIR/s3/*:$THIRD_PARTY_DIR/glue/*