连接到 Azure 数据湖存储
了解如何创建与 Azure 数据湖存储的连接,以将其用作 OCI GoldenGate 的目标。
注:如果您使用 Azure Entra ID 验证连接到具有专用端点的 Azure 存储 (ADLS) ,请注意,OCI GoldenGate 使用 Oracle 服务网络 (OSN) NAT 网关获取 Azure Storage Entra ID 验证所需的令牌。您可以创建支持请求来获取 OCI 区域中 GoldenGate 服务 NAT 网关的公共 IP 地址,然后在 Azure VNet 规则中将该 IP 地址列入白名单。
开始之前
确保您:
-
配置所需的策略以启用安全 Vault 和密钥访问,例如使用密钥、使用 Vault 和读取密钥包。有关详细信息,请参阅建议的最低策略。
创建连接
创建 Azure 数据湖存储连接
-
从 OCI GoldenGate 概览页面中,选择连接。
您还可以在“入门”部分下选择创建连接,然后跳至步骤 3。
-
在“连接”页上,选择创建连接。
-
在“Create Connection(创建连接)”页面上,按如下方式填写字段:
-
对于名称,为连接输入一个名称。
-
(可选)对于说明,输入有助于将此连接与其他连接区分开来的说明。
-
(仅限 GoldenGate on Multicloud )选择您的订阅,然后填写以下字段。
-
从区间下拉列表中,选择资源锚点所在的区间。
-
选择多云合作伙伴区域。
-
选择您的合作伙伴可用性区域。可用选项根据所选的多云合作伙伴区域进行填充。
-
-
对于区间,选择要在其中创建连接的区间。
-
从类型下拉列表中,选择 Azure 数据湖存储。
-
对于账户名称,输入 Azure Cloud Storage 账户名称。
-
输入端点。
-
对于验证类型,从以下选项中选择:
-
共享密钥:
- 存储账户密钥:选择存储账户密钥。如果位于其他区间中,则使用下拉列表更改区间。请参见 Manage storage account access keys 。
-
共享访问签名:
- SAS 令牌:选择 SAS 令牌密钥。如果位于其他区间中,则使用下拉列表更改区间。请参见 Create an account SAS 。
-
Azure Active Directory:
注:在配置 Azure Active Directory 验证类型之前,请确保在 Azure AD 应用程序注册中注册应用程序并分配相应的角色,例如“Storage BLOB Data Owner”。请参阅使用门户创建可以访问资源的 Azure AD 应用程序和服务主体。
-
位于 Azure Active Directory/应用程序注册中的 Azure 租户 ID ,选择应用程序并输入租户 ID。
-
客户端 ID ,位于 Azure Active Directory/应用程序注册中,然后选择应用程序。
-
选择客户端密钥。如果位于其他区间中,则使用下拉列表更改区间。
-
注:
-
密钥是用于 OCI 服务的身份证明,例如密码、证书、SSH 密钥或验证令牌。要创建密钥,请参见 Creating a secret 。确保:
-
选择手动生成密钥。
-
将凭证粘贴到秘密内容中。
-
-
如果您不希望使用密码密钥,请确保在此表单底部的高级选项下的“安全”部分中取消选择在 Vault 中使用密钥。
-
当需要更新密钥内容时,请确保:
-
使用纯文本模板创建新密钥版本并提供更新的内容。有关更多信息,请参见 Updating a Secret's Content 。
-
刷新连接以清除缓存的密钥内容。
-
-
-
对于 Azure 授权主机,输入用于验证和授权的 Microsoft Entra ID 端点。
-
展开 Show advanced options 。您可以配置以下选项:
-
安全
-
取消选择您不希望为此连接使用密码密钥的使用 Vault 密钥。如果未选择:
-
选择使用 Oracle 管理的加密密钥可将所有加密密钥管理保留给 Oracle。
-
选择使用客户管理的加密密钥以选择存储在 OCI Vault 中的特定加密密钥来加密连接身份证明。
-
-
-
网络连接
-
共享端点:与分配的部署共享端点。必须允许从部署的入站 IP 进行连接。
-
专用端点:通过 VCN 中已分配子网中的专用端点传输的网络流量。您必须允许从此连接的入站 IP 进行连接。
注:
- 如果专用连接在七天内保持未分配状态,则服务会将其转换为共享连接。
- 详细了解 Oracle GoldenGate 连接。
-
-
安全属性:添加安全属性以使用 Zero Trust Packet Routing (ZPR) 控制对此连接的访问。
-
标记:添加标记来组织资源。
-
-
-
选择创建。
创建连接后,该连接将显示在“Connections(连接)”列表中。确保将连接分配给部署以将其用于数据复制。
后续步骤
解决连接问题
由于 Azure 数据湖存储专用端点配置,大多数 Azure 数据湖存储连接问题都会发生。
以下是复制报告文件中可能遇到的与连接相关的常见错误消息:
-
=ERROR 2023-08-04 07:23:08.000008 [main] - Exception during initialisation of Azure blob service client for account[ociggtest]. com.azure.storage.blob.models.BlobStorageException: Status code 400, "{"error":{"code":"InvalidUri","message":"The request URI is invalid. <pre class="copy"><code> -</code></pre>nocopybutton =ERROR 2023-08-01 20:23:24.000861 [main] - The Event Handler Framework failed to initialise. <pre class="copy"><code> -</code></pre>nocopybutton =ERROR 2023-08-04 08:13:30.000477 [main] - Exception during initialization of Azure blob service client for account[ociggtest]. com.azure.storage.blob.models.BlobStorageException:Status code 403, "<?xml version="1.0" encoding="utf-8"?><Error><Code>AuthorizationFailure</Code><Message>This request is not authorized to perform this operation.
如果您使用的是 Azure Data Lake Storage 专用端点,并且连接和/或复制出现问题,请确保:
-
查看 OCI - Azure Interconnect 详细信息。请参阅分步指南:互连 Oracle Cloud Infrastructure 和 Microsoft Azure 。
-
按照 OCI GoldenGate ADLS Connections with Private End Points 中的步骤大纲进行操作
-
使用目标子资源 BLOB 在 Azure 中配置 ADLS 专用端点连接。OCI GoldenGate 仅支持 BLOB,因此如果为连接配置了 dfs 或其他子资源类型,则连接将失败。
已知问题
使用 Azure Entra ID 验证配置的 Azure 数据湖存储连接测试连接问题
尝试测试配置有 Azure Entra ID 验证的 Azure 数据湖存储连接时,可能会遇到问题。
解决方法:您可以忽略该错误,然后继续创建和运行 Azure 数据湖存储复制。