基于 DRG 的 NAT —第 5 部分— OCI 与内部部署与 BGP 之间的 CIDR 重叠

简介

在 NAT on DRG - Part 3 - Overlapping CIDRs between OCI and On-Premises 中,Oracle Cloud Infrastructure (OCI) VCN 和具有相同 IP 范围的内部部署网络通过站点到站点 VPN 连接, NAT on DRG 在 IPSec 隧道附加上执行转换。该部分中的隧道是基于策略的:加密域决定了哪些流量进入隧道,它也是动态路由网关 (Dynamic Routing Gateway,DRG) 学习通往内部部署的路由的地方。

此部件使用 BGP 动态路由构建相同的用例。这就是大多数生产 VPN 的构建方式,也是 FastConnect 虚拟线路交换路由的方式,因此本教程中的路由模型也是预期的。拓扑、地址和 NAT 规则与第 3 部分相同:

侧边 实际子网 CIDR 在另一端看到的影子 CIDR
OCI VCN uc3-vcn-oci 10.0.1.0/24 192.168.10.0/24
内部部署局域网 10.0.1.0/24 192.168.20.0/24

什么变化是双方如何了解对方所在的位置。对于 BGP,有一个问题可以决定一切:DRG 是否转换通过 BGP 交换的路由? 针对本教程测试的答案是否定的:

DRG 上的 NAT 将转换包,而不是路由。因此,对于 BGP,您必须在两侧将影子 CIDR 放入路由交换中:

方向 需要做广告的内容 如何
从内部部署到 Oracle 192.168.20.0/24(内部部署的影子 CIDR) 内部部署路由器使用 BGP 告知该路由器。
Oracle 到内部部署 192.168.10.0/24(OCI 的影子 CIDR) 隧道附加的 DRG 路由表中的静态路由,然后由 DRG 通告。

[!] 注意 ] NAT 规则描述通过保存策略的附加输入 DRG 的流量。对于从内部部署到达的通信的 IPSec 隧道附件。对于通过隧道离开的流量,DRG 会自动应用反向转换。

内部部署网络与另一个区域中的 VCN 模拟,其中一个 Oracle Linux 实例运行 Libreswan 的 IPSec 隧道,另一个实例运行 FRRouting (FRR) 的 BGP。该实验室是第 3 部分中将 VPN 转换为 BGP 的实验室,这就是为什么屏幕截图中的资源名为 uc3-... 的原因。

图像

其他用例

本教程是系列的一部分。每个部分都使用相同的构建块解决不同的重叠场景。

图表

VCN 子网 CIDR 与内部部署或远程网络之间的 IP 重叠,DRG 上具有无状态 1:1 NAT,通过 IPSec 隧道进行 BGP 路由交换

图像

该图显示了您在本教程中配置的每个对象:

先决条件

[!] 注意 ] 本教程中的名称、CIDR 和 IP 地址来自屏幕截图中的实验室。您可以自己使用,只要影子 CIDR 与网络中的任何其他内容不重叠,并且其前缀长度与它们替换的 CIDR 相同。

步骤

步骤 01:查看 OCI 端的 VCN

我们从 OCI 端开始使用普通 VCN、一个公共子网和一个测试实例。

图像

图像

图像

互联网网关仅在此处,以便您可以通过 SSH 访问测试实例。

图像

图像

步骤 02:查看模拟的内部部署网络

内部部署网络使用另一个区域中的 VCN 进行模拟。它使用与 OCI 端相同的地址空间,这是本教程的全部要点。如果您拥有真正的本地网络和路由器,您可以阅读此步骤以供参考,并继续执行步骤 05。

图像

图像

VCN 有两个子网。它们一起为 Libreswan 实例提供真实路由器的两端。

图像

图像

图像

[!] 注意 ] 实例 uc3-inst-op 将转发未发送给其自身的流量。要做到这一点,必须在 VNIC 上启用 Skip source/destination check ,并且必须在操作系统 (net.ipv4.ip_forward = 1) 中启用 IP 转发。

步骤 03:配置安全列表

安全列表必须允许两种流量:IPSec 隧道本身和我们用作测试的 ping。

该实验室允许 ICMP 从所有三个私人范围。这比本教程需要的范围更广。在 OCI 方面,唯一重要的领域是本地影子 CIDR 192.168.20.0/24。在模拟的本地部署端,您需要 OCI 影子 CIDR 192.168.10.0/24 和本地 10.0.1.0/24,因为来自 LAN 主机的流量通过 Libreswan 路由器的 LAN VNIC,并且会在那里检查安全列表。

图像

图像

[!] 注意 ] 在 OCI 端,不需要 IPSec 规则,因为隧道在 DRG 上结束,而不是在 VCN 中的实例上。在 Libreswan 实例上,隧道位于模拟的本地端,因此需要这些隧道。

步骤 04:在内部部署端配置路由

本地部署主机必须知道如何访问 OCI。他们使用 OCI 端的影子 CIDR 192.168.10.0/24,其路由指向内部部署路由器。路由器本身在步骤 08 中学习了 BGP 的前缀。

图像

图像

步骤 05:创建 DRG 并附加 VCN

回到 OCI 端,我们创建了 DRG。现在将获取 VCN 附加,并在下一步中自动添加两个 IPSec 隧道附加。

图像

图像

图像

[!] 注意 ] DRG 的屏幕截图是在两个隧道之一关闭时拍摄的。它们显示一条警告,指出 IPSec 连接只有一个活动隧道,并且 DRG 列表显示 Not redundant 。当两个隧道都启动时,警告将消失。

步骤 06:使用 BGP 动态路由创建站点到站点 VPN

站点到站点 VPN 将 DRG 连接到内部部署路由器。它需要一个表示路由器的公共 IP 地址的客户终端设备 (customer-premises equipment,CPE) 对象,以及一个创建两个隧道以实现冗余的 IPSec 连接。与第 3 部分的区别在于隧道的路由类型。使用 BGP 动态路由,每个隧道将获得:

隧道 Oracle VPN IP 地址 Oracle IP 内部 内部 IP,内部部署 本地 AS
1 168.138.66.213 10.255.255.1/30 10.255.255.2/30 65000
2 168.138.65.198 10.255.255.5/30 10.255.255.6/30 65000

图像

图像

图像

图像

图像

如果您从第 3 部分的基于策略的 VPN 开始,则无需创建新的 IPSec 连接。您可以编辑每个隧道并更改其路由类型。对于第一个隧道,OCI CLI 类似如下所示:

cat > tunnel-1-bgp.json <<'EOF'
{
  "routing": "BGP",
  "bgpSessionConfig": {
    "oracleInterfaceIp": "10.255.255.1/30",
    "customerInterfaceIp": "10.255.255.2/30",
    "customerBgpAsn": "65000"
  }
}
EOF

oci raw-request --http-method PUT \
  --target-uri "https://iaas.ca-montreal-1.oraclecloud.com/20160918/ipsecConnections/<ipsec_connection_ocid>/tunnels/<tunnel_ocid>" \
  --request-body file://tunnel-1-bgp.json

[!] 注意 ] 更改路由类型会重新配置隧道并删除其加密域。隧道会一直停留,直到内部部署路由器也更改为基于路由的配置。

步骤 07:在内部部署端配置 Libreswan

内部部署路由器需要 route-based IPSec 配置:每个隧道一个隧道接口,以及接受所有内容的流量选择器。如果使用真正的路由器,请使用 IKEv1、预共享密钥、每个隧道的隧道接口以及步骤 06 中的内部地址,以及 0.0.0.0/0 作为本地和远程流量选择器进行配置。

使用 Libreswan 时,隧道接口是一个 VTI 接口。这两个连接具有相同的选择器(两侧为 0.0.0.0/0),因此每个连接都有自己的标记。标志是让 Linux 内核将两个隧道分开的原因,也是阻止 0.0.0.0/0 选择器捕获路由器的所有其他流量的原因:只有路由到 VTI 接口的流量才会获得标记并进行加密。

conn uc3-t2
    auto=start
    authby=secret
    keyexchange=ike
    ikev2=no
    type=tunnel
    left=%defaultroute
    leftid=40.233.76.145
    leftsubnet=0.0.0.0/0
    right=168.138.66.213
    rightid=168.138.66.213
    rightsubnet=0.0.0.0/0
    ike=aes256-sha256;modp1536
    phase2alg=aes256-sha256
    pfs=yes
    encapsulation=yes
    ikelifetime=28800s
    salifetime=3600s
    mark=1/0xffffffff
    vti-interface=vti1
    vti-routing=no
    vti-shared=no
    leftvti=10.255.255.2/30
conn uc3
    auto=start
    authby=secret
    keyexchange=ike
    ikev2=no
    type=tunnel
    left=%defaultroute
    leftid=40.233.76.145
    leftsubnet=0.0.0.0/0
    right=168.138.65.198
    rightid=168.138.65.198
    rightsubnet=0.0.0.0/0
    ike=aes256-sha256;modp1536
    phase2alg=aes256-sha256
    pfs=yes
    encapsulation=yes
    ikelifetime=28800s
    salifetime=3600s
    mark=2/0xffffffff
    vti-interface=vti2
    vti-routing=no
    vti-shared=no
    leftvti=10.255.255.6/30
# /etc/ipsec.d/uc3-t2.secrets
40.233.76.145 168.138.66.213 : PSK "<shared secret of tunnel 1>"

# /etc/ipsec.d/uc3.secrets
40.233.76.145 168.138.65.198 : PSK "<shared secret of tunnel 2>"
sudo systemctl enable --now ipsec
sudo systemctl restart ipsec

有两个设置需要指出:

图像

图像

图像

步骤 08:在内部部署端配置 BGP

隧道已启动,但尚未通过隧道进行路由。这就是 BGP 的工作。在模拟的本地路由器 BGP 上,由 FRRouting (FRR) 提供。

这是必须在内部部署端处理重叠的步骤。路由器不得告知其实际 LAN 10.0.1.0/24:DRG 会忽略该前缀,因为它与附加的 VCN 重叠,而 DRG 上的 NAT 不会将其转换为影子 CIDR。路由器改为通告 shadow CIDR 192.168.20.0/24。路由器上的任何接口在该范围内都没有地址,因此到 Null0 的静态路由会将前缀放置在路由表中,这是 BGP 能够通告它的内容。该路由从不处理数据包:本地部署的流量到达,其目标已转换回 10.0.1.x。

两个前缀列表使交换显式。路由器仅通告其自己的影子 CIDR,并且仅接受 OCI 的影子 CIDR。第二个筛选器很重要,因为 Oracle 还会告知 VCN 的实际 10.0.1.0/24(您会在步骤 09 中看到原因),并且该前缀本身就是内部部署 LAN。

sudo dnf -y install frr
sudo sed -i 's/^bgpd=no/bgpd=yes/' /etc/frr/daemons
frr defaults traditional
hostname uc3-inst-op
log syslog informational
service integrated-vtysh-config
!
! The on-premises shadow CIDR. It only exists so that BGP has something to advertise.
ip route 192.168.20.0/24 Null0
!
ip prefix-list TO-OCI seq 10 permit 192.168.20.0/24
ip prefix-list FROM-OCI seq 10 permit 192.168.10.0/24
!
router bgp 65000
 bgp router-id 10.0.99.146
 no bgp ebgp-requires-policy
 neighbor 10.255.255.1 remote-as 31898
 neighbor 10.255.255.1 description OCI-tunnel-1
 neighbor 10.255.255.1 timers 5 15
 neighbor 10.255.255.5 remote-as 31898
 neighbor 10.255.255.5 description OCI-tunnel-2
 neighbor 10.255.255.5 timers 5 15
 !
 address-family ipv4 unicast
  network 192.168.20.0/24
  neighbor 10.255.255.1 soft-reconfiguration inbound
  neighbor 10.255.255.1 prefix-list FROM-OCI in
  neighbor 10.255.255.1 prefix-list TO-OCI out
  neighbor 10.255.255.5 soft-reconfiguration inbound
  neighbor 10.255.255.5 prefix-list FROM-OCI in
  neighbor 10.255.255.5 prefix-list TO-OCI out
 exit-address-family
!
line vty
sudo chown frr:frr /etc/frr/frr.conf
sudo systemctl enable --now frr

图像

[!] 注意 ] timers 5 15 行将 BGP keepalive 和 hold 时间设置为 5 和 15 秒。缺省保持时间为 180 秒时,路由器最多需要三分钟才能注意到隧道已消失。在实验室中,一个隧道的故障导致这些计时器的数据包丢失约 14 秒,并且当隧道返回时没有丢失。

步骤 09:配置 DRG 路由表

DRG 有两种附加,每种附加都有自己的 DRG 路由表。使用 BGP,这些表同时执行两个作业:转发数据包,并决定通过 BGP 进行交换。

IPSec 隧道附加的路由表获取两个静态路由,这两个路由都指向 VCN 附加,并且每个路由都存在,原因不同:

目的地 为何存在?
10.0.1.0/24 转发。 来自内部部署的数据包首先由 NAT 策略转换,然后 DRG 查找转换的目标(即 VCN 的实际 CIDR)。
192.168.10.0/24 通告。 DRG 将此表的路由通告到内部部署路由器。此路由用于告知 OCI 的影子 CIDR。由于在路由查找之前已将 192.168.10.x 的包转换为 10.0.1.x,因此从未使用过包。

这是 Oracle 对重叠问题的答案的一半:DRG 不会转换其通告的路由,因此影子 CIDR 必须手动放入表中。

[!] 注意 ] 只有第二个路由必须是静态的。第一个 10.0.1.0/24 是静态的,因为本教程使用的是没有导入路由分配的定制 DRG 路由表。为 IPSec 附加自动生成的 DRG 路由表了解如何从 VCN 附加动态路由,接受 VCN 附加的导入路由分配对定制表执行相同的操作。影子 CIDR 192.168.10.0/24 没有这样的源:没有附件拥有它,NAT 策略不为其创建路由,因此静态路由是将其放入表中的唯一方法。

图像

VCN 附加的路由表用于处理来自 VCN 的流量,这些流量将发送到内部部署影子 CIDR 192.168.20.0/24。这条道路必须通往隧道。DRG 路由表中的静态路由规则无法指向 IPSec 隧道,因此该路由是从具有导入路由分配的隧道导入的。使用 BGP 时,导入的路由是内部部署路由器通告的路由。

图像

图像

图像

[!] 注意 ] 如果缺少此路由,即使隧道和 BGP 会话已启动,DRG 也会丢弃从 VCN 到内部部署的流量。请首先检查内部部署路由器通告的内容(第 13 步)。

步骤 10:在 OCI 端配置 VCN 路由表

VCN 中的实例必须将内部部署影子 CIDR 的流量发送到 DRG。

图像

步骤 11:创建 DRG NAT 策略和规则

这是整个教程的步骤。一个具有一个规则的 DRG NAT 策略会向两个方向执行所有转换。

该策略与 IPSec 隧道附件关联,因此将针对从内部部署传输的流量编写规则。此类数据包具有作为源的内部部署主机 (10.0.1.x) 和作为目标的 OCI 实例的影子地址 (192.168.10.x):

  原始 已转换 含义
源 10.0.1.0/24 192.168.20.0/24 本地部署的真实地址在 OCI 中显示为 192.168.20.0/24。
目的地 192.168.10.0/24 10.0.1.0/24 OCI 的影子 CIDR 将替换为 VCN 的实际 CIDR。

图像

图像

[!] 注 ] 从 VCN 的角度来看,此规则很有吸引力:源 10.0.1.0/24 到 192.168.10.0/24,目标 192.168.20.0/24 到 10.0.1.0/24。接受该规则时没有任何警告,但在 IPSec 隧道附件上,它从不与包匹配,也不通过通信。始终为通过保存策略的附加进入 DRG 的流量编写规则。

步骤 12:将 NAT 策略与 IPSec 隧道附加关联

该策略与两个 IPSec 隧道附加相关联,因此无论哪个隧道承载流量,转换都是相同的。

图像

步骤 13:验证 BGP 路由交换

在发送流量之前,值得看看通过 BGP 交换的内容,因为这是本教程与系列的其他部分不同的地方。检查在内部部署路由器上完成。

图像

图像

图像

图像

OCI 控制台从 Oracle 端显示相同的交换。

图像

图像

图像

图像

收到的路由是介绍中声明的证明。NAT 策略与这些隧道附加关联,并且 DRG 仍通告 10.0.1.0/24 未转换。影子 CIDR 192.168.10.0/24 仅存在,因为在步骤 09 中添加了静态路由。

[!] 注意 ] 当本地路由器通告其真实的 CIDR 10.0.1.0/24 时,会发生什么情况?在实验室中,DRG 未将其导入任何 DRG 路由表,甚至未在隧道上收到的路由中列出该路由。只有在路由器通告 192.168.20.0/24 之后,才会显示 uc3-drgrt-vcn-oci 中的路由。

步骤 14:测试连接

一切都在原地,所以是时候发送一个包了。地址的最后八位字节由 1:1 翻译保留,该翻译告诉你要 ping 的地址:

实例 真实 IP 地址 要从另一端使用的地址
uc3-inst-oci 10.0.1.92 192.168.10.92
uc3-inst-op-lan 10.0.1.130 192.168.20.130

这是从 uc3-inst-oci 到内部部署主机的 ping 操作:

地点 来源 目的地 发生的情况
离开 uc3-inst-oci 10.0.1.92 192.168.20.130 路由表 uc3-rt-oci 将 192.168.20.0/24 发送到 DRG。
uc3-drgrt-vcn-oci 中的路由查找 10.0.1.92 192.168.20.130 与 BGP 一起学习的 192.168.20.0/24 路由指向 IPSec 隧道。
将 DRG 保留在隧道附加上 192.168.10.92 10.0.1.130 DRG 将应用 uc3-policy-oci 中规则的反向操作。
内部部署路由器 192.168.10.92 10.0.1.130 数据包从隧道中取出,并转发到 LAN。

这就是答案:

地点 来源 目的地 发生的情况
离开 uc3-inst-op-lan 10.0.1.130 192.168.10.92 路由表 uc3-rt-op 将 192.168.10.0/24 发送到路由器 10.0.1.164。
内部部署路由器 10.0.1.130 192.168.10.92 使用 BGP 学习的 192.168.10.0/24 路由指向隧道接口。
在隧道附加上输入 DRG 192.168.20.130 10.0.1.92 uc3-policy-oci 中的规则将转换源和目标。
uc3-drgrt-ipsec 中的路由查找 192.168.20.130 10.0.1.92 10.0.1.0/24 指向 uc3-att-vcn-oci。

图像

图像

内部部署主机上的数据包捕获显示工作中的转换。主机从未看到 OCI 实例的真实地址 10.0.1.92,仅看到其影子地址:

[opc@uc3-inst-op-lan ~]$ sudo tcpdump -ni any icmp
IP 10.0.1.130 > 192.168.10.92: ICMP echo request, id 18, seq 1, length 64
IP 192.168.10.92 > 10.0.1.130: ICMP echo reply, id 18, seq 1, length 64

[!] 注意 ] DRG 上的 NAT 不会转换 DNS。如果本地系统按名称或其他方式查找 OCI 系统,则他们使用的 DNS 记录必须指向影子地址,而不是实际地址。

结论

OCI VCN 和具有完全相同子网 CIDR 的内部部署网络通过站点到站点 VPN 与 BGP 动态路由进行通信。NAT 规则与第 3 部分中的单个规则相同,位于相同的 IPSec 隧道附件上。不同的是路线到达他们需要的地方的方式。

此部分的主要发现是 DRG 上的 NAT 和 BGP 彼此独立。DRG 转换包,不转换它通告或接收的路由。与附加的 VCN 重叠的实际 CIDR 在交换中没有任何用处:Oracle 会将其告知未转换,并且 DRG 在收到时会忽略它。因此,双方都会通告其 shadow CIDR。在作为路由器前缀的内部部署端,在 Oracle 端,它是隧道附加的 DRG 路由表中的一个静态路由,其唯一用途是告知。

与 NAT on DRG - Part 3 - Overlapping CIDRs between OCI and On-Premises (基于策略的 DRG 上 NAT - 第 3 部分 - OCI 与内部部署之间的 CIDR 重叠)相比,没有加密域可与转换保持一致,隧道之间的故障转移由 BGP 处理。相同的路由模型(通过 BGP 交换影子前缀)是 NAT 策略与 FastConnect 虚拟线路连接关联的预期结果,尽管尚未针对此系列进行测试。

确认

更多学习资源

通过 docs.oracle.com/learn 浏览其他实验室,或者通过 Oracle Learning YouTube 频道访问更多免费学习内容。此外,请访问 education.oracle.com/learning-explorer 以成为 Oracle Learning Explorer。

有关产品文档,请访问 Oracle 帮助中心。