本附录介绍了从 VLE 1.5 开始的 VLE 网络。配置示例说明了常见的网络方案,包括:
在引入 VLE 1.5 和 X4-4 服务器后,四端口 1 Gb NIC 连接被双端口 10 Gb NIC 连接取代。IFF/复制连接的潜在网络带宽已从 16 Gb (=16 x 1 Gb) 增加到至少 40 Gb 的光纤带宽。
此外,还提供 10 Gb 铜缆/RJ-45 端口。此额外的带宽可以简化网络设置。不过,客户必须提供额外的网络基础结构来容纳此额外的带宽。
通常,各项功能隔离到特定网络上的特定端口。这确保了用于给定功能的带宽在理论上是可用的。
另外,为所有接口/聚合使用单独的子网是最佳做法,因为一个链接故障可能会导致同一子网上的其他 VLE 端口不工作。
表 A-1显示了 X4-4 服务器中每个 VLE 1.5 端口的位置和功能。
为方便比较,表 A-2显示了 VLE 1.5 之前版本的相同信息。
"Cu" 表示 Copper/RJ45(铜缆/RJ45)。
"O" 表示 Optical(光纤)。
“O 或 Cu”表示两者之一:Optical(光纤)是默认值和 Cu 仅限 1 Gb。
请注意,带星号 (*) 的字段表示有些客户对 VSM5/VSM6 IFF/复制使用了开放 10 Gb 连接。
表 A-1 VLE X4-4 VLE 网络配置(随 VLE 1.5 引入的)
位置 |
端口 |
IFF/REP | 功能 |
---|---|---|---|
MB(Cu) |
0 1 2 3 |
0 |
ASR UUI UUI 检修访问口 |
PCIE3(O 或 Cu) |
0 1 |
1 2 |
IFF/复制 IFF/复制 |
PCIE5(O 或 Cu) |
0 1 |
* |
节点到节点网格通信(VLE 专用) 远程复制通信(VLE 到 VLE) |
PCIE8(O 或 Cu) |
0 1 |
* |
节点到节点网格通信(VLE 专用) 远程复制通信(VLE 到 VLE) |
PCIE10(O 或 Cu) |
0 1 |
3 4 |
IFF/复制通信 IFF/复制通信 |
PCIE11 (Cu) |
0 1 |
5 6 |
IFF/复制通信 IFF/复制通信 |
为方便比较,表 A-2显示了 VLE 1.5 之前版本的相同信息。
表 A-2 VLE X4470/X4470M2/X2-4 网络配置(VLE 1.5 之前)
位置 |
端口 |
IFF/REP | 功能 |
---|---|---|---|
MB (cu) |
0 1 2 3 |
0 |
ASR UUI UUI 检修访问口 |
PCIE0 |
0 1 2 3 |
1 2 3 4 |
IFF/复制 IFF/复制 IFF/复制 IFF/复制 |
PCIE3 (10Gb) |
0 1 |
* |
节点到节点网格通信(VLE 专用) 远程复制通信(VLE 到 VLE) |
PCIE4 |
0 1 2 3 |
5 6 7 8 |
IFF/复制 IFF/复制 IFF/复制 IFF/复制 |
PCIE5 |
0 1 2 3 |
9 10 11 12 |
IFF/复制通信 IFF/复制通信 IFF/复制通信 IFF/复制通信 |
PCIE8 (10Gb) |
0 1 |
* |
节点到节点网格通信(VLE 专用) 远程复制通信 (VLE 到 VLE) |
PCIE9 |
0 1 2 3 |
13 14 15 16 |
IFF/复制通信 IFF/复制通信 IFF/复制通信 IFF/复制通信 |
此示例说明了没有网络基础结构的多 VTSS 到 VLE 网络布局(复制/IFF/复制),如图 A-1 中所示。
如果环境中缺少额外的网络基础结构来利用全部 10 Gb 带宽,并且不需要远程复制功能,则最多可以将八 (8) 个 IFF/复制端口直接连接到 VTSS 端口。
这些端口将需要转换为铜缆端口,并且只能以 1 Gb 链路速度运行(潜在的总带宽为 8 Gb)。
如前文所述,为所有接口使用单独的子网是最佳做法,因为一个链接故障可能会导致同一子网上的其他 VLE 端口不工作。
表 A-3显示了此示例中可以用于 IFF/复制通信的端口。
链路 |
设备 |
位置 |
|
---|---|---|---|
ixgbe0 |
ixgbe0 |
/SYS/MB |
|
ixgbe1 |
ixgbe1 |
/SYS/MB |
|
ixgbe2 |
ixgbe2 |
/SYS/MB |
|
ixgbe3 |
ixgbe3 |
/SYS/MB |
|
ixgbe4 |
ixgbe4 |
/SYS/MB/PCI3 |
IFF/复制通信 |
ixgbe5 |
ixgbe5 |
/SYS/MB/PCI3 |
IFF/复制通信 |
ixgbe6 |
ixgbe6 |
/SYS/MB/PCI5 |
|
ixgbe7 |
ixgbe7 |
/SYS/MB/PCI5 |
IFF/复制通信 |
ixgbe8 |
ixgbe8 |
/SYS/MB/PCI8 |
|
ixgbe9 |
ixgbe9 |
/SYS/MB/PCI8 |
IFF/复制通信 |
ixgbe10 |
ixgbe10 |
/SYS/MB/PCI10 |
IFF/复制通信 |
ixgbe11 |
ixgbe11 |
/SYS/MB/PCI10 |
IFF/复制通信 |
ixgbe12 |
ixgbe12 |
/SYS/MB/PCI11 |
IFF/复制通信 |
ixgbe13 |
ixgbe13 |
/SYS/MB/PCI11 |
IFF/复制通信 |
此方案中的 VTSS 和 VLE 连接:
VTSS1 | IFF/REP1 | 192.168.1.11/24 |
IFF/REP2 | 192.168.2.11/24 | |
IFF/REP3 | 192.168.3.11/24 | |
IFF/REP4 | 192.168.4.11/24 |
VTSS2 | IFF/REP1 | 192.168.5.11/24 |
IFF/REP2 | 192.168.6.11/24 | |
IFF/REP3 | 192.168.7.11/24 | |
IFF/REP4 | 192.168.8.11/24 |
VLE | ixgbe4 | 192.168.1.10/24 |
ixgbe5 | 192.168.2.10/24 | |
ixgbe7 | 192.168.3.10/24 | |
ixgbe9 | 192.168.4.10/24 | |
ixgbe10 | 192.168.5.10/24 | |
ixgbe11 | 192.168.6.10/24 | |
ixgbe12 | 192.168.7.10/24 | |
ixgbe13 | 192.168.8.10/24 |
此示例说明了具有网络基础结构的多 VTSS 到 VLE 网络布局(复制/IFF/复制),如图 A-2 中所示。
虽然使用四端口 NIC 建立直接连接在技术上是可行的,但是使用双端口 10 Gb NIC 时这不再可行。但是,两个 10 Gb 端口可以满足 16 个 1 Gb 连接的带宽需求。为此,客户必须为 VLE 端口提供网络基础结构以支持 10 Gb 链路速度和 LACP 聚合,并且如果 VTSS 连接和 VLE 端口位于不同的子网,还必须支持合适的路由。
此方案中的 VTSS 连接:
VTSS1 | IFF/REP1 | 192.168.1.11/24 |
IFF/REP2 | 192.168.2.11/24 | |
IFF/REP3 | 192.168.3.11/24 | |
IFF/REP4 | 192.168.4.11/24 |
VTSS2 | IFF/REP1 | 192.168.1.12/24 |
IFF/REP2 | 192.168.2.12/24 | |
IFF/REP3 | 192.168.3.12/24 | |
IFF/REP4 | 192.168.4.12/24 |
VTSS3 | IFF/REP1 | 192.168.1.13/24 |
IFF/REP2 | 192.168.2.13/24 | |
IFF/REP3 | 192.168.3.13/24 | |
IFF/REP4 | 192.168.4.13/24 |
VTSS4 | IFF/REP1 | 192.168.1.14/24 |
IFF/REP2 | 192.168.2.14/24 | |
IFF/REP3 | 192.168.3.14/24 | |
IFF/REP4 | 192.168.4.14/24 |
注意:
客户必须确保可以在所有 IFF/复制连接与 VLE IP 地址之间实现路由。此方案中的 VLE 连接:
链路 | 设备 | 位置 |
ixgbe4 | ixgbe4 | /SYS/MB/PCI3 |
ixgbe5 | ixgbe5 | /SYS/MB/PCI3 |
ixgbe10 | ixgbe10 | /SYS/MB/PCI10 |
ixgbe11 | ixgbe11 | /SYS/MB/PCI10 |
为每个 VTSS 上的四个 IFF/复制子网配置 IP 地址。
VLE1 | ixgbe4 | 192.168.1.10/24 |
ixgbe5 | 192.168.2.10/24 | |
ixgbe10 | 192.168.3.10/24 | |
ixgbe11 | 192.168.4.10/24 |
使用 ixgbe4 和 ixgbe10 创建一个聚合并分配一个 IP 地址。这提供 20 Gb 的带宽以及冗余。
注意:
如果发生链路故障,带宽会降为 10 Gb。VLE2 |
aggr2 |
ixgbe4
ixgbe10 |
192.168.1.10/24 |
此示例说明了多节点 VLE 的网络布局。
对于在 VLE 专用网络 (172.17.1.0/24) 中运行的多节点 VLE 系统,最多可以配置 16 个 VLE 节点。
具有一个或两个节点的系统使用直接连接端口,而具有三个或三个以上节点的系统需要 Oracle 72 交换机。
表 A-4显示了此示例中可以用于多节点通信的端口。
链路 |
设备 |
位置 |
|
---|---|---|---|
ixgbe0 |
ixgbe0 |
/SYS/MB |
|
ixgbe1 |
ixgbe1 |
/SYS/MB |
|
ixgbe2 |
ixgbe2 |
/SYS/MB |
|
ixgbe3 |
ixgbe3 |
/SYS/MB |
|
ixgbe4 |
ixgbe4 |
/SYS/MB/PCI3 |
|
ixgbe5 |
ixgbe5 |
/SYS/MB/PCI3 |
|
ixgbe6 |
ixgbe6 |
/SYS/MB/PCI5 |
多节点通信 |
ixgbe7 |
ixgbe7 |
/SYS/MB/PCI5 |
|
ixgbe8 |
ixgbe8 |
/SYS/MB/PCI8 |
多节点通信 |
ixgbe9 |
ixgbe9 |
/SYS/MB/PCI8 |
|
ixgbe10 |
ixgbe10 |
/SYS/MB/PCI10 |
|
ixgbe11 |
ixgbe11 |
/SYS/MB/PCI10 |
|
ixgbe12 |
ixgbe12 |
/SYS/MB/PCI11 |
|
ixgbe13 |
ixgbe13 |
/SYS/MB/PCI11 |
各个端口预先配置到一个聚合中,并根据多节点 VLE 系统中的节点数为每个端口配置一个 IP 地址:
1 | 172.17.1.1/24 |
2 | 172.17.1.2/24 |
3 | 172.17.1.3/24 |
4 | 172.17.1.4/24 |
5 | 172.17.1.5/24 |
6 | 172.17.1.6/24 |
7 | 172.17.1.7/24 |
8 | 172.17.1.8/24 |
9 | 172.17.1.9/24 |
10 | 172.17.1.10/24 |
11 | 172.17.1.11/24 |
12 | 172.17.1.12/24 |
13 | 172.17.1.13/24 |
14 | 172.17.1.14/24 |
15 | 172.17.1.15/24 |
16 | 172.17.1.16/24 |
有关更多信息,请参阅单独的文档《Installing an Oracle 72 port 10Gb Ethernet TOR Switch in a VLE System》。
此示例说明了用于 VLE 到 VLE 远程复制通信的网络布局,如图 A-3 中所示。
插槽 5 和插槽 8 中的底部端口通常预留给到远程站点上的其他 VLE 子系统的远程复制通信。与使用 IFF/复制通信时一样,这些端口可以聚合为一个链路,也可以在不同的子网上独立运行。
表 A-5显示了此示例中可以用于远程复制通信的端口。
链路 |
设备 |
位置 |
|
---|---|---|---|
ixgbe0 |
ixgbe0 |
/SYS/MB |
|
ixgbe1 |
ixgbe1 |
/SYS/MB |
|
ixgbe2 |
ixgbe2 |
/SYS/MB |
|
ixgbe3 |
ixgbe3 |
/SYS/MB |
|
ixgbe4 |
ixgbe4 |
/SYS/MB/PCI3 |
|
ixgbe5 |
ixgbe5 |
/SYS/MB/PCI3 |
|
ixgbe6 |
ixgbe6 |
/SYS/MB/PCI5 |
|
ixgbe7 |
ixgbe7 |
/SYS/MB/PCI5 |
远程复制通信 |
ixgbe8 |
ixgbe8 |
/SYS/MB/PCI8 |
|
ixgbe9 |
ixgbe9 |
/SYS/MB/PCI8 |
远程复制通信 |
ixgbe10 |
ixgbe10 |
/SYS/MB/PCI10 |
|
ixgbe11 |
ixgbe11 |
/SYS/MB/PCI10 |
|
ixgbe12 |
ixgbe12 |
/SYS/MB/PCI11 |
|
ixgbe13 |
ixgbe13 |
/SYS/MB/PCI11 |
注意:
客户必须确保可以在所有远程复制网络和接口之间实现路由。此方案中的 VLE 连接:
站点 #1 | VLE1 | 192.168.10.101/24 |
VLE2 | 192.168.10.102/24 | |
VLE3 | 192.168.10.103/24 | |
VLE4 | 192.168.10.104/24 |
站点 #2 | VLE1 | 172.27.10.101/24 |
VLE2 | 172.27.10.102/24 | |
VLE3 | 172.27.10.103/24 | |
VLE4 | 172.27.10.104/24 |
建议在每个站点的 VLE 节点之间至少建立一对 10 Gb 链路。不过,如果有网络带宽可用,可以选择为其他节点建立更多链路。