4.7.4 Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチでのAccess VLANの使用

switchport access vlan IDの設定を変更して、RoCEネットワーク・ファブリック全体にサーバー・レベルの分離を実装できます。

デフォルトでは、Oracle Exadataは、サーバーのre0インタフェースおよびre1インタフェース上のすべてのRoCEネットワーク・ファブリックのプライベート・ネットワーク・トラフィックにAccess VLAN ID 3888を使用します。

Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチ上のデフォルトのAccess VLAN ID設定を変更すると、対応するサーバーは、デフォルト設定を使用して他のデータベース・サーバーまたはストレージ・サーバーと通信できなくなります。有効なAccess VLAN IDの範囲は2744-3967です。

RoCEネットワーク・ファブリックに別のAccess VLANを実装するには、次の手順を使用します。

ノート:

停止が発生しないように、スイッチ構成の変更中にサーバーをシャットダウンすることをお薦めします。ラック内のサーバーのサブセットのAccess VLAN IDを変更する場合、スイッチを変更する前に、影響を受けるサーバーのみをシャットダウンする必要があります。
  1. 構成しているサーバーのre0インタフェースに接続されているRoCEネットワーク・ファブリック・スイッチのホスト名およびポートを特定します。
    [root@dbm01adm02 ~]# /opt/oracle.SupportTools/ibdiagtools/utils/lldp_cap.py re0 
    | egrep 'SWITCH_PORT:|SWITCH_NAME:'
    SWITCH_PORT: Ethernet1/21
    SWITCH_PORT_DESCRIPTION: adm02
  2. 前のステップで特定されたSWITCH_NAMEを使用して、下位リーフ・スイッチにログインします。
    # ssh admin@dbm01sw-rocea0
    User Access Verification
    Password: *******
    
  3. スイッチ・ポートの構成を確認します。

    インタフェースを指定するには、ステップ1で特定したSWITCH_PORTを使用します。

    dbm01sw-rocea0# show running-config interface ethernet 1/21
    !Running configuration last done at: Wed Nov 13 10:34:58 2019
    !Time: Wed Nov 13 14:55:48 2019
    
    version 7.0(3)I7(6) Bios:version 05.33 
    
    interface Ethernet1/21
      description adm02
      switchport access vlan 3888
      priority-flow-control mode on
      spanning-tree port type edge
      spanning-tree bpduguard enable
      mtu 2300
      speed 100000
      duplex full
      no negotiate auto
      service-policy type qos input QOS_MARKING no-stats  
  4. スイッチに新しいVLAN IDを作成します。

    この構成は、スイッチごとに1回だけ必要です。ただし、スイッチでVLAN構成を繰り返しても害はありません。

    たとえば、値3889の新しいVLAN IDを作成するには、次のようにします。

    dbm01sw-rocea0# configure terminal 
    Enter configuration commands, one per line. End with CNTL/Z.
    dbm01sw-rocea0(config)# vlan 3889
    dbm01sw-rocea0(config-vlan)# exit
    dbm01sw-rocea0(config)# exit
    dbm01sw-rocea0# 
  5. スイッチ・ポートの構成を変更して、switchport access vlan設定を変更します。

    前のステップと同じインタフェースを指定します。次に、古いVLAN ID (3888など)を削除し、新しいVLAN ID (3889など)を追加して、構成モードを終了します。

    dbm01sw-rocea0# configure terminal 
    Enter configuration commands, one per line. End with CNTL/Z.
    dbm01sw-rocea0(config)# interface ethernet 1/21
    dbm01sw-rocea0(config-if)# no switchport access vlan 3888
    dbm01sw-rocea0(config-if)# switchport access vlan 3889
    dbm01sw-rocea0(config-if)# exit
    dbm01sw-rocea0(config)# exit
    dbm01sw-rocea0# 
  6. スイッチ・インタフェースが新しいVLAN IDを使用していることを確認します。

    前のステップと同じインタフェースを指定します。

    dbm01sw-rocea0# show running-config interface ethernet 1/21
     
    !Command: show running-config interface Ethernet1/21
    !Running configuration last done at: Wed Nov 20 23:53:38 2019
    !Time: Wed Nov 20 23:53:45 2019
     
    version 7.0(3)I7(6) Bios:version 05.33 
     
    interface Ethernet1/21
      description adm02
      switchport access vlan 3889
      priority-flow-control mode on
      spanning-tree port type edge
      spanning-tree bpduguard enable
      mtu 2300
      speed 100000
      duplex full
      no negotiate auto
      service-policy type qos input QOS_MARKING no-stats
  7. 構成を保存します。
    dbm01sw-rocea0# copy running-config startup-config 
    [########################################] 100%
    Copy complete, now saving to disk (please wait)...
    Copy complete.
  8. すべてのデータベース・サーバー(ベア・メタル・サーバーまたはKVMホスト)および新しいVLAN IDに変更するすべてのストレージ・サーバーについて、ステップ1から7を繰り返します。
  9. 上位リーフ・スイッチに接続されているre1インタフェースについて、ステップ1から8を繰り返します。