ここでは、物理的な高速Ethernetファブリックに基づいたネットワーク・アーキテクチャを備えたシステムのネットワーク要件および機能について説明します。
Oracle Private Cloud at Customerは、アプリケーションおよび管理機能ごとに、セキュアで信頼性の高いネットワーク接続を提供するために、様々な物理および論理ネットワークに依存します。 この項では、Oracle Private Cloud at Customerシステムをインストールするための最小ネットワーク要件について説明します。
インフラストラクチャ管理ネットワーク
ベース・ラック内のすべてのインフラストラクチャ・コンポーネントは、このGigabit Ethernetネットワーク(
192.168.4.0/24サブネットを使用する)に物理的に接続されます。 1つのアップリンクで、これをOracle管理スイッチに接続します。スイッチは、Oracle Advanced Support Gatewayの管理インタフェースを統合します。 2つ目のネットワーク・インタフェースでは、サポート・ゲートウェイがデータ・センター・ネットワークに接続し、Oracleがインフラストラクチャ管理ネットワークにリモートでアクセスできるようにします。 このネットワークへの顧客または外部アクセスは許可されていません。データ・ネットワーク
アプライアンス・データ接続は、リーフのスパイン・スイッチの冗長Cisco Nexus 9336C-FX2スイッチ上に組み込まれています。 この2レイヤーの設計では、リーフ・スイッチはラック・ハードウェア・コンポーネントを相互接続し、スパイン・スイッチはネットワークのバック結合を形成し、ルーティング・タスクを実行します。
Cisco Nexus 9336C-FX2 Switchでは、1ポート当たり最大スループットは100Gbitです。 スパイン・スイッチでは5つのインター・リンク(500Gbit)が使用され、リーフ・スイッチでは2つのインター・リンク(200Gbit)と2x2のクロス・リンクがスピンに使用されます。 各コンピュート・ノードは、リンク集計モードの2つの100Gbit Ethernetポートで構成される
bond1インタフェースを介して、ラック内の両方のリーフ・スイッチに接続されます。 2つのストレージ・コントローラは、4x40Gbit接続を使用してスパイン・スイッチに接続されています。外部接続の場合、各スパイン・スイッチに5つのポートが予約されます。 カスタム・ネットワーク構成には4つのポートを使用できます。デフォルトのアップリンクには1つのポートが必要です。 この「デフォルト外部アップリンク」では、両方のスパイン・スイッチのポート5がQSFP+-to-SFP+ 4方向のスプリッタまたはブレーク・アウト・ケーブルを使用して分割されている必要があります。 スパイン・スイッチの4つの10GbE SFP+ブレーク・アウト・ポート、ポート5/1および5/2の2つは、ラックの上位またはToRスイッチとも呼ばれる次レベルのデータ・センター・スイッチのペアに接続されている必要があります。
ソフトウェア定義ネットワーク
前述の物理データ・ネットワークではデータ・パケットを転送できますが、VxLANカプセル化およびVLANタグ付けを使用して、ソフトウェア定義ネットワーク(SDN)を介して実際の接続性が実装されます。 トラフィックは、アプライアンス環境内のリソース間、またはデータセンターやインターネット上の外部へのネットワーク・ストレージ、アプリケーション、またはその他のリソースとなります。 SDNでは、分離された接続のトラフィックの分離を保持し、パフォーマンスや動的(再)割当てを向上させます。
顧客ネットワークから見て、Oracle Private Cloud at CustomerでのVxLANsの使用は透過的です: カプセル化およびカプセル化解除は、インバウンドまたはアウトバウンドのデータ・パケットを変更せずに内部的に実行されます。 つまり、この設計では、アプライアンスでホストされる仮想化環境に、顧客のネットワーク(タグ付けまたはタグ付けの解除)を拡張します。
システムの初期化プロセス中に、次のような必須のデフォルト・ネットワークが構成されます:
「内部ストレージ・ネットワーク」は、スパイン・スイッチからZFSストレージ・アプライアンスへの冗長40Gbit Ethernet接続です。 4つのストレージ・コントローラ・インタフェースはすべて、LACPを使用して1つのデータリンクに結合されます。 管理ノードおよびコンピュート・ノードは、VLAN 3093で
192.168.40.0/21サブネット全体に内部ストレージに到達できます。 このネットワークは、クラスタ化されたOracle VMサーバー・プールのハートビート機能も満たします。「内部管理ネットワーク」によって、管理ノードと、VLAN 3092のサブネット
192.168.32.0/21にあるコンピュート・ノード間の接続が提供されます。 Oracle VM Manager、Oracle VM ServerおよびOracle VM Agentsに固有のすべてのネットワーク・トラフィックで使用されます。「内部基礎ネットワーク」は、コンピュート・ノード間のデータ・トラフィックに対応するインフラストラクチャ・レイヤーを提供します。 これは、VLAN 3091上のサブネット
192.168.64.0/21を使用します。 内部機能ネットワークの上位には、内部アクセスのみが必要な仮想マシン接続を有効化するために、内部VxLANオーバーレイ・ネットワークが構築されます。「外部下線ネットワーク」は、Oracle Private Cloud at Customerとデータ・センター・ネットワーク間のデータ・トラフィック用のインフラストラクチャ・レイヤーを提供します。 これは、VLAN 3090上のサブネット
192.168.72.0/21を使用します。 外部機能強化ネットワークの上には、外部アクセスのあるVxLANオーバーレイ・ネットワークが構築されて、物理ノードおよびホストするすべての仮想マシンのパブリック接続が可能になります。デフォルトの外部VxLANオーバーレイ・ネットワークでは、データ・センター・ネットワークから管理ノードにアクセスし、複数のシステム・サービスを管理ノードで実行できます。
「仮想マシン・ネットワーク」は、インフラストラクチャ層として前述した、不足ネットワークを使用するように構成されたVxLANオーバーレイ・ネットワークです。 2つのVxLANネットワークが事前に構成されています: 「デフォルトの内部VMネットワーク」(デフォルトではタグ付けされていないトラフィックをサポートします)、および「デフォルトの外部ネットワーク」(デフォルトではタグ付けされたトラフィックとタグ付けされていないトラフィックの両方をサポートします)。 カスタマは、選択したVLANをOracle VMネットワーク構成に追加し、仮想マシン・レベルでIPアドレス割当てに適したサブネットを定義できます。
カスタム・ネットワークを使用すると、仮想マシンのネットワーキングを強化し、分離できます。 カスタム・ネットワークは、デフォルトのプライベート・ネットワークとパブリック・ネットワークと同じ方法で構成されるインフラストラクチャ・ネットワークですが、異なるコンピュート・ノードのネットワーク・インタフェースを使用し、異なるスパイン・スイッチのポートで終了します。 パブリック接続が必要な場合は、スパイン・スイッチと次のレベルのデータ・センター・スイッチの間の追加のケーブル接続が必要です。 ネットワークのカスタマイズは、Oracleで行う必要があります。
「仮想マシン・ストレージ内部ネットワーク」はシステム構成時に作成されるため、共有NFSストレージを仮想マシンに提示できます。 必要なIPアドレスは、インストール前に顧客によって指定されます。
また、Oracle Private Cloud at Customerには、次のデータ・センター・ネットワーク・サービスが必要です:
DNSサービス
デプロイメント・プロセスの一部として、Oracleと連携して、Oracle Private Cloud at Customerのデプロイ時に使用するホスト名とIPアドレスを決定します。 完全修飾ドメイン名(FQDN)および管理ノードのIPアドレスは、データ・センターのドメイン名システム(DNS)に登録されている必要があります。
NTPサービス
少なくとも1つの信頼性のあるNetwork Time Protocol (NTP)サーバーが必要であり、クライアント・ネットワークからアクセスできる必要があります。 このロールはOracle Advanced Support Gatewayによって履行されます。 管理ノードはNTPサーバーと同期するように構成されます。 その他すべてのOracle Private Cloud at Customerコンポーネントは、クロック同期のためにアクティブ管理ノードを参照するように構成されます。
Oracle Private Cloud at Customerラックはすべて、Oracle Private Cloud at Customerラックをサポートするための必要なネットワーク装置に同梱されています。 すべての基本ラックには、将来の環境拡張時に追加のコンピュート・ノードを設置できる、すべてのラック・ユニット用に事前に設置されているケーブルも含まれます。 ただし、顧客はスイッチにトランシーバを、データセンター・ネットワークからラックのロケーションに配線する必要があります。
Oracle Private Cloud at Customerシステムの電源を初めて投入する前に、各「スパイン・スイッチ」 Cisco Nexus 9336C-FX2スイッチ上の2つの高速イーサネット・ポートがデータ・センターの公開イーサネット・ネットワークに接続されている必要があります。 これらはポート5/1および5/2で、10Gbitで構成され、アプライアンス管理および設定用のデフォルト接続として使用されます。 この構成はロックされており、10ギガビットのままにする必要があります。スパイン・スイッチの端にQSFP+トランシーバがあり、もう一方の端にSFP+トランシーバが4つあるブレーク・アウト・ケーブルが必要です。
「図4.1」には、スパイン・スイッチの2つの10個のGbEブレーク・アウト・ポートのロケーションが示され、これらはデータ・センター・ネットワークに接続されている必要があります。
「両方の」スパイン・スイッチには、次のデータ・センター・スイッチまたはラックの上部(ToR)スイッチのペアへの「2つ」 10GbE接続が存在することが重要です。 この構成には4つのケーブル接続があり、スパイン・スイッチのレベルでの冗長性および負荷の分割、10GbEポートおよびデータ・センター・スイッチが提供されます。 スパインCisco Nexus 9336C-FX2スイッチのペアからのアウトバウンド配線は交差する必要があります: 各スパイン・スイッチは、次のレベルのデータ・センター・スイッチ(ToR)に接続する必要があります。 配線パターンは、フェイルオーバー時のサービスの継続期間において重要なロールを果します。
Oracle Private Cloud at Customerでホストされている環境に追加の帯域幅を提供するには、追加のカスタム・ネットワークを構成できます。 詳細は、Oracle担当者にお問い合わせください。
着信Oracle Private Cloud at Customerアップリンクを受け入れるようにデータ・センター・スイッチを構成する場合 - デフォルトのアップリンクとカスタム・アップリンク - 次のノートを考慮してください。
すべてのアップリンク(デフォルトおよび顧客)は、リンクアグリゲーション(LACP)を使用するように構成されています。 アップリンク構成に含まれる4つのスイッチ・ポートすべて - スパイン・スイッチごとに2つ - 、ポート・チャネルとも呼ばれる同じグループ(LAG)に属している必要があります。 アップリンクのデータセンター側のスイッチ・ポートは、それに応じて構成する必要があります。
Oracle Private Cloud at Customerアップリンクが接続されているデータセンターのスイッチ・ポートは、ランク・モードに設定する必要があります。
スパイン・スイッチは、仮想ポート・チャネル(vPC)機能を有効にして動作します。 したがって、標準スパニング・ツリー・プロトコル(STP)は、Oracle Private Cloud at Customerに接続されたデータ・センターのネットワーク・ポートではサポートされていません。 Oracle Private Cloud at Customerに接続されたスイッチ・ポートでツリー・プロトコルが必要な場合は、Multiple Spanning Tree Protocol (MSTP;ツリー・プロトコル)または互換プロトコルを使用する必要があります。
自動ネゴシエーションはアップリンク・ポートでは使用できません。 顧客スイッチの端に転送速度を指定する必要があります。 デフォルトのアップリンク・ポートでは、これは10Gbit/sです。
例
参照用のカスタム・アップリンク構成の例を次に示します。
この例では、両方のスパイン・スイッチのポート3が4x 25Gbitに分割されます。 ポート3:1および3:2は、ToRスイッチのペアにクロス・ケーブル接続されています。 Oracle Private Cloud at Customerの内部スパイン・スイッチと同様に、2つのToRスイッチでは仮想ポート・チャネル(vPC)機能が有効になっているため、両方のスイッチのポートが同じポート・チャネル内で動作できます。
主要な構成パラメータは次のとおりです:
両方のToRスイッチでvPC機能を有効にする必要があります: vpc domain 1.
「両方の」 ToRスイッチのポート49および50は、ポート・チャネル200に属している必要があります。
「両方の」 ToRスイッチのポート・チャネル200は、仮想ポート・チャネル200に属している必要があります。
MTU、速度、ツリー・フィルタなどのポート・チャネル・パラメータは、両方のToRスイッチで同一である必要があります。
すべてのポート・チャネルおよびスイッチ・ポート・インタフェースがランク・モードに設定されます。
ToRスイッチAの構成:
feature lacp
feature vpc
vpc domain 1
peer-switch
role priority 1
peer-keepalive destination <ToR-B_IP> source <ToR-A_IP>
peer-gateway
layer3 peer-router
ip arp synchronize
interface port-channel 200
description "Uplink PCA 3:1 3:2 port channel"
switchport mode trunk
switchport trunk allowed vlan 1-4094 ### optional, typical default setting
switchport trunk native vlan 500 ### optional, for data center vlan
speed 25000
mtu 9216
vpc 200
interface Ethernet 1/49
description "PCA spine 1 Port 3:1"
switchport mode trunk
switchport trunk allowed vlan 1-4094 ### optional, typical default setting
switchport trunk native vlan 500 ### optional, for data center vlan
speed 25000
mtu 9216
channel-group 200 mode active
interface Ethernet 1/50
description "PCA spine 2 Port 3:1"
switchport mode trunk
switchport trunk allowed vlan 1-4094 ### optional, typical default setting
switchport trunk native vlan 500 ### optional, for data center vlan
speed 25000
mtu 9216
channel-group 200 mode activeToRスイッチBの構成:
feature lacp
feature vpc
vpc domain 1
peer-switch
role priority 2
peer-keepalive destination <ToR-A_IP> source <ToR-B_IP>
peer-gateway
layer3 peer-router
ip arp synchronize
interface port-channel 200
description "Uplink PCA 3:1 3:2 port channel"
switchport mode trunk
switchport trunk allowed vlan 1-4094 ### optional, typical default setting
switchport trunk native vlan 500 ### optional, for data center vlan
speed 25000
mtu 9216
vpc 200
interface Ethernet 1/49
description "PCA spine 1 Port 3:2"
switchport mode trunk
switchport trunk allowed vlan 1-4094 ### optional, typical default setting
switchport trunk native vlan 500 ### optional, for data center vlan
speed 25000
mtu 9216
channel-group 200 mode active
interface Ethernet 1/50
description "PCA spine 2 Port 3:2"
switchport mode trunk
switchport trunk allowed vlan 1-4094 ### optional, typical default setting
switchport trunk native vlan 500 ### optional, for data center vlan
speed 25000
mtu 9216
channel-group 200 mode activeOracle Private Cloud at Customerの初期ソフトウェア構成中に、管理ノードのネットワーク設定を再構成する必要があります。 この目的のために、パブリック(データ・センター)ネットワーク内に3つのIPアドレスを予約する必要があります: 各管理ノードに1つ、および両方の管理ノードによって共有される仮想IPアドレスとして使用するもの。 データ・センターのネットワーク・トラフィックにタグを付ける場合は、VLAN IDも構成の一部として提供されていることを確認してください。
Oracle Private Cloud at Customerには、多数の事前割当て済プライベートIPアドレスも必要です。 ネットワークの干渉および競合を回避するには、データ・センター・ネットワークがOracle Private Cloud at Customerのデフォルト構成のインフラストラクチャ・サブネットのいずれとも重複していないことを確認する必要があります。 これらは、クリアしておく必要があるサブネットおよびVLANです:
サブネット:
192.168.4.0/24 - 内部マシン管理ネットワーク: ILOMと物理ホストの接続
192.168.32.0/21 - 内部管理ネットワーク: 管理ノードとコンピュート・ノード間のトラフィック
192.168.64.0/21 - アプライアンス環境内の最小/西部のトラフィックのためのネットワーク強化
192.168.72.0/21 - 北/南トラフィック用のアンダースコアを形成し、外部接続を可能にします
192.168.40.0/21 - ストレージ・ネットワーク: サーバーとZFSストレージ・アプライアンス間のトラフィック
各/21サブネットは、8つの/24サブネットまたは2000以上のIPアドレスのIP範囲で構成されます。 例えば: 192.168.32.0/21は、192.168.32.1から192.168.39.255へのすべてのIPアドレスに対応しています。
VLANs:
1 - CiscoのデフォルトVLAN
3040 - デフォルト・サービスVLAN
3041-3072 - 顧客VMおよびホスト・ネットワーク用に予約された31 VLANの範囲
3073-3099 - システム・レベルの接続用に予約されている範囲
ノートVLAN 3090-3093は、前述の
/21サブネット経由のタグ付けされたトラフィックですでに使用されています。3968-4095 - Ciscoの内部デバイスの割当て用に予約された範囲