3.1 Ethernetベース・システム用のネットワーク接続およびIPアドレス要件

この項では、Oracle Private Cloud ApplianceとEthernetベースのネットワーク・アーキテクチャを既存のネットワーク・インフラストラクチャに接続するためのネットワーク接続要件とIPアドレス要件について説明します。

3.1.1 Ethernetベース・システムのネットワーク接続要件

インストール前に、既存のネットワーク・インフラストラクチャからOracle Private Cloud Applianceインストール・サイトまでネットワーク・ケーブルを稼働する必要があります。

スパイン Cisco Nexus 9336C-FX2スイッチ上の2つの高速Ethernetポートを、データ・センターの公開Ethernetネットワークに接続する必要があります。 これらはポート5/1および5/2で、10Gbitで構成され、アプライアンス管理および設定用のデフォルト接続として使用されます。 この構成はロックされ、10Gbitのままにする必要があります。それには、スパイン・スイッチの最後にQSFP +トランシーバがあり、他方の端にも4つのSFP +トランシーバが搭載されたケーブルの破損が必要です。

「図3.1」には、スパイン・スイッチの2つの10 GbEブレークアウト・ポートのロケーションが示され、これらはデータ・センター・ネットワークに接続されている必要があります。

図3.1 Spine Cisco Nexus 9336C-FX2 Switchのデフォルト10GbEブレークアウト・ポート

各スパインCisco Nexus 9336C-FX2スイッチからのデフォルト・アップリンクの10GbEポートのロケーションを示す図。

注意

両方のスパイン・スイッチは、2つの10GbE接続をそれぞれ次のデータ・センター・スイッチのペアに持つことが重要です。 この構成には4つのケーブル接続があり、スパイン・スイッチのレベルでの冗長性および負荷の分割、10GbEポートおよびデータ・センター・スイッチが提供されます。 このアウトバウンド配線は、スパインCisco Nexus 9336C-FX2スイッチのペアから到達する必要があります: 各スパイン・スイッチは、次の2つのデータ・センター・スイッチに接続されている必要があります。 配線パターンは、フェイルオーバー時のサービスの継続期間において重要なロールを果します。

3.1.1.1 データ・センター・スイッチ構成ノート

データ・センターの構成が受信Oracle Private Cloud Applianceアップリンクを受け入れるように切り替わる場合 - デフォルトのアップリンクおよび定義したカスタム・アップリンク - これらの注意事項を考慮してください。

  • すべてのアップリンク(デフォルトおよび顧客)は、リンク・アグリゲーション(LACP)を使用するように構成されています。 アップリンク構成に含まれている4つのスイッチ・ポートすべて - スパイン・スイッチごとに2つ - 同じグループ(LAG)に属し、ポート・チャネルとも呼ばれる必要があります。 アップリンクのデータ・センター側のスイッチ・ポートは、それに応じて構成する必要があります。

  • Oracle Private Cloud Applianceアップリンクの接続先となるデータ・センター・スイッチ・ポートは、ランク・モードに設定する必要があります。

  • スパイン・スイッチは、仮想ポート・チャネル(vPC)機能が有効な状態で動作します。 したがって、標準のツリー・プロトコル(STP)は、Oracle Private Cloud Applianceに接続されたデータセンターのネットワーク・ポートではサポートされていません。 Oracle Private Cloud Applianceに接続されたスイッチ・ポートでスパニング・ツリー・プロトコルが必要な場合は、Multiple Spanning Tree Protocol (MSTP)または互換性のあるプロトコルを使用する必要があります。

  • 自動ネゴシエーションはアップリンク・ポートでは使用できません。 顧客スイッチの端に転送速度を指定する必要があります。 デフォルトのアップリンク・ポートでは、これは10Gbit/秒です。

次に、参照用のカスタム・アップリンク構成の例を示します。

この例では、両方のスパイン・スイッチのポート3が4x 25Gビットに分割されています。 ポート3:1および3:2は、ToRスイッチのペアにケーブル接続されます。 Oracle Private Cloud Applianceの内部スパイン・スイッチと同様、2つのToRスイッチでは仮想ポート・チャネル(vPC)機能が有効になっており、両方のスイッチのポートは同じポート・チャネル内で動作できます。

主な構成パラメータは次のとおりです。

  • vPC機能は両方のToRスイッチで有効にする必要があります: vpc domain 1。

  • 両方のToRスイッチのポート49および50は、ポート・チャネル200に属している必要があります。

  • 両方のToRスイッチのポート・チャネル200は、仮想ポート・チャネル200に属する必要があります。

  • MTU、スピード、スパニング・ツリーのフィルタなどのポート・チャネル・パラメータは、両方のToRスイッチで同一である必要があります。

  • すべてのポート・チャネルおよびスイッチ・ポート・インタフェースがランク・モードに設定されています。

ToRスイッチa構成:

feature lacp
feature vpc
vpc domain 1
    peer-switch
    role priority 1
    peer-keepalive destination <ToR-B_IP> source <ToR-A_IP> 
    peer-gateway
    layer3 peer-router
    ip arp synchronize

interface port-channel 200
    description "Uplink PCA 3:1 3:2 port channel"
    switchport mode trunk
    switchport trunk allowed vlan 1-4094     ### optional, typical default setting
    switchport trunk native vlan 500         ### optional, for data center vlan
    speed 25000
    mtu 9216
    vpc 200

interface Ethernet 1/49
    description "PCA spine 1 Port 3:1"
    switchport mode trunk
    switchport trunk allowed vlan 1-4094     ### optional, typical default setting
    switchport trunk native vlan 500         ### optional, for data center vlan
    speed 25000
    mtu 9216
    channel-group 200 mode active

interface Ethernet 1/50
    description "PCA spine 2 Port 3:1"
    switchport mode trunk
    switchport trunk allowed vlan 1-4094     ### optional, typical default setting
    switchport trunk native vlan 500         ### optional, for data center vlan
    speed 25000
    mtu 9216
    channel-group 200 mode active

ToRスイッチbの構成:

feature lacp
feature vpc
vpc domain 1
    peer-switch
    role priority 2
    peer-keepalive destination <ToR-A_IP> source <ToR-B_IP> 
    peer-gateway
    layer3 peer-router
    ip arp synchronize

interface port-channel 200
    description "Uplink PCA 3:1 3:2 port channel"
    switchport mode trunk
    switchport trunk allowed vlan 1-4094     ### optional, typical default setting
    switchport trunk native vlan 500         ### optional, for data center vlan
    speed 25000
    mtu 9216
    vpc 200

interface Ethernet 1/49
    description "PCA spine 1 Port 3:2"
    switchport mode trunk
    switchport trunk allowed vlan 1-4094     ### optional, typical default setting
    switchport trunk native vlan 500         ### optional, for data center vlan
    speed 25000
    mtu 9216
    channel-group 200 mode active

interface Ethernet 1/50
    description "PCA spine 2 Port 3:2"
    switchport mode trunk
    switchport trunk allowed vlan 1-4094     ### optional, typical default setting
    switchport trunk native vlan 500         ### optional, for data center vlan
    speed 25000
    mtu 9216
    channel-group 200 mode active

3.1.1.2  アプライアンス・アップリンク構成

アップリンクは、スパイン・スイッチとデータ・センター・ネットワークまたはラックの上部(ToR)スイッチ間のシステム物理接続です。 スパイン・スイッチのポート1-4は、顧客が使用するために予約されています。 アップリンク構成は、この項で説明する要件および制限に準拠する必要があります。

高可用性を実現するために、アップリンク・ポートは各スパイン・スイッチのペアで常に構成されます。 各ポート・ペアは、適切なトランシーバおよびケーブルを使用して、次のいずれかのモードで動作する必要があります。

  • 100Gbitの全ポート帯域幅

  • 40Gbitの全ポート帯域幅

  • 4方向ブレークアウト・ケーブル付き4x 25Gビット

  • 4方向ブレークアウト・ケーブル付き4x 10Gビット

注意

Cisco Nexus 9336C-FX2スイッチのポートはQSFP28 100Gビット・タイプです。 データ・センターのネットワーク・インフラストラクチャに応じて、各顧客予約ポートを最大帯域幅で使用したり、25Gビット(SFP28)または10Gビット(SFP+)に分割できます。 Oracle Private Cloud Applianceからの外部Ethernet接続の場合、最小速度の10Gbit/秒が必要です。 目的の構成のケーブルおよびトランシーバ要件を確認します。 Oracle Private Cloud Applianceスパイン・スイッチには、Oracle提供のトランシーバのみをインストールする必要があります。

スパイン・スイッチのポート10-4のカスタム・ネットワークの場合、ポート・ペアとそれらの操作のモードは、Oracle Private Cloud Appliance CLIを使用して構成します。 スパイン・スイッチ5のデフォルト・アップリンク・ポートの構成は変更できません: ポート5/1および5/2のToRスイッチにケーブルを接続する4x 10Gbitモードで動作し、ポート5/3および5/4は未使用のままです。

スパイン・スイッチのポート1、2、およびポート3と4は、同時に構成する必要があります。 1つのポートがブレークアウト・ケーブルを使用する場合、もう1つのポートもその方法で設定する必要があります。 同じブレークアウト・ケーブルにある4つのポートはすべて同じ速度に設定する必要があります。ただし、速度の異なるアウト・ケーブルを設定できます。

この結果、次の構成がサポートされます。

図3.2 サポートされているアップリンク・ポート構成

スパイン・スイッチでサポートされているアップリンク・ポートの構成を示す図。

注意

個々のスパイン・スイッチの各ポート・ペアは、2つのToRスイッチに相互接続されている必要があります。 外部接続用に構成された各ポート・ペア - 定義による両方のスパイン・スイッチで同様 - 対応するVLANは個別のVLANです。 ポートおよびスイッチの重複除外は、主に冗長性を確保するものです。VLANはすでにトラフィックを分離しています。

スパイン・スイッチでは、16個のポート・ペアに対応する8個のカスタム・アップリンクの最大サポート数を許可します。 この番号には、デフォルトのアップリンクは含まれていません。

3.1.1.3 オプションのデータ・センター管理ネットワーク・アップリンク

パブリックEthernet接続に加えて、インストール・サイトの管理ネットワークまたはマシン管理ネットワークにCisco Nexus 9348GC-FXPスイッチを接続できます。 このようなアップリンクを使用することを選択した場合は、第3.1.2項、「EthernetベースのシステムのIPアドレス要件」で説明されている一時的なワークステーション接続のかわりに長期間使用することを検討してください。 アプライアンス・ネットワーク設定が適用された場合は、アプライアンスの初期化後に管理アップリンクを構成します。

注意

Cisco Nexus 9348GC-FXPスイッチでポート2を接続します。

この接続で使用されるデータセンターのEthernetスイッチが、Oracle Private Cloud Applianceが使用する192.168.4.0/24サブネットにDHCPリークを防ぐように構成されていることを確認してください。 DHCP以外に任意の種類のブロードキャスト・サービスを使用してネットワークに接続しないでください。

データ・センター管理ネットワークに永続的に接続されているマシンを記述するための名前であるbastion hostの場合は、IPアドレス192.168.4.199を使用してそのネットワーク・インタフェースに静的に割り当てます。 同じIPアドレスを使用して、IPの競合の原因となるサブネット上に他のマシンがないことを確認します。

アプライアンスの内部管理ネットワークへの接続。Cisco Nexus 9348GC-FXPスイッチに直接接続するか、データセンター内の追加のEthernetスイッチを介して接続することは、Oracle Private Cloud Applianceダッシュボードのアプライアンス管理機能にアクセスするための不要です。 アプライアンス内部管理ネットワークの主なロールは、管理ノード上のコントローラ・ソフトウェアがコンピュート・ノードおよび他のラック・コンポーネントとやり取りすることを可能にすることです。 アプライアンス外部からこのネットワークに接続すると、たとえばILOMを制御するために、各コンポーネントへの直接の管理者アクセスを取得できます。

注意

Oracle Supportから指示されないかぎり、このネットワーク上のなんらかの変更は行わないでください。

一方、Oracle Private Cloud ApplianceダッシュボードおよびOracle VM Manager UIは、内部管理ネットワークではなく、管理ノード・クラスタの仮想IPアドレスを介してアクセスします。 仮想IPアドレスは、データ・センター・ネットワークからアクセスできる必要があるという意味でパブリックです。 このIPアドレスは、第3.3項、「一般的なネットワーク構成」で説明されているように、データ・センター・ネットワークで事前に予約してから、ソフトウェアの初期化時にアプライアンス・ネットワーク設定で構成します。 Oracle Private Cloud Applianceダッシュボードへの最初のアクセス方法は、第5.3.5項、「アプライアンスのネットワークへの接続」で提供されています。

3.1.2 Ethernetベース・システムのIPアドレス要件

Oracle Private Cloud Applianceには、多数のプライベートIPアドレスが必要です。 これらは通常の操作と将来のシステム拡張のために予約され、再構成できません。 システム・レベルのサブネットおよびIPは回避する必要がありますが、カスタマは要件に合った外部マシンおよび仮想マシン・トラフィック用のネットワーク構成を選択できます。

Oracle Private Cloud Applianceに事前割当てされるデフォルトIPアドレスのリストは、「付録A , デフォルトのIPアドレスを参照してください。

Oracle Private Cloud Applianceダッシュボードへの初期アクセスを取得するには、端末またはワークステーションをwebブラウザを使用して内部管理ネットワークに直接接続する必要があります。 Cisco Nexus 9348GC-FXPスイッチでEthernetケーブルを使用可能ポート48に接続し、192.168.4.254のIPアドレスを使用するようにワークステーションの有線ネットワーク接続を静的に構成します。

注意

IPアドレス192.168.4.254およびスイッチ・ポート48は、アプライアンスの最初のブート、初期化およびプロビジョニング時にワークステーションに接続するために特別に予約されています。

Oracle Private Cloud Applianceの最初のソフトウェア構成時に、管理ノードのネットワーク設定を構成します。 この目的のために、パブリック(データ・センター)ネットワーク内に3つのIPアドレスを予約する必要があります: 各管理ノードに1つ、および両方の管理ノードによって共有される仮想IPアドレスとして使用するもの。 データ・センターのネットワーク・トラフィックにタグを付ける場合は、VLAN IDも構成の一部として提供されていることを確認してください。 仮想IPアドレスによって、ソフトウェアの初期化が完了するとダッシュボードにアクセスできるようになります。

ネットワークの干渉および競合を回避するには、データ・センター・ネットワークがOracle Private Cloud Appliance内部構成のインフラストラクチャ・ネットワークのいずれとも重複していないことを確認する必要があります。 これらは、クリアしておく必要があるサブネットおよびVLANです。

サブネット:

  • 192.168.4.0/24 - 内部マシン管理ネットワーク: ILOMと物理ホストの接続

  • 192.168.32.0/21 - 内部管理ネットワーク: 管理ノードとコンピュート・ノード間のトラフィック

  • 192.168.64.0/21 - アプライアンス環境内の東/西トラフィックのための基礎ネットワーク

  • 192.168.72.0/21 - 北/南トラフィック用の基礎ネットワーク、外部接続を可能にする

  • 192.168.40.0/21 - storage network: サーバーとZFSストレージ・アプライアンス間のトラフィック

注意

/21サブネットは、8つの/24サブネットまたは2000以上のIPアドレスのIP範囲で構成されます。 次に例を示します: 192.168.32.0/21は、192.168.32.1から192.168.39.255へのすべてのIPアドレスに対応しています。

VLAN:

  • 1 - CiscoのデフォルトVLAN

  • 3040 - デフォルト・サービスVLAN

  • 3041-3072- 顧客VMおよびホスト・ネットワーク用に予約された31 VLANの範囲

  • 3073-3099-システム・レベルの接続用に予約されている範囲

    注意

    VLAN 3090-3093は、前述の/21サブネット経由のタグ付けされたトラフィックですでに使用されています。

  • 3968-4095- Ciscoの内部デバイスの割当て用に予約された範囲