主コンテンツへ
Oracle® Exalogic Elastic Cloudマシン・オーナーズ・ガイド
リリース2.0.6.4
B71906-08
目次へ移動
目次

前
次

12.1 Sun Network QDR InfiniBandゲートウェイ・スイッチの使用

この項の内容は次のとおりです。

12.1.1 物理的仕様

この項では、このガイドでリーフ・スイッチとも呼ばれるSun Network QDR InfiniBandゲートウェイ・スイッチを紹介します。

表12-1に、Sun Network QDR InfiniBandゲートウェイ・スイッチの物理的仕様を示します。

表12-1 NM2-GW仕様

寸法 測定値

17.52インチ(445.0mm)

奥行き

24インチ(609.6mm)

高さ

1.75インチ(44.5mm)

重量

23.0ポンド(11.4kg)

12.1.2 ゲートウェイ・スイッチのコマンド行インタフェース(CLI)へのアクセス

電源を入れると、Exalogicマシンでゲートウェイ・スイッチのCLIにアクセスできます。

Exalogicマシンのゲートウェイ・スイッチの数は、購入したExalogicマシンのラック構成によって異なります。これらのゲートウェイ・スイッチのコマンド行インタフェースには、個別にアクセスする必要があります。

たとえば、ゲートウェイ・スイッチのCLIにアクセスするためには、次の手順を完了します。

  1. ネットワーク管理ポートを使用している場合は、sshコマンドとゲートウェイ・スイッチ用に構成されたホスト名を使用して、CLIでネットワーク通信を開始してください。

    % ssh -l root gateway-name
    root@gateway-name's password: password
    #
    

    ここで、gateway-nameはゲートウェイ・スイッチ用に構成されたホスト名です。

    この出力またはプロンプトが表示されない場合は、ネットワーク通信、ホスト名またはCLIに問題があります。

  2. USB管理ポートを使用している場合は、CLIを使用して次のようにシリアル通信を開始します。

    1. USB-シリアル間アダプタへのTIP接続を確立して、シリアル端末、端末サーバーまたはワークステーションを接続します。次の設定で、端末または端末エミュレータを構成します。

      115200ボー、8ビット、パリティなし、1つのストップ・ビット、ハンドシェイクなし

    2. シリアル・デバイスの[Return]または[Enter]キーを数回押して、接続を同期します。次のようなテキストが表示されます。

      …
      CentOS release 5.2 (Final)
      Kernel 2.6.27.13-nm2 on an i686
      
      gateway-name login: root
      Password: password
      #
      

      ここで、gateway-nameはゲートウェイ・スイッチに割り当てられたホスト名です。

      この出力またはプロンプトが表示されない場合は、ネットワーク通信、ホスト名またはコマンド行インタフェース(CLI)に問題があります。

  3. 注意:

    Exalogicマシンの他のゲートウェイ・スイッチ用のCLIにアクセスするには、この手順を繰り返してください。

12.1.3 ゲートウェイ・スイッチのステータスの確認

各ゲートウェイ・スイッチについて、CLI、電源、ファンおよびスイッチ・チップのステータスを確認します。ゲートウェイ・スイッチの電圧と温度の値が仕様の範囲内であることを確認してください。

# showunhealthy
# env_test

これらのコマンドで不適切な出力が生成される場合、その特定のコンポーネントでハードウェア障害が発生していることがわかります。電圧または温度が、提供されている仕様値から10%を超えて変動する場合、個々のコンポーネントで問題が発生していることを意味します。

たとえば、ゲートウェイ・スイッチの1つで、CLIを使用してステータスを確認するには、次のコマンドを入力します。

# env_test

このコマンドは、一連のチェックを実行し、次の例のようにゲートウェイ・スイッチの全体的なステータスを表示します。

Environment test started:
Starting Voltage test:
Voltage ECB OK
Measured 3.3V Main = 3.28 V
Measured 3.3V Standby = 3.37 V
Measured 12V = 12.06 V
Measured 5V = 5.03 V
Measured VBAT = 3.25 V
Measured 1.0V = 1.01 V
Measured I4 1.2V = 1.22 V
Measured 2.5V = 2.52 V
Measured V1P2 DIG = 1.17 V
Measured V1P2 AND = 1.16 V
Measured 1.2V BridgeX = 1.21 V
Measured 1.8V = 1.80 V
Measured 1.2V Standby = 1.20 V
Voltage test returned OK
Starting PSU test:
PSU 0 present
PSU 1 present
PSU test returned OK
Starting Temperature test:
Back temperature 23.00
Front temperature 32.62
SP temperature 26.12
Switch temperature 45, maxtemperature 45
Bridge-0 temperature 41, maxtemperature 42
Bridge-1 temperature 43, maxtemperature 44
Temperature test returned OK
Starting FAN test:
Fan 0 not present
Fan 1 running at rpm 11212
Fan 2 running at rpm 11313
Fan 3 running at rpm 11521
Fan 4 not present
FAN test returned OK
Starting Connector test:
Connector test returned OK
Starting onboard ibdevice test:
Switch OK
Bridge-0 OK
Bridge-1 OK
All Internal ibdevices OK
Onboard ibdevice test returned OK
Environment test PASSED

操作可能なステータスになったら、サブネット・マネージャ(SM)を起動できます。

注意:

Exalogicマシンの他のゲートウェイ・スイッチのステータスを検証するには、この手順を繰り返してください。

12.1.4 サブネット・マネージャの手動での起動

サブネット・マネージャ(SM)は、デフォルトでは、単一のExalogicラック構成のゲートウェイ・スイッチで有効になっています。

しかし、SMがInfiniBandスイッチで実行中ではない場合、次のようにSMを起動してアクティブにできます。

  1. スイッチのCLIで、次のコマンドを実行してSMを起動します。

    # enablesm

  2. コマンド行インタフェース(CLI)で次のようにSM優先度を設定します。

    # setsmpriority priority

    注意:

    SMを実行する多様なラック構成のスイッチ、およびそれらのスイッチ用のSM優先度については、「異なるラック構成でのサブネット・マネージャ操作」を参照してください。

    たとえば、SMをゲートウェイ・スイッチで優先度5に設定するには、次のコマンドを実行します。

    # setsmpriority 5

    次の出力が表示されます。

    -------------------------------------------------
    OpenSM 3.2.6_20090717
      Reading Cached Option File: /etc/opensm/opensm.conf
      Loading Cached Option:routing_engine = ftree
      Loading Cached Option:sminfo_polling_timeout = 1000
      Loading Cached Option:polling_retry_number = 3
    Command Line Arguments:
      Priority = 5
      Creating config file template '/tmp/osm.conf'.
      Log File: /var/log/opensm.log
    -------------------------------------------------
    

    変更を有効にするには、次のようにSMを再起動します。

    # disablesm

    # enablesm

12.1.5 リンク・ステータスの確認

SMの起動後は、有線リンクのリンクLEDが緑色であることを確認できます。リンクLEDが点灯していない場合、リンクが確立されていません。リンクLEDが点滅している場合は、シンボル・エラーが発生しています。

次のように、ケーブルのリンク・ステータスを確認します。

# listlinkup

コネクタのリンクが存在していないことが報告されるときは、ケーブルのどちらかの端のリンクが確立されていません。ポートが停止している場合、enableswitchport 0 portnumberコマンドを使用してポートを起動します。または、ibdevresetコマンドを使用してスイッチ・チップをリセットします。

Sun Network QDR InfiniBandゲートウェイ・スイッチ管理ガイドのスイッチ・チップ・ポートの有効化に関する項およびスイッチ・チップのリセットに関する項を参照してください。

リンクを確立したら、InfiniBandファブリックを確認できます。

次に、listlinkupコマンドの出力例を示します。

# listlinkup
Connector  0A Present <-> Switch Port 20 up (Enabled)
Connector  1A Present <-> Switch Port 22 up (Enabled)
Connector  2A Present <-> Switch Port 24 up (Enabled)
.
.
.
Connector 15A Not present
Connector 0A-ETH Present
 Bridge-0-1 Port 0A-ETH-1 up (Enabled)
 Bridge-0-1 Port 0A-ETH-2 up (Enabled)
 Bridge-0-0 Port 0A-ETH-3 up (Enabled)
 Bridge-0-0 Port 0A-ETH-4 up (Enabled)
Connector 1A-ETH Present
 Bridge-1-1 Port 1A-ETH-1 up (Enabled)
 Bridge-1-1 Port 1A-ETH-2 up (Enabled)
 Bridge-1-0 Port 1A-ETH-3 up (Enabled)
 Bridge-1-0 Port 1A-ETH-4 up (Enabled)
Connector 0B Present <-> Switch Port 19 up (Enabled)
Connector 1B Present <-> Switch Port 21 up (Enabled)
.
.
.
Connector 15B Not present
#

12.1.6 InfiniBandファブリックの確認

InfiniBandファブリックが操作可能であることを確認するために、コマンド行インタフェース(CLI)で次のコマンドを使用します。

  1. ibnetdiscover

    InfiniBandファブリックのトポロジおよび接続を検出して表示します。「InfiniBandネットワーク・トポロジの検出」を参照してください。

  2. ibdiagnet

    InfiniBandファブリックに対する診断を実行し、ステータスを報告します。「InfiniBandファブリックの診断の実行」を参照してください。

  3. ibcheckerrors

    InfiniBandファブリック全体でエラーを確認します。「InfiniBandファブリックのエラーの検証と確認」を参照してください。

12.1.6.1 InfiniBandネットワーク・トポロジの検出

InfiniBandネットワーク・トポロジを検出し、OpenSMサブネット・マネージャが使用するトポロジ・ファイルを作成するために、ゲートウェイ・スイッチのコマンド行インタフェース(CLI)で次のコマンドを実行します。

# ibnetdiscover

次の例のような出力が表示されます。

InfiniBandコマンドでは、トポロジ・ファイルは、InfiniBandファブリックをスキャンしてトポロジ・ファイルの説明に従って接続性を検証するために、またポート・カウンタが示すエラーを報告するために使用されます。

# Topology file: generated on Sat Apr 13 22:28:55 2002
#
# Max of 1 hops discovered
# Initiated from node 0021283a8389a0a0 port 0021283a8389a0a0
vendid=0x2c9
devid=0xbd36
sysimgguid=0x21283a8389a0a3
switchguid=0x21283a8389a0a0(21283a8389a0a0)
Switch   36 "S-0021283a8389a0a0" # "Sun DCS 36 QDR switch localhost" enhanced port 0 lid 15 lmc 0
[23]    "H-0003ba000100e388"[2](3ba000100e38a) # "nsn33-43 HCA-1" lid 14 4xQDR
vendid=0x2c9
devid=0x673c
sysimgguid=0x3ba000100e38b
caguid=0x3ba000100e388
Ca   2 "H-0003ba000100e388" # "nsn33-43 HCA-1"
[2](3ba000100e38a)   "S-0021283a8389a0a0"[23] # lid 14 lmc 0 "Sun DCS 36 QDR switch localhost" lid 15 4xQDR

注意:

InfiniBandファブリックの実際の出力は、前述の例とは異なります。

12.1.6.2 InfiniBandファブリックの診断の実行

InfiniBandファブリックでテストの集合を実行し、InfiniBandファブリックの側面とパラメータを含むいくつかのファイルを生成するために、ゲートウェイ・スイッチのコマンド行インタフェース(CLI)で次のコマンドを実行します。

# ibdiagnet

次の例では、ibdiagnetコマンドはどのリンクが利用されているかを判断するために最小化されています。

# ibdiagnet -lw 4x -ls 10 -skip all

Loading IBDIAGNET from: /usr/lib/ibdiagnet1.2
-W- Topology file is not specified.
 Reports regarding cluster links will use direct routes.
Loading IBDM from: /usr/lib/ibdm1.2
-I- Using port 0 as the local port.
-I- Discovering ... 2 nodes (1 Switches & 1 CA-s) discovered.
.
.
.
-I- Links With links width != 4x (as set by -lw option)
-I---------------------------------------------------
-I- No unmatched Links (with width != 4x) were found
-I---------------------------------------------------
-I- Links With links speed != 10 (as set by -ls option)
-I---------------------------------------------------
-I- No unmatched Links (with speed != 10) were found
.
.
.
-I- Stages Status Report:
 STAGE               Errors Warnings
 Bad GUIDs/LIDs Check               0   0 
 Link State Active Check               0   0 
 Performance Counters Report               0   0 
 Specific Link Width Check               0   0 
 Specific Link Speed Check               0   0 
 Partitions Check               0   0 
 IPoIB Subnets Check               0   0 
Please see /tmp/ibdiagnet.log for complete log
----------------------------------------------------------------
-I- Done. Run time was 1 seconds.

注意:

InfiniBandファブリックの実際の出力は、前述の例とは異なります。

12.1.6.3 InfiniBandファブリックのエラーの検証と確認

トポロジ・ファイルを使用するibcheckerrorsコマンドを使用して、InfiniBandファブリックをスキャンしてトポロジ・ファイルの説明に従って接続性を検証したり、ポート・カウンタが示すエラーを報告します。

コマンド行インタフェース(CLI)で、次のコマンドを入力します。

# ibcheckerrors

## Summary: 4 nodes checked, 0 bad nodes found
##      34 ports checked, 0 ports have errors beyond threshold

注意:

InfiniBandファブリックの実際の出力は、前述の例とは異なります。

12.1.7 Webインタフェースを使用したゲートウェイ・スイッチのモニタリング

  1. Webブラウザを開き、次のURLに移動します。

    http://gateway-IP

    ここで、gateway-IPはゲートウェイ・スイッチのIPアドレスです。

  2. インタフェースにrootユーザーとしてログインします。
  3. 「Switch/Fabric Monitoring Tools」タブをクリックします。
  4. 「Launch Sun DCS GW Monitor」をクリックします。

    ファブリック・モニターが表示されます。