test

Sun Enterprise 10000 InterDomain Networks ユーザーマニュアル

第 1 章 InterDomain Networks の概要

この章では、IDN の概要、ドメイン IP アドレス、Dynamic Reconfiguration (DR: 動的再構成)、メモリーエラーの処理、ネットワーク規模のアービトレーション停止 (arbstops)、およびシステムのコマンドとデーモンについて説明します。

注 -

IDN の構成方法はオンラインマニュアル Solaris 8 6/00 on Sun Hardware Collection - Japanese AnswerBook2 Collection の「Sun Enterprise 10000 Domain 構成マニュアル」を参照してください。

IDN の概要

InterDomain Network (IDN: ドメイン間相互ネットワーク) 機能は、単一の Sun Enterprise 10000 プラットフォーム上での、動的システムドメイン (または単に「ドメイン」) 間の高速ネットワーキングをサポートします。IDN ドライバは、DLPI エクスポートドライバです。この IDN ドライバにより、ドメインは TCP/IP (Transmission Control Protocol/Internet Protocol) のような標準ネットワークインタフェースを使用して、相互に通信を行うことができます。しかも、IDN は配線や特別なハードウェアを必要としません。

Sun Enterprise 10000 には、常駐ドメインが共有メモリーを使用してシステムセンタープレーン経由で互いに通信できるようにするための、ハードウェア機能があります。InterDomain Networks では、この機能を利用します。Shared Memory Region (SMR: 共有メモリー領域) が、ネットワークパケットのコンジットとして使用されます。SMR は、IDN 内の 1 つのドメイン上に保持され、同じ IDN 内にある他のすべてのドメインによって使用されます。

1 つの Sun Enterprise 10000 プラットフォーム内に、複数の独立した IDN を存在させることもできます。それぞれのネットワークに複数の論理ネットワークインタフェース、すなわちチャネルを持たせることも可能で、この場合は各チャネルが別々の IP サブネットとなります。ネットワークの数や、特定のネットワークを形成するドメインを構成する際には、使用するアプリケーションの性能を考慮してください。たとえば、高速接続を必要とするのはどのドメインであるか、またそれらのドメインに InterDomain のネットワークを効果的に利用するための十分な処理能力があるか、といったことを考慮する必要があります。

IDN には、数多くの用途があります。たとえば、IDN を以下のような用途に使用できます。

ドメインのリンク

ドメインを IDN にリンクする、または IDN を作成するには、domain_link(1M) コマンドを使用します。ドメイン名を指定する順序は関係ありません。domain_link(1M) コマンドの使用法については、「非アクティブドメインに対して domain_link(1M) コマンドを使用する」を参照してください。

domain_link(1M) の引数に、すでに IDN の一部であるドメインを指定すると、その IDN 内にある他のドメインもすべて domain_link(1M) コマンドによってリンクされます。

IDN 内の各ドメインをリンクすると、各ドメインはネットワーク上にある他のドメインと、共有メモリー領域 (SMR) を使用して相互に直接通信することが可能になります。IDN に追加した順序によって、ドメイン間に優先順位が設定されることはありません。

マスタードメイン

IDN 内のドメインを 1 つだけマスタードメインとして指定することができます。マスタードメインには、ネットワークトラフィックのコンジットとして使用される SMR が保持されます。たとえば、domain_a がマスタードメインの場合は、domain_b と domain_c は domain_a にある SMR を使用して互いに通信します。

図 1-1 マスタードメインの SMR を使用したドメインの通信

Graphic

既存の IDN のどれにも属さない 2 つのドメインから新規の IDN を作成する場合は、システムによってマスタードメインが自動的に選択されます。いったんこの決定が行われると、マスタードメインをリンク解除しない限り、またはマスターがハングアップしてネットワークが代替マスターを使用するように自動的に再構成されない限り、マスタードメインを変更することはできません。この規則の唯一の例外は、単一の domain_link(1M) コマンドを使用して、2 つの既存の IDN を統合する場合です。この場合は、現在の 2 つのマスタードメインのうちのどちらかのドメインを新たな IDN のマスタードメインとするのかを、システムが決定します。

システムは、どちらのドメインが最大の処理能力と最大のメモリー帯域幅を持っているかを判定することによって、マスタードメインを選択します (メモリー帯域幅は、実際にはドメイン内に存在するシステムボードの枚数と相関関係にあります)。本来、総合的な容量が最大であるドメインが他のドメインのために IDN バッファー要求に対応する必要があるので、そのようなドメインがマスタードメインとして使用されます。

ドメインのリンク解除

IDN からドメインをリンク解除するには、domain_unlink(1M) コマンドを使用します。domain_unlink(1M) コマンドは、1 つ以上のドメインをパラメタとして受け付けます。ドメインをリンク解除すると、IDN 内の残りのドメインにメッセージが送られ、それ以降リンク解除されるドメインと通信を行ってはならないことが通知されます。ネットワーク内の他のドメイン間では、リンク解除操作の間も、またその後も、中断されることなく引き続き通信が行われます。

IDN リンクの構成解除とそれに関連するネットワークインタフェースの構成解除は、どちらを先に行っても構いませんが、切断されたリンクをユーザーが不必要に使用しないよう、ドメインをリンク解除する前に、ifconfig(1M) コマンドを使用してネットワークインタフェースの構成を解除しておくことをお勧めします。

デフォルトでは、同じ IDN 内に未認識 (AWOL) 状態 (たとえば停止やハングアップ状態) のドメインがあると、システムはリンク解除操作を行いません。ユーザーがリンク解除操作を行った時点で、ドメインの状態が検出されて報告されます。

強制オプション

2 つの強制オプション、-f または -F のどちらかを使用して、未認識状態のドメインのチェックを行わずにリンク解除操作を実行できます。弱い強制オプション、-f を指定すると、domain_unlink(1M) コマンドは、通常の方法で指定されたすべてのドメインのリンク解除を試みますが、IDN 内に AWOL ドメインが存在することにより時間切れになる場合は、-F オプションを使用してドメインのリンクを強制的に解除します。

強い強制オプション、-F を指定すると domain_unlink(1M) コマンドは、指定されたドメインを IDN 内の他のすべてのドメインから、同期をとらずに切断します。このオプションは、指定されたドメインがまったく応答しない (つまり、要求されているログに応答しない) か、または AWOL 回復処理の一環として IDN から指定されたドメインを分離する必要があるときにだけ使用します。

注意 - 注意 -

強制オプションは、ドメインが未認識 (AWOL) 状態であるときの回復の手段としてのみ使用します。通常の状態では、このオプションを使用しないでください。このオプションを使用したために、IDN がアクティブな時にハードウェアが再プログラムされると、アービトレーション停止が発生することがあります。

IDN の解消

IDN 全体を 1 つの操作で解消することができます。これによって、IDN のメンバーであるドメインを 1 つ 1 つに分離します。domain_unlink(1M) コマンドを実行するときは、少なくとも IDN 内のドメインの総数 n-1 個の名前を指定します。

IDN の自動化処理

SSP からのサポートと連動することにより、IDN サブシステムはドメインのリンクおよびリンク解除を自動的に行えます。自動リンクは、ドメインが IDN の一部として構成されている場合は、起動時に行われます。自動リンク解除は、IDN のいずれかのメンバーが、他のメンバーが IDN 要求に応答しないことを検出し、レポートしてきたときに行われます。マスタードメインが応答しない場合は、マスタードメインのリンク解除後、利用可能なドメインの中から新しいマスタードメインが選択されます。ドメインのリンクが自動的に解除された後も、domain_status(1M) コマンドは解除されたドメインがリンクされているとレポートします。

Dynamic Reconfiguration と IDN

Dynamic Reconfiguration (DR: 動的再構成) 操作は、IDN 内の個々のドメイン上で行われます。DR 操作をドメイン上で実行している間に、そのドメインに対する双方向の IDN トラフィックがほんの少しの間停止します。

Attach 操作

IDN 内のドメインにシステムボードを接続すると、以下の一連の処理が行われます。

  1. ユーザーが Init Attach 操作を実行します。

  2. Complete Attach 操作を実行すると、その時点で DR はシステムボードがあるドメインを IDN からリンク解除します。DR は、後で再リンク操作を行えるように内部に IDN 構成情報を保存しておきます。

  3. 次に DR は、Complete Attach 操作を実行します。

  4. Complete Attach 操作が正常に完了すると、DR はドメインを IDN に再リンクします。

Detach 操作

Detach 操作では、以下の一連の処理が行われます。

  1. ユーザーが Drain 操作を実行します。

  2. Drain 操作が完了し、Complete Detach 操作を選択した後、DR はドメインを IDN からリンク解除します。DR は、Drain 操作後に自動的にドメインの再リンクを行えるように内部に IDN 構成情報を保存しておきます。

  3. 次に DR は Complete Detach 操作を実行します。

  4. Complete Detach 操作後に、DR はドメインを IDN に再リンクします。

    注 -

    DR の Complete Attach 操作および Complete Detach 操作は短時間に終了させて、IDN 上の TCP/IP 接続が時間切れになるのを回避してください。通常、このタイムアウト値は 2 分です。

    DR サブシステムが実行するリンク解除操作が何らかの理由により失敗した (たとえば、IDN 内に AWOL ドメインが存在する) 場合は、手動で問題を解決 (つまり、AWOL ドメインを手動でリンク解除) してから、再度 DR 操作を試みてください。

ネットワーク規模のアービトレーション停止

ドメインでアービトレーション停止 (arbstop: arbitration stop) が発生すると、そのドメインが動かなくなり、あらゆるハードウェアレベルのトランザクションが停止されます。IDN の一部であるドメイン内でアービトレーション停止が発生すると、その IDN 内の他のすべてのドメインでアービトレーション停止が次々と発生します。

注 -

アービトレーション停止が発生した IDN のメンバーでないドメインは、アービトレーション停止の影響を受けません。

通常、アービトレーション停止はめったに発生しないので、問題はありません。しかし、その IDN にある他のドメインが未認識の状態にあり、リンク解除しようとするドメインとの通信を試みる可能性がある場合は、リンク解除コマンドでアービトレーション停止が発生するおそれがあります。特にコマンドに強制オプションを指定した場合は注意してください。

ドメインまたはクラスタのアービトレーション停止が発生する場合は、その時点の BBSRAM とアービトレーション停止情報が以下のファイルにダンプされます。

アービトレーション停止が発生する条件について理解するには、複数のシステムボードが互いに通信できるハードウェアアーキテクチャーを考慮することが役立ちます。以下の図では、3 つのドメインが存在し、そのいずれもが IDN のメンバーではありません。

図 1-2 3 つの分離されたドメイン

Graphic

インターコネクト (システムバックプレーン) には 共有メモリードメインレジスタがあり、各ボードには共有メモリーマスクレジスタがあります。これらのレジスタはともに動作して、ドメイン内でのボード間通信をサポートし、IDN 環境でのドメイン間通信を容易にします。インターコネクト上の共有メモリードメインレジスタは、発信元のボードがメッセージを指定された受信先ボードに送信できるようにレジスタがプログラムされている場合にだけ、メッセージを特定の受信先ボードに転送します。これに対応して、受信先ボードの共有メモリーマスクレジスタは、受信先ボードが発信元ボードからメッセージを受信できるようレジスタがプログラムされている場合にだけ、メッセージを受け付けます。

図 1-3 では、3 つのドメインのインターコネクト上の共有メモリードメインレジスタがグループ化され、ドメイン間のメッセージ転送が可能になっています。加えて、各ドメインのボードは、他のドメインからのメッセージを受け付けるようにプログラムされた共有メモリーマスクレジスタを持っています。

図 1-3 3 つのドメインから構成される IDN

Graphic

いずれかのボードが他のボードにメッセージを送信しようとする場合や共有メモリードメインレジスタまたは共有メモリーマスクレジスタが 2 つのボード間の通信を妨げる場合は、特定のハードウェアの障害に加えて、アービトレーション停止が発生することがあります。リンク処理またはリンク解除処理時に、domain_link(1M) と domain_unlink(1M) コマンドは、ドメイン間トランザクションを有効または無効にするためにこれらのレジスタを再プログラムします。

1 つのドメインが部分的ハングアップなどの未認識状態にある場合に、IDN 内の別のドメインをリンク解除しようとすると、domain_unlink(1M) コマンドは、強制オプションの -f または -F のいずれかを使用しない限り失敗します。これは、domain_unlink(1M) コマンドが、その共有メモリーに関連するレジスタを再プログラムする前に、ハングアップしたドメインと通信してすべてのドメイン間トランザクションが停止したことを確認する必要があるからです。domain_unlink(1M) コマンドは、ドメインが応答しない場合は、共有メモリードメインレジスタを再プログラムしません。リンク解除を処理するよう強制すると、共有メモリードメインレジスタは再プログラムされますが、ハングアップしたドメインの共有メモリーマスクレジスタが再プログラムされず、ドメインの IDN ソフトウェアは切断されたことを認識しません。

すべての IDN 固有のレジスタが再プログラムされた後、ハングアップしたドメインが他のドメインとの通信を試みると、ハングアップしたドメインやその IDN 内の他のドメインでアービトレーション停止が発生することがあります。このため、強制オプションを使用するのは、ハングアップしたドメインが同じネットワークの他のドメインとそれ以上通信を試みないことが確実な場合に限られます。このようなアービトレーション停止の可能性を減少させるため、他のドメインをリンク解除する前に、ハングアップしたドメインを再起動するか、IDN からリンク解除します。

注意 - 注意 -

どうしても必要な場合以外は、認識されているアクティブなドメインに対して強制オプションを使用してはなりません。

SSP コマンド

InterDomain Networks は、いくつかのコマンドの動作に影響します。この節では、IDN による影響を受ける SSP コマンドの動作について説明します。

以下の表に IDN による影響を受ける SSP コマンドを示します。

表 1-1 IDN による影響を受ける SSP コマンド

コマンド 

影響 

bringup(1M)

bringup(1M) コマンドを使用して IDN 内の他のドメインを再起動する前に、未認識状態 (AWOL) のドメインをリンク解除しておく必要があります。同じ IDN 内の複数のドメインがハングアップした場合は、ハングアップしたドメインを同時にリンク解除する必要があります。加えて、どの応答しないドメインも、同じ IDN 内に他の応答しないドメインが存在する場合は、リンク解除することができません。また、bringup(1M) コマンド、domain_link(1M) コマンド、および domain_unlink(1M) コマンドを同時に実行することはできません。

domain_create(1M)

bringup(1M) コマンドを使用して IDN 内の他のドメインを再起動する前に、未認識状態 (AWOL) のドメインをリンク解除しておく必要があります。同じ IDN 内の複数のドメインがハングアップした場合は、ハングアップしたドメインを同時にリンク解除する必要があります。加えて、どの応答しないドメインも、同じ IDN 内に他の応答しないドメインが存在する場合は、リンク解除することができません。また、bringup(1M) コマンド、domain_link(1M) コマンド、および domain_unlink(1M) コマンドを同時に実行することはできません。

domain_remove(1M)

現在 IDN のメンバーであるドメインは削除できません。まずドメインをリンク解除してから、削除する必要があります。 

dr(1M)

DR コマンドと IDN コマンドを同時に実行することはできません。dr(1M) コマンドの詳細は、「Dynamic Reconfiguration と IDN」を参照してください。

edd(1M)

IDN 内のドメインでアービトレーション停止 (arbstop) またはレコード停止 (recordstop) が発生した結果として edd(1M) がダンプファイルを作成する場合は、ダンプファイルはその IDN のすべてのドメインメンバーを構成するボードのセット全体に基づいて作成されます。edd(1M) デーモンは、ドメインの自動リンクおよび AWOL 状態からの回復処理を有効にするためにも必要です。

hostint(1M)

デフォルトでは、IDN のメンバーであるドメインに対して hostint(1M) 操作を実行することはできません。強制オプションを指定した hostint(1M) コマンドを使用しない限り、先にドメインをリンク解除する必要があります。

hpost(1M)

hpost -Wc を IDN の一部であるいずれかのドメインに対して使用すると、その IDN 内のすべてのドメインのすべてのボードでレコード停止 (recordstop) がクリアされます。

power(1M)

強制オプションを指定した power(1M) コマンド (強制オプションの使い方の詳細は、power(1M) のマニュアルページを参照してください) を使用しない限り、IDN のメンバーであるドメイン内のシステムボードの電源を切ることはできません。IDN からドメインをリンク解除してから、power(1M) コマンドを使用してボードの電源を切ります。

sigbcmd(1M)

デフォルトでは、現在 IDN のメンバーであるドメインに対して sigbcmd obp または panic 操作を実行することはできません。強制オプションを指定した sigbcmd(1M) コマンドを使用しない限り、先にドメインをリンク解除する必要があります。