この付録では、Oracle Clusterware環境の監視について説明し、動的デバッグを有効にして、Oracle Clusterwareの処理のトラブルシューティングを行う方法、また特定のコンポーネントおよび特定のOracle Clusterwareリソースのデバッグおよびトレースを有効にして、トラブルシューティングの対象を絞り込む方法について示します。
内容は次のとおりです。
Oracle Enterprise Managerを使用して、Oracle Clusterware環境を監視できます。 クライアント・ブラウザを使用してOracle Enterprise Managerにログインすると、クラスタ・データベースの「ホーム」ページが表示され、両方のOracle Clusterware環境のステータスを監視できます。 監視には次のタスクが含まれます。
VIPの再配置が行われた場合の通知
クラスタ検証ユーティリティ(cluvfy)により取得した情報を使用する、クラスタの各ノードのOracle Clusterwareのステータス
ノード・アプリケーション(nodeapps)が起動または停止した場合の通知
OCRに対するOracle Clusterwareのアラート・ログの問題、投票ディスクの問題(発生した場合)およびノードの排除の通知
クラスタ・データベースの「ホーム」ページは、シングル・インスタンス・データベースの「ホーム」ページに類似しています。 ただし、クラスタ・データベースの「ホーム」ページには、Oracle Enterprise Managerにより、システムの状態と可用性が表示されます。 これには、アラート・メッセージおよびジョブ・アクティビティのサマリーに加え、すべてのデータベースおよび自動ストレージ管理(ASM)インスタンスへのリンクも含まれます。 たとえば、すべての優先インスタンスでサービスが実行されていない場合、またはサービスの応答時間のしきい値条件が満たされていない場合などに、クラスタでのサービスに関する問題を追跡できます。
Oracle Enterprise Managerの「インターコネクト」ページを使用して、Oracle Clusterware環境を監視できます。 「インターコネクト」ページには、次に示すように、クラスタのパブリックおよびプライベートのインタフェース、プライベート・インターコネクトの全体的なスループット、各ネットワーク・インタフェースの個々のスループット、エラー率(発生した場合)およびインターコネクトのデータベース・インスタンスによる負荷が表示されます。
プライベート・インターコネクトでの全体的なスループット
構成ミスのためデータベース・インスタンスがパブリック・インタフェースを使用している場合の通知
インターコネクトのスループットおよびエラー(発生した場合)
インスタンスごとのインターコネクトのスループット
これらの情報はすべて、履歴表示を含む収集としても使用することができます。 これは、クラスタの待機イベントに関連する問題を診断する場合など、クラスタ・キャッシュ一貫性と併用すると役立ちます。 クラスタ・データベースの「ホーム」ページで、「インターコネクト」タブをクリックすると、「インターコネクト」ページにアクセスできます。
また、Oracle Enterprise Managerのクラスタ・データベースの「パフォーマンス」ページには、データベースのパフォーマンス統計のサマリーが表示されます。 統計は、グラフのクラスタ・データベース内のすべてのインスタンス間でロールアップされます。 グラフの横にあるリンクを使用すると、より詳細な情報を取得して、次のタスクを実行できます。
パフォーマンスの問題の原因の特定
リソースを追加または再分散する必要があるかどうかの判別
SQLプランおよびスキーマのチューニングによる最適化
パフォーマンスの問題の解決
クラスタ・データベースの「パフォーマンス」ページには、次のグラフが含まれます。
「クラスタ・ホストのロード平均」グラフ: クラスタ・データベースの「パフォーマンス」ページの「クラスタ・ホストのロード平均」グラフには、データベース外部で発生する可能性がある問題が表示されます。 このグラフには、過去1時間のクラスタで使用可能なノードの最大ロード値、平均ロード値および最小ロード値が表示されます。
「グローバル・キャッシュ・ブロックのアクセス待機時間」グラフ: 各クラスタ・データベース・インスタンスのシステム・グローバル領域(SGA)には、独自のバッファ・キャッシュが存在します。 キャッシュ・フュージョンの使用によって、Oracle RAC環境で各インスタンスのバッファ・キャッシュが論理的に結合され、論理的に結合された単一のキャッシュにデータが存在する場合と同様に、データベース・インスタンスでデータを処理できます。
「平均アクティブ・セッション」グラフ: クラスタ・データベースの「パフォーマンス」ページの「平均アクティブ・セッション」グラフには、データベース内で発生する可能性がある問題が表示されます。 「カテゴリ」(待機クラスという)には、CPUやディスクI/Oなどのリソースを使用しているデータベースの数が表示されます。CPU時間と待機時間を比較すると、他のプロセスで保留されている可能性のあるリソースを待機している時間ではなく、有効な作業に費やされているレスポンス時間を判別できます。
「データベース・スループット」グラフ: 「データベース・スループット」グラフには、「平均アクティブ・セッション」グラフに表示されているすべてのリソース競合のサマリーが表示されます。また、データベースで実行されているユーザー操作またはアプリケーション操作の数も表示されます。 「1秒当たり」ビューには、ログオンの数と比較したトランザクションの数、および秒ごとのREDOのサイズと比較した物理読取りの量が表示されます。 「1トランザクション当たり」ビューには、トランザクションごとのREDOのサイズと比較した物理読取りの量が表示されます。 「ログオン」は、データベースにログオンしているユーザーの数です。
また、クラスタ・データベースの「パフォーマンス」ページの「トップ・アクティビティ」ドリルダウン・メニューでは、待機イベント、サービスおよびインスタンスごとのアクティビティを参照できます。 さらに、グラフのスライダーで前のPoint-in-Timeへ移動することによって、SQLおよびセッションの詳細を確認することもできます。
|
関連項目: 『Oracle Database 2日でReal Application Clustersガイド』 |
rootユーザーとしてcrsctlコマンドを使用して、Oracle Clusterware、イベント・マネージャ(EVM)およびクラスタウェア・サブコンポーネントの動的デバッグを有効にできます。 crsctlコマンドを使用して、デバッグ・レベルを動的に変更できます。 デバッグ情報は、次回の起動で使用するために、Oracle Cluster Registry(OCR)に保存されます。 リソースのデバッグを有効にすることもできます。
Oracle Clusterwareのデバッグを有効にするためのcrsctl構文は次のとおりです。
crsctl debug log crs "CRSRTI:1,CRSCOMM:2"
EVMのデバッグを有効にするためのcrsctl構文は次のとおりです。
crsctl debug log evm "EVMCOMM:1"
リソースのデバッグを有効にするためのcrsctl構文は次のとおりです。
crsctl debug log res "resname:1"
rootユーザーとしてcrsctlコマンドを使用して、Oracle Clusterwareのクラスタ・レディ・サービス(CRS)、Oracle Cluster Registry(OCR)、クラスタ同期サービス(CSS)およびイベント・マネージャ(EVM)の動的デバッグを有効にできます。
この項の内容は次のとおりです。
環境変数を設定するか、次の構文を使用するcrsctl debugコマンドを発行することによって、CRS、OCR、CSSおよびEVMのモジュールおよびそれらのコンポーネントのデバッグを有効にできます。
crsctl debug log module_name component:debugging_level
crsctl debugコマンドは、rootユーザーとして発行し、次の情報を指定する必要があります。
component: モジュールCRS、OCR、EVMまたはCSSのコンポーネント名。 すべてのコンポーネントのリストについては、表F-1を参照してください。
debugging_level: 1から5までの番号は、デバッグ・コマンドで戻す詳細レベルを示します。1は最小デバッグ出力、5は最も詳細なデバッグ出力を表します。
crsctlコマンドでデバッグ・レベルを動的に変更するか、「デバッグ・レベルを含む初期化ファイルの作成」で説明するとおり、デバッグ・レベルを変更できるようにinitファイルを構成できます。
次のコマンドでは、様々なモジュールに対してデバッグを有効にする方法の例を示します。
Oracle Clusterwareのデバッグを有効にする方法
crsctl debug log crs "CRSRTI:1,CRSCOMM:2"
OCRのデバッグを有効にする方法
crsctl debug log crs "CRSRTI:1,CRSCOMM:2,OCRSRV:4"
EVMのデバッグを有効にする方法
crsctl debug log evm "EVMCOMM:1"
リソースのデバッグを有効にする方法
crsctl debug log res "resname:1"
デバッグに使用可能なコンポーネントをリストするには、次の構文を使用するcrsctl lsmodulesコマンドを発行し、module_nameパラメータにcrs、evmまたはcssを指定する必要があります。
crsctl lsmodules module_name
|
注意: lsmodulesオプションを指定してcrsctlコマンドを実行するために、rootユーザーである必要はありません。 |
表F-1に、モジュールCRS、OCR、EVMおよびCSSのそれぞれのコンポーネントを示します。 一部のコンポーネント名はCRS、EVMおよびCSSのデーモン間で共通であり、特定のデーモンで有効な場合があることに注意してください。 たとえば、COMMNSはNSレイヤーで、NSレイヤーは各デーモンで使用されるため、いずれかのデーモンでこの特定のモジュール・コンポーネントを有効にして、特定のデバッグ情報を取得できます。
表F-1 CRS、OCR、EVMおよびCSSモジュールのコンポーネント
| CRSモジュール脚注1 | OCRモジュール脚注2 | EVMモジュール脚注3 | CSSモジュール脚注4 |
|---|---|---|---|
CRSUICRSCOMMCRSRTICRSMAINCRSPLACECRSAPPCRSRESCRSCOMMCRSOCRCRSTIMERCRSEVTCRSDCLUCLSCSSCLNTCOMMCRSCOMMNS |
OCRAPIOCRCLIOCRSRVOCRMASOCRMSGOCRCACOCRRAWOCRUTLOCROSDOCRツール・モジュール OCRCONFOCRDUMPOCRCHECK |
EVMDEVMDMAINEVMCOMMEVMEVTEVMAPPEVMAGENTCRSOCRCLUCLSCSSCLNTCOMMCRSCOMMNS |
CSSDCOMMCRSCOMMNS |
脚注1: crsctl lsmodules crsコマンドを使用して、CRSコンポーネント・モジュールをリストします。
脚注2: crsctl lsmodulesコマンドを使用して、OCRモジュールをリストすることはできません。
脚注3: crsctl lsmodules evmコマンドを使用して、EVMコンポーネント・モジュールをリストします。
脚注4: crsctl lsmodules cssコマンドを使用して、CSSコンポーネント・モジュールをリストします。
この項では、初期化ファイルでデバッグ・レベルを指定する方法について説明します。 このデバッグ情報は、次回の起動で使用できるように保存されます。
デバッグする各プロセスに対して、デバッグ・レベルを指定する初期化ファイルを作成できます。
初期化ファイルのファイル名には、デバッグするプロセスの名前(process_name.ini)が含まれます。 ファイルは、|Oracle_home/log/hostname/admin/|ディレクトリに格納されます。
たとえば、ORACLE_HOME/log/hostA/admin/clscfg.iniは、ホストAにあるCLSCFGデバッグ初期化ファイルの名前です。
|
関連項目: crsctlコマンドでレベル番号(1から5まで)を指定して、デバッグ・レベルを動的に変更する情報については、「CRS、OCR、CSSおよびEVMモジュールのデバッグの有効化」を参照してください。 |
crsctl startおよびstopコマンドを発行して、Oracle Clusterwareを起動および停止できます。
例1 Oracle Clusterwareの停止
特定のノード上のOracle Clusterwareおよび関連するリソースを停止するには、次のコマンドを発行します。
crsctl stop crs
例2 Oracle Clusterwareの起動
特定のノード上のOracle Clusterwareおよび関連するリソースを起動するには、次のコマンドを発行します。
crsctl start crs
|
注意: これらのcrsctlコマンドは、rootユーザーで実行する必要があります。 |
Oracle Clusterwareデーモンは、有効化されている場合、ノードが起動されたときに自動的に起動します。 デーモンが起動しないようにするには、crsctlコマンドを使用して無効にします。 次のようにcrsctlコマンドを使用して、Oracle Clusterwareデーモンの起動を有効および無効にすることができます。
すべてのOracle Clusterwareデーモンの起動を有効にするには、次のコマンドを実行します。
crsctl enable crs
すべてのOracle Clusterwareデーモンの起動を無効にするには、次のコマンドを実行します。
crsctl disable crs
|
注意: これらのcrsctlコマンドは、rootユーザーで実行する必要があります。 |
crsctl activeversionおよびsoftwarewareversionコマンドを発行することによって、ローカル・ノード・クラスタで実行されているアクティブなバージョンまたはソフトウェアのバージョンを確認できます。
ソフトウェアのバージョンとは、特定のクラスタ・ノード上にあるソフトウェアのバイナリ・バージョンのことです。
アクティブなバージョンとは、クラスタで実行されている最も低いソフトウェア・バージョンを意味します。
これらのバージョンは、クラスタのアップグレード時に使用されます。
例1 アクティブなバージョンの確認
ローカル・ノードでアクティブなバージョンを確認するには、次のコマンドを発行します。
crsctl query crs activeversion
例2 ソフトウェアのバージョンの確認
ローカル・ノードでソフトウェアのバージョンを確認するには、次のコマンドを発行します。
crsctl query crs softwareversion
Oracle Clusterwareでエラーが発生するたびに、diagcollection.plスクリプトを実行して、Oracle Clusterwareからトレース・ファイルの診断情報を収集する必要があります。 診断によって、Oracleサポート・サービスが問題を解決するための追加情報を取得できます。 このスクリプトは次の位置から実行します。
CRS_home/bin/diagcollection.pl
|
注意: このスクリプトは、rootユーザーで実行する必要があります。 |
Oracle Clusterwareは、重要なイベントが発生すると、アラート・メッセージを発行します。 CRSDプロセスのアラートの例を次に示します。
2007-09-03 10:05:35.463 [cssd(3073)]CRS-1605:CSSD voting file is online: /dev/sdm2. Details in /scratch/crs/log/stnsp012/cssd/ocssd.log. 2007-09-03 10:05:35.484 [cssd(3073)]CRS-1605:CSSD voting file is online: /dev/sdl3. Details in /scratch/crs/log/stnsp012/cssd/ocssd.log. [cssd(3073)]CRS-1601:CSSD Reconfiguration complete. Active nodes are stnsp011 stnsp012 stnsp013 stnsp014 . 2007-09-03 10:05:36.949 [evmd(2218)]CRS-1401:EVMD started on node stnsp012. 2007-09-03 10:05:36.999 [crsd(2232)]CRS-1012:The OCR service started on node stnsp012. 2007-09-03 10:05:38.770 [crsd(2232)]CRS-1201:CRSD started on node stnsp012.
Linux、UNIXおよびWindowsシステム上でのこのアラート・ログの位置は、CRS_home/log/hostname/alerthostname.logです。CRS_homeは、Oracle Clusterwareの位置の名前を示します。
[NORMAL] CLSD-1401: EVMD started on node %s [ERROR] CLSD-1402: EVMD aborted on node %s. Error [%s]. Details in %s.
crsctlコマンドの次の構文を使用して、リソースのデバッグを有効にできます。
crsctl debug log res "ora.node1.vip:1"
これには、ora.node1.vipリソースに対して、start、stopまたはcheckのアクション・スクリプトを実行する前に、環境変数USER_ORA_DEBUGを1に設定するという効果があります。
|
注意: このcrsctlコマンドは、rootユーザーで実行する必要があります。 |
crsctl checkコマンドを使用して、クラスタウェアの状態を判別できます。次に例を示します。
crsctl check crs
次のコマンドを実行して、個別のデーモンの状態を判別します。ここでdaemonには、crsd、cssdまたはevmdを指定します。
crsctl check daemon
|
注意: 状態チェックを実行するために、rootユーザーである必要はありません。 |
Oracle Databaseでは、統合ログ・ディレクトリ構造を使用して、Oracle Clusterwareコンポーネントのログ・ファイルが統合されます。 この統合構造は、診断情報の収集を簡素化し、データの取得および問題の分析に役立ちます。
Oracle Clusterwareでは、cssdプロセス用に現行のログ・ファイルが1個と古いログ・ファイルが5個(サイズは50MBで、記憶域は300MB)保持され、crsdプロセス用に現行のログ・ファイルが1個と古いログ・ファイルが10個(サイズは100MBで、記憶域は110MB)保持されます。 また、ログ・ファイル・グループに保持された最も古いログ・ファイルは、現行のログ・ファイルが格納されるときに上書きされます。 アラート・ファイルは、表F-2に示すディレクトリ構造に格納されます。
表F-2 Oracle Clusterwareコンポーネントのログ・ファイルの位置
| コンポーネント | ログ・ファイルの位置脚注1 |
|---|---|
|
|
|
|
OCRツール(OCRDUMP、OCRCHECK、OCRCONFIG)は、次の位置にログ情報を記録します。脚注2 OCRサーバーは、次の位置にログ情報を記録します。脚注3 |
|
|
次のパスはLinux固有のものです。脚注4 |
|
|
|
|
|
|
|
Oracle RAC RACG |
Oracle RAC High Availabilityのトレース・ファイルは、次の2つの位置にあります。
CRS_home/
コア・ファイルは、ログ・ディレクトリのサブディレクトリ内にあります。 各RACG実行可能ファイルには、その実行可能ファイルに排他的に割り当てられたサブディレクトリがあります。 RACG実行可能ファイルのサブディレクトリの名前は、実行可能ファイルの名前と同じです。 |
脚注1: ディレクトリ構造は、Linux、UNIXおよびWindowsシステムで同一です。
脚注2: ロギングの量を変更するには、CRS_home/srvm/admin/ocrlog.iniファイルのパスを編集します。
脚注3: ロギングの量を変更するには、CRS_home/log/hostname/crsd/crsd.iniファイルのパスを編集します。
脚注4: このパスは、インストールされているプラットフォームがLinuxかUNIXかによって異なります。
この項の次のトピックでは、OCRのトラブルシューティングを行う方法について説明します。
この項では、OCRDUMPユーティリティを使用してトラブルシューティングのためにOCRの内容を表示する方法について説明します。 OCRDUMPユーティリティを使用すると、OCRの内容を読みやすい形式でファイルまたはstdoutに書き込んで、OCRの内容を表示できます。
OCRDUMPには多数のオプションを使用できます。 たとえば、出力をキーおよびその子に制限できます。 ブラウザを使用して表示可能なXMLファイルに内容を書き込むこともできます。 OCRDUMPは、ASCII文字列およびデータ型形式の値としてOCRのキーを書き込みます。 OCRDUMPは、ベスト・エフォート原則に基づいてヘッダー情報を取得します。
また、OCRDUMPを実行すると、CRS_home/log/hostname/clientにログ・ファイルが作成されます。 ロギングの量を変更するには、ファイルCRS_Home/srvm/admin/ocrlog.iniを編集します。
ロギング・コンポーネントを変更するには、comploglvl=エントリを含むエントリを編集します。 たとえば、ORCAPIコンポーネントのロギングを3に変更し、OCRRAWコンポーネントのロギングを5に変更するには、ocrlog.iniファイルに次のエントリを作成します。
comploglvl="OCRAPI:3;OCRRAW:5"
|
注意: OCRDUMPユーティリティを使用する前に、CRS_homeディレクトリにファイルを作成する権限を持っていることを確認してください。 |
この項では、OCRDUMPユーティリティのコマンド構文および使用方法について説明します。 次の構文を使用してocrdumpコマンドを実行します。ここで、filenameにはOCRの出力を書き込むターゲット・ファイルの名前、keynameはOCRのサブツリーの内容を書き込むキーの名前を指定します。
ocrdump [file_name|-stdout] [-backupfilebackup_file_name] [-keynamekeyname] [-xml] [-noheader]
表F-3に、OCRDUMPユーティリティのオプションおよびオプションの説明を示します。
表F-3 OCRDUMPのオプションおよびオプションの説明
| オプション | 説明 |
|---|---|
|
|
OCRDUMPによって出力を書き込むファイルの名前です。 デフォルトでは、OCRDUMPユーティリティの出力は、事前定義された出力ファイル |
|
|
このオプションを使用して、プログラムを起動したテキスト端末にOCRDUMP出力をリダイレクトできます。 出力をリダイレクトしない場合、デフォルトでは、OCRDUMPユーティリティの出力は、事前定義された出力ファイル |
|
|
サブツリーがダンプされるOCRキーの名前です。 |
|
|
出力をXML形式で書き込みます。 |
|
|
コマンドを実行した時間およびOCR構成が作成された時間を出力しません。 |
|
|
バックアップ・ファイルを識別するオプションです。 |
|
|
表示する内容を含むバックアップ・ファイルの名前です。 |
次に示すocrdumpユーティリティの例では、様々なタイプのOCR情報を抽出し、様々なターゲットに書き込みます。
ocrdump
OCRの内容を現在のディレクトリのOCRDUMPFILEというファイルに書き込みます。
ocrdump MYFILE
OCRの内容を現在のディレクトリのMYFILEというファイルに書き込みます。
ocrdump -stdout -keyname SYSTEM
OCRの内容をSYSTEMキーのサブツリーからstdoutに書き込みます。
ocrdump -stdout -xml
OCRの内容をstdoutにXML形式で書き込みます。
次のOCRDUMPの例は、ocrdumpコマンドの2つの実行例について、KEYNAME、VALUE TYPE、VALUE、権限のセット(user、group、world)およびアクセス権を示します。 テキスト値がAMERICAN_AMERICA.WE8ASCII37であるSYSTEM.languageキーの出力を次に示します。
[SYSTEM.language]
ORATEXT : AMERICAN_AMERICA.WE8ASCII37
SECURITY : {USER_PERMISSION : PROCR_ALL_ACCESS, GROUP_PERMISSION : PROCR_READ,
OTHER_PERMISSION : PROCR_READ, USER_NAME : user, GROUP_NAME : group
}
3という整数値を持つSYSTEM.versionキーの出力を次に示します。
[SYSTEM.version]
UB4 (10) : 3
SECURITY : {USER_PERMISSION : PROCR_ALL_ACCESS, GROUP_PERMISSION : PROCR_READ,
OTHER_PERMISSION : PROCR_READ, USER_NAME : user, GROUP_NAME : group
}
OCRCHECKユーティリティを実行すると、構成したOCRのブロック形式のバージョン、使用可能な領域の合計、使用済の領域、OCRのIDおよびOCRの位置が表示されます。 OCRCHECKを実行すると、構成したすべてのOCRのすべてのブロックに対して、ブロック単位のチェックサム操作が実行されます。 また、各ファイルの個別のステータスおよびOCR全体の整合性チェックの結果が戻されます。
OCRCHECKユーティリティの出力例を次に示します。
Status of Oracle Cluster Registry is as follows : Version : 2 Total space (kbytes) : 262144 Used space (kbytes) : 16256 Available space (kbytes) : 245888 ID : 1918913332 Device/File Name : /dev/raw/raw1 Device/File integrity check succeeded Device/File Name : /dev/raw/raw2 Device/File integrity check succeeded Cluster registry integrity check succeeded
OCRCHECKを実行すると、CRS_home/log/hostname/clientディレクトリにログ・ファイルが作成されます。 ロギングの量を変更するには、ファイルCRS_home/srvm/admin/ocrlog.iniを編集します。
表F-4に、OCRの一般的な問題およびそれに対応する推奨の解決策を示します。
| 問題 | 解決策 |
|---|---|
|
現在使用されていないOCRのミラー化を有効にする必要があります。 |
|
|
OCRに障害が発生したため、交換する必要があります。 Oracle Enterprise ManagerまたはOCRのログ・ファイルにエラー・メッセージが書き込まれます。 |
|
|
OCRの構成が不適切です。 |
|
|
OCRの処理によってパフォーマンスに重大な影響が及ぼされたか、または他の理由のためにOCRを削除します。 |
|
|
OCRに障害が発生したため、修正する前に、1つのOCRのみを使用してノードを再起動する必要があります。 |
|
Oracleサポート・サービスから、追加情報を取得するトレースを有効にするように要求されることがあります。 この項で説明する手順は、パフォーマンスに影響を及ぼすことがあるため、必ずOracleサポート・サービスの支援のもとで実行してください。 この項の内容は次のとおりです。
実行されているリソースに関する追加トレース情報を生成するには、CRSCTLコマンドを使用することをお薦めします。 たとえば、次のコマンドを発行してリソースのデバッグを有効にします。
$ crsctl debug log res "resource_name:level"
たとえば、VIPリソースのUSR_ORA_DEBUG初期化パラメータの値に1を設定するには、次のコマンドを発行します。
$ crsctl debug log res ora.cwclu011.vip:1
各ノードで稼働しているイベント・マネージャ・デーモン(evmd)は、特定のポートを介して通信します。 ノードのevmdでメッセージを送受信できるかどうかを確認するには、バックグラウンドでセッション1を実行中に、この項で説明するテストを実行します。ノード1のセッション1で、次のように入力します。
$ evmwatch –A –t "@timestamp @@"
ノード2のセッション2で、次のように入力します。
$ evmpost -u "hello" [-h nodename]
セッション1に次のような出力が表示されます。
$ 21-Jul-2007 08:04:26 hello
各ノードでこのテストを実行し、各ノードでメッセージを送受信できることを確認します。