リソースがノード上で起動したあと、RGM は、PROBE メソッドを直接呼び出すのではなく、Monitor_start メソッドを呼び出してモニターを起動します。xfnts_monitor_start メソッドは PMF の制御下で障害モニターを起動します。xfnts_monitor_stop メソッドは障害モニターを停止します。
SUNW.xfnts 障害モニターは、次の処理を実行します。
単純な TCP ベースのサービス (xfs など) を検査するために特別に設計されたユーティリティーを使用して、定期的に xfs サーバーデーモンの状態を監視します。
(Retry_count と Retry_interval プロパティを使用して) ある期間内にアプリケーションが遭遇した問題を追跡し、アプリケーションが完全に失敗した場合に、データサービスを再起動するか、フェイルオーバーするかどうかを決定します。scds_fm_action() と scds_fm_sleep() 関数は、この追跡および決定機構の組み込みサポートを提供します。
scds_fm_action() を使用して、フェイルオーバーまたは再起動の決定を実装します。
リソースの状態を更新して、管理ツールや GUI で利用できるようにします。
xfonts_probe メソッドは ループを実行します。ループを実行する前に、xfonts_probe は次の処理を行います。
次に示すように、xfnts リソース用のネットワークアドレスリソースを取得します。
/* 当該リソース用に利用できる IP アドレスを取得する。*/ if (scds_get_netaddr_list(scds_handle, &netaddr)) { scds_syslog(LOG_ERR, "No network address resource in resource group."); scds_close(&scds_handle); return (1); } /* ネットワークリソースが存在しない場合、エラーを戻す。*/ if (netaddr == NULL || netaddr->num_netaddrs == 0) { scds_syslog(LOG_ERR, "No network address resource in resource group."); return (1); }
scds_fm_sleep() を呼び出し、タイムアウト値として Thorough_probe_interval の値を渡します。検証を実行する間、検証機能は Thorough_probe_interval で指定された期間、休止状態になります。
timeout = scds_get_ext_probe_timeout(scds_handle); for (;;) { /* * 連続する検証の間、Throrough_probe_interval で指定された期間、 * 休眠状態になる。 */ (void) scds_fm_sleep(scds_handle, scds_get_rs_thorough_probe_interval(scds_handle));
xfnts_probe メソッドは次のようなループを実装します。
for (ip = 0; ip < netaddr->num_netaddrs; ip++) { /* * 状態を監視するホスト名とポートを取得する。 */ hostname = netaddr->netaddrs[ip].hostname; port = netaddr->netaddrs[ip].port_proto.port; /* * HA-XFS がサポートするポートは 1 つだけなので、 * ポート値はポートの配列の最初の * エントリから取得する。 */ ht1 = gethrtime(); /* Latch probe start time */ scds_syslog(LOG_INFO, "Probing the service on port: %d.", port); probe_result = svc_probe(scds_handle, hostname, port, timeout); /* * サービス検証履歴を更新し、 * 必要に応じて、アクションを行う。 * 検証終了時間を取得する。 */ ht2 = gethrtime(); /* ミリ秒に変換する。*/ dt = (ulong_t)((ht2 - ht1) / 1e6); /* * 障害の履歴を計算し、必要に応じて * アクションを実行する。 */ (void) scds_fm_action(scds_handle, probe_result, (long)dt); } /* ネットワークリソースごと */ } /* 検証を永続的に繰り返す。*/
svc_probe() 関数は検証ロジックを実装します。svc_probe() からの戻り値は scds_fm_action() に渡されます。そして scds_fm_action() は、アプリケーションを再起動するか、リソースグループをフェイルオーバーするか、あるいは何もしないかを決定します。
svc_probe() 関数は、scds_fm_tcp_connect() を呼び出すことによって、指定されたポートとの単純ソケット接続を確立します。接続に失敗した場合、svc_probe() は 100 の値を戻して、致命的な障害であることを示します。接続には成功したが、切断に失敗した場合、svc_probe() は 50 の値を戻して、部分的な障害であることを示します。接続と切断の両方に成功した場合、svc_probe() は 0 の値を戻して、成功したことを示します。
次に、svc_probe() のコードを示します。
int svc_probe(scds_handle_t scds_handle, char *hostname, int port, int timeout) { int rc; hrtime_t t1, t2; int sock; char testcmd[2048]; int time_used, time_remaining; time_t connect_timeout; /* * データサービスを検証するには、port_list プロパティに指定された、 * XFS データサービスを提供するホスト上にあるポートとのソケット接続 * を確立する。 * 指定されたポート上でリスンするように構成されたXFS サービスが接続に * 応答した場合、検証が成功したと判断する。probe_timeout プロパティに * 設定された期間待機しても応答がない場合、検証が失敗したと判断する。 */ /* * SVC_CONNECT_TIMEOUT_PCT をタイムアウトの * 百分率として使用し、ポートと接続する。 */ connect_timeout = (SVC_CONNECT_TIMEOUT_PCT * timeout)/100; t1 = (hrtime_t)(gethrtime()/1E9); /* * 検証機能は、指定されたホスト名とポートを接続する。 * 接続は、probe_timeout 値の 95% に達するとタイムアウトになる。 */ rc = scds_fm_tcp_connect(scds_handle, &sock, hostname, port, connect_timeout); if (rc) { scds_syslog(LOG_ERR, "Failed to connect to port <%d> of resource <%s>.", port, scds_get_resource_name(scds_handle)); /* 致命的な障害 */ return (SCDS_PROBE_COMPLETE_FAILURE); } t2 = (hrtime_t)(gethrtime()/1E9); /* * 接続にかかる実際の時間を計算する。この値は、 * 接続に割り当てられた時間を示す connect_timeout 以下 * である必要がある。接続に割り当てられた時間をすべて * 使い切った場合、probe_timeout に残った値が当該関数に * 渡され、切断タイムアウトとして使用される。 * それ以外の場合、接続呼び出しで残った時間が * 切断タイムアウトに追加される。 */ time_used = (int)(t2 - t1); /* * 残った時間(タイムアウトから接続にかかった時間を引いた値) を * 切断に使用する。 */ time_remaining = timeout - (int)time_used; /* * すべての時間を使い切った場合、ハードコーディングされた小さな * タイムアウト値を使用して、切断しようとする。 * これによって、fd リークを防ぐ。 */ if (time_remaining <= 0) { scds_syslog_debug(DBG_LEVEL_LOW, "svc_probe used entire timeout of " "%d seconds during connect operation and exceeded the " "timeout by %d seconds. Attempting disconnect with timeout" " %d ", connect_timeout, abs(time_used), SVC_DISCONNECT_TIMEOUT_SECONDS); time_remaining = SVC_DISCONNECT_TIMEOUT_SECONDS; } /* * 切断に失敗した場合、部分的な障害を戻す。 * 理由: 接続呼び出しは成功した。これは、 * アプリケーションが正常に動作していることを意味する。 * 切断が失敗した原因は、アプリケーションがハングしたか、 * 負荷が高いためである。 * 後者の場合、アプリケーションが停止したとは宣言しない * (つまり、致命的な障害を戻さない)。その代わりに、部分的な * 障害であると宣言する。この状態が続く場合、切断呼び出しは * 再び失敗し、アプリケーションは再起動される。 */ rc = scds_fm_tcp_disconnect(scds_handle, sock, time_remaining); if (rc != SCHA_ERR_NOERR) { scds_syslog(LOG_ERR, "Failed to disconnect to port %d of resource %s.", port, scds_get_resource_name(scds_handle)); /* 部分的な障害 */ return (SCDS_PROBE_COMPLETE_FAILURE/2); } t2 = (hrtime_t)(gethrtime()/1E9); time_used = (int)(t2 - t1); time_remaining = timeout - time_used; /* * 時間が残っていない場合、fsinfo による完全な * テストを行わない。その代わりに、 * SCDS_PROBE_COMPLETE_FAILURE/2 を戻す。これによって、 * このタイムアウトが続く場合、サーバーは再起動される。 */ if (time_remaining <= 0) { scds_syslog(LOG_ERR, "Probe timed out."); return (SCDS_PROBE_COMPLETE_FAILURE/2); } /* * ポートとの接続と切断に成功した。 * fsinfo コマンドを実行して、 * サーバーの状態を完全に検査する。 * stdout をリダイレクトする。そうでない場合、 * fsinfo からの出力はコンソールに送られる。 */ (void) sprintf(testcmd, "/usr/openwin/bin/fsinfo -server %s:%d> /dev/null", hostname, port); scds_syslog_debug(DBG_LEVEL_HIGH, "Checking the server status with %s.", testcmd); if (scds_timerun(scds_handle, testcmd, time_remaining, SIGKILL, &rc) != SCHA_ERR_NOERR || rc != 0) { scds_syslog(LOG_ERR, "Failed to check server status with command <%s>", testcmd); return (SCDS_PROBE_COMPLETE_FAILURE/2); } return (0); }
svc_probe() は終了時に、成功 (0)、部分的な障害 (50)、または致命的な障害 (100) を戻します。xfnts_probe メソッドはこの値を scds_fm_action() に渡します。
xfnts_probe メソッドは scds_fm_action() を呼び出して、行うべきアクションを決定します。scds_fm_action() のロジックは次のとおりです。
Retry_interval プロパティで指定された期間中に、障害の履歴を累積します。
累積した障害が 100 に到達した場合 (致命的な障害)、データサービスを再起動します。Retry_interval を超えた場合、障害の履歴をリセットします。
Retry_interval で指定された期間中に、再起動の回数が Retry_count プロパティを上回った場合、データサービスをフェイルオーバーします。
たとえば、検証機能が xfs サーバーに正常に接続したが、切断に失敗したものと想定します。これは、サーバーは動作しているが、ハングしていたり、一時的に過負荷状態になっている可能性を示しています。切断に失敗すると、scds_fm_action() に部分的な障害 (50) が送信されます。この値は、データサービスを再起動するしきい値を下回っていますが、値は障害の履歴に記録されます。
次回の検証でもサーバーが切断に失敗した場合、scds_fm_action() が保持している障害の履歴に値 50 が再度追加されます。累積した障害の履歴が 100 になるので、scds_fm_action() はデータサービスを再起動します。