SUNW.xfnts 障害モニター
リソースがノード上で起動した後、RGM は、PROBE メソッドを直接呼び出すのではなく、MONITOR_START メソッドを呼び出してモニターを起動します。xfnts_monitor_start メソッドは PMF の制御下で障害モニターを起動します。xfnts_monitor_stop メソッドは障害モニターを停止します。
SUNW.xfnts 障害モニターは、次の処理を実行します。
-
単純な TCP ベースのサービス (xfs など) を検査するために特別に設計されたユーティリティを使用して、定期的に xfs サーバーデーモンの状態を監視します。
-
(Retry_count と Retry_interval プロパティを使用して) ある期間内にアプリケーションが遭遇した問題を追跡し、アプリケーションが完全に失敗した場合に、データサービスを再起動するか、フェイルオーバーするかどうかを決定します。scds_fm_action と scds_fm_sleep 関数は、この追跡および決定機構の組み込みサポートを提供します。
-
scds_fm_action を使用して、フェイルオーバーまたは再起動の決定を実装します。
-
リソースの状態を更新して、管理ツールや GUI で利用できるようにします。
xfonts_probe のメインループ
xfonts_probe メソッドは無限ループを実行します。ループを実行する前に、xfonts_probe は次の処理を行います。
-
次に示すように、xfnts リソース用のネットワークアドレスリソースを取得します。
例 6-15
/* 当該リソース用に利用できる IP アドレスを取得する。*/ if (scds_get_netaddr_list(scds_handle, &netaddr)) { scds_syslog(LOG_ERR, "No network address resource in resource group."); scds_close(&scds_handle); return (1); } /* ネットワークリソースが存在しない場合、エラーを戻す。*/ if (netaddr == NULL || netaddr->num_netaddrs == 0) { scds_syslog(LOG_ERR, "No network address resource in resource group."); return (1); }
-
scds_fm_sleep を呼び出し、タイムアウト値として Thorough_probe_interval の値を渡します。検証を実行する間、検証機能は Thorough_probe_interval で指定された期間、休止状態になります。
例 6-16
timeout = scds_get_ext_probe_timeout(scds_handle); for (;;) { /* * 連続する検証の間、Throrough_probe_interval で指定された期間、休止状態になる。 * xfnts_probe メソッドは次のようなループを実装します。 */ (void) scds_fm_sleep(scds_handle, scds_get_rs_thorough_probe_interval(scds_handle));
xfnts_probe メソッドは次のようなループを実装します。
例 6-17
for (ip = 0; ip < netaddr->num_netaddrs; ip++) {
/*
* 状態を監視するホスト名とポートを取得する。
*/
hostname = netaddr->netaddrs[ip].hostname;
port = netaddr->netaddrs[ip].port_proto.port;
/*
* HA-XFS がサポートするポートは 1 つだけなので、
* ポート値はポートの配列の最初の
* エントリから取得する。
*/
ht1 = gethrtime(); /* Latch probe start time */
scds_syslog(LOG_INFO, "Probing the service on "
"port: %d.", port);
probe_result =
svc_probe(scds_handle, hostname, port, timeout);
/*
* サービス検証履歴を更新し、
* 必要に応じて、アクションを行う。
* 検証終了時間を取得する。
*/
ht2 = gethrtime();
/* ミリ秒に変換する。 */
dt = (ulong_t)((ht2 - ht1) / 1e6);
/*
* 障害の履歴を計算し、必要に応じて
* アクションを行う。
*/
(void) scds_fm_action(scds_handle,
probe_result, (long)dt);
} /* ネットリソースごと */
} /* 検証を永続的に繰り返す。 */
svc_probe 関数は検証ロジックを実装します。svc_probe からの戻り値は scds_fm_action に渡されます。そして scds_fm_action は、アプリケーションを再起動するか、リソースグループをフェイルオーバーするか、あるいは何もしないかを決定します。
svc_probe 関数
svc_probe 関数は、scds_fm_tcp_connect を呼び出すことによって、指定されたポートとの単純ソケット接続を確立します。接続に失敗した場合、svc_probe は 100 の値を戻して、致命的な障害であることを示します。接続には成功したが、切断に失敗した場合、svc_probe は 50 の値を戻して、部分的な障害であることを示します。接続と切断の両方に成功した場合、svc_probe は 0 の値を戻して、成功したことを示します。
次に、svc_probe のコードを示します。
例 6-18
int
svc_probe(scds_handle_t scds_handle, char *hostname, int port, int
timeout)
{
int rc;
hrtime_t t1, t2;
int sock;
char testcmd[2048];
int time_used, time_remaining;
time_t connect_timeout;
/*
* データサービスを検証するには、port_list プロパティに指定された、
*/
* XFS データサービスを提供するホスト上にあるポートとのソケット接続を確立する。
* 指定されたポート上でリスンするように構成された XFS サービスが接続に
* 応答した場合、検証が成功したと判断する。probe_timeout プロパティに
* 設定された期間待機しても応答がない場合、
* 検証が失敗したと判断する。
*/
/*
* SVC_CONNECT_TIMEOUT_PCT をタイムアウトの
* 百分率として使用し、ポートと接続する。
*/
connect_timeout = (SVC_CONNECT_TIMEOUT_PCT * timeout)/100;
t1 = (hrtime_t)(gethrtime()/1E9);
/*
* 検証機能は、指定されたホスト名とポートとの接続を行う。
* 実際には、接続は probe_timeout 値の 95% に達するとタイムアウトする。
*/
rc = scds_fm_tcp_connect(scds_handle, &sock, hostname,
port,
connect_timeout);
if (rc) {
scds_syslog(LOG_ERR,
"Failed to connect to port <%d> of resource <%s>.",
port, scds_get_resource_name(scds_handle));
/* これは致命的な障害である。 */
return (SCDS_PROBE_COMPLETE_FAILURE);
}
t2 = (hrtime_t)(gethrtime()/1E9);
/*
* 接続にかかる実際の時間を計算する。この値は、
* 接続に割り当てられた時間を示す connect_timeout 以下
* である必要がある。接続に割り当てられた時間をすべて
* 使い切った場合、probe_timeout に残った値が当該関数に
* 渡され、切断タイムアウトとして使用される。
* そうでない場合、接続呼び出しで残った時間が
* 切断タイムアウトに追加される。
*
*/
time_used = (int)(t2 - t1);
/*
* 残った時間 (タイムアウトから接続にかかった
* 時間を引いた値) を切断に使用する。
*/
time_remaining = timeout - (int)time_used;
/*
* すべての時間を使い切った場合、ハードコーディングされた小さな
* タイムアウト値を使用して、切断しようとする。
* これによって、fd リークを防ぐ。
*/
if (time_remaining <= 0) {
scds_syslog_debug(DBG_LEVEL_LOW,
"svc_probe used entire timeout of "
"%d seconds during connect operation and exceeded the "
"timeout by %d seconds. Attempting disconnect with timeout"
" %d ",
connect_timeout,
abs(time_used),
SVC_DISCONNECT_TIMEOUT_SECONDS);
time_remaining = SVC_DISCONNECT_TIMEOUT_SECONDS;
}
/*
* 切断に失敗した場合、部分的な障害を戻す。
* 理由: 接続呼び出しは成功した。これは、
* アプリケーションが正常に動作していることを意味する。
* 切断が失敗した原因は、アプリケーションがハングしたか、
* 負荷が高いためである。
* 後者の場合、アプリケーションが停止したとは宣言しない
* (つまり、致命的な障害を戻さない)。その代わりに、部分的な
* 障害であると宣言する。この状態が続く場合、切断呼び出しは
* 再び失敗し、アプリケーションは再起動される。
*/
rc = scds_fm_tcp_disconnect(scds_handle, sock, time_remaining);
if (rc != SCHA_ERR_NOERR) {
scds_syslog(LOG_ERR,
"Failed to disconnect to port %d of resource %s.",
port, scds_get_resource_name(scds_handle));
/* これは部分的な障害である。 */
return (SCDS_PROBE_COMPLETE_FAILURE/2);
}
t2 = (hrtime_t)(gethrtime()/1E9);
time_used = (int)(t2 - t1);
time_remaining = timeout - time_used;
/*
* 時間が残っていない場合、fsinfo による完全な
* テストを行わない。その代わりに、
* SCDS_PROBE_COMPLETE_FAILURE/2 を戻す。これによって、
* このタイムアウトが続く場合、サーバーは再起動される。
*/
if (time_remaining <= 0) {
scds_syslog(LOG_ERR, "Probe timed out.");
return (SCDS_PROBE_COMPLETE_FAILURE/2);
}
/*
* ポートとの接続と切断に成功した。
* fsinfo コマンドを実行して、
* サーバーの状態を完全に検査する。
* stdout をリダイレクトする。さもないと、
* fsinfo からの出力はコンソールに送られる。
*/
(void) sprintf(testcmd,
"/usr/openwin/bin/fsinfo -server %s:%d > /dev/null",
hostname, port);
scds_syslog_debug(DBG_LEVEL_HIGH,
"Checking the server status with %s.", testcmd);
if (scds_timerun(scds_handle, testcmd, time_remaining,
SIGKILL, &rc) != SCHA_ERR_NOERR || rc != 0) {
scds_syslog(LOG_ERR,
"Failed to check server status with command <%s>",
testcmd);
return (SCDS_PROBE_COMPLETE_FAILURE/2);
}
return (0);
}
svc_probe は終了時に、成功 (0)、部分的な障害 (50)、または致命的な障害 (100) を戻します。xfnts_probe メソッドはこの値を scds_fm_action に渡します。
障害モニターのアクションの決定
xfnts_probe メソッドは scds_fm_action を呼び出して、行うべきアクションを決定します。scds_fm_action のロジックは次のとおりです。
-
Retry_interval プロパティで指定された期間中に、障害の履歴を累積します。
-
累積した障害が 100 に到達した場合 (致命的な障害)、データサービスを再起動します。Retry_interval を上回った場合、障害の履歴をリセットします。
-
Retry_interval で指定された期間中に、で再起動の回数が Retry_count プロパティの値を上回った場合、データサービスをフェイルオーバーします。
たとえば、検証機能が xfs サーバーに正常に接続したが、切断に失敗したものと想定します。これは、サーバーは動作しているが、ハングしていたり、一時的に過負荷状態になっている可能性を示しています。切断に失敗すると、scds_fm_action に部分的な障害 (50) が送信されます。この値は、データサービスを再起動するしきい値を下回っていますが、値は障害の履歴に記録されます。
次回の検証でもサーバーが切断に失敗した場合、scds_fm_action が保持している障害の履歴に値 50 が再度追加されます。累積した障害の履歴が 100 になるので、scds_fm_action はデータサービスを再起動します。
- © 2010, Oracle Corporation and/or its affiliates