| Oracle® Site Guard管理者ガイド リリース12.1.0.7 E57717-02 |
|
 前 |
 次 |
この章では、Oracle Site Guard操作計画を作成、実行および監視する方法について説明します。
次のトピックが含まれます:
Oracle Site Guard操作計画には、障害時リカバリ・アクティビティで実行する必要のある手順が含まれます。操作計画では、手順の定義に加えて、手順のシリアルまたはパラレルの実行、エラー時の手順の無視または再試行などの概念もサポートされます。
図6-1は、Oracle Site Guard操作を管理するためのロードマップを示します。オプションとマークされている手順は、サイト・トポロジと操作計画でその構成が必要な場合に必要となります。ただし、ほとんどのエンタープライズ・デプロイメントは大規模なため、通常、図に示されているすべての構成手順が必要になります。
|
注意:
|
操作計画には、Oracle Site Guard操作の実行フローが含まれます。これは、一連の順序付けられたアクション(手順)で構成される、事前構成されたワークフローです。
Oracle Site Guard障害時リカバリ操作を実行する前に、その操作の計画を作成する必要があります。
次に示すような手順を、操作計画に含めることができます。
Oracle HTTP Serverの停止。
Oracle WebLogicドメインのノード・マネージャ、管理対象サーバーおよび管理サーバーの停止。
Oracle Data Guardを使用したデータベース・ロール・リバーサルの実行。
操作計画シーケンス内の特定のポイントでのカスタム・ユーザー・スクリプトの実行。
Oracle Site Guardでは、サイト・トポロジとOracle Site Guard構成に基づいてデフォルト・バージョンの操作計画が作成されます。このデフォルトの操作計画を使用することも、構成に応じてカスタマイズすることもできます。
この項には次のトピックが含まれます:
操作計画を作成するには、次のいずれかの方法を使用します。
Enterprise Manager Cloud Controlコンソールを使用して操作計画を作成するには、次の手順を実行します。
EM_SG_ADMINISTRATORロール権限を持つユーザーとしてEnterprise Managerにログインします。
「ターゲット」メニューから、「システム」を選択します。
「システム」ページが表示されます。
「システム」ページで、計画の作成先となるシステムの名前(「汎用システム」)をクリックします。
このサイトの「汎用システム」ページが表示されます。
「汎用システム」、「サイト・ガード」、「操作」の順にクリックします。
「サイト・ガード操作」ページが表示されます。
「作成」をクリックします。
「新規操作計画の作成」ダイアログが表示されます。
次の詳細を入力します。
計画名: 計画の名前を入力します。
「操作タイプ」: 次のオプションから操作タイプを選択します。
スイッチオーバー
フェイルオーバー
起動
停止
|
注意:
|
プライマリ・システム: このフィールドには、この計画の作成先となるシステムの名前が表示されます。このフィールドの値は変更できません。
スタンバイ・システム: リストからスタンバイ・システムを選択します。このオプションが有効になるのは、「操作タイプ」フィールドで「スイッチオーバー」または「フェイルオーバー」を選択した場合のみです。
現在のロール: 「プライマリ」または「スタンバイ」のいずれかを選択します。これは、この計画が適用されるシステムのロールです。計画は、システムがロールに割り当てられた場合のみ実行できます。このオプションが有効になるのは、「操作タイプ」フィールドで「起動」または「停止」を選択した場合のみです。
「保存」をクリックします。
次のemcliコマンドをコマンドライン・インタフェースで実行して、新しい操作計画を作成します。
emcli create_operation_plan
[-primary_system_name="name_of_primary_system"]
[-standby_system_name="name_of_standby_system"]
[-system_name="name_of_the_system"]
[-operation="name_of_the_operation"]
[-name="name_of_the_operation_plan"]
[-role="role_associated_with_the_system"]
[-like="name_of_the_operation_plan_from_which_the_steps_are_to_be_copied"
| パラメータ | 説明 |
|---|---|
-primary_system_name |
プライマリ・サイトに関連付けられるシステムの名前を指定します。このオプションは、スイッチオーバーまたはフェイルオーバーの操作に対して使用されます。 |
-standby_system_name |
スタンバイ・サイトに関連付けられるシステムの名前を指定します。このオプションは、スイッチオーバーまたはフェイルオーバーの操作に対して使用されます。 |
-system_name |
システムの名前を指定します。このオプションは、起動または停止の操作に対して使用されます。 |
-operation |
操作の機能を指定します。例: switchover、failover、startまたはstop。 |
-name |
操作計画の名前を指定します。 |
-role |
操作(startまたはstop)を実行するときシステムに関連付けられるロールを指定します。 |
| -like | 手順をコピーする操作計画の名前。このオプションを指定すると、システム名、操作およびロールが無視されます。 |
既存の計画をクローニング(コピー)して、新しい操作計画を作成および構成できます。これは、すべてのタイプの計画に適用されます。
Enterprise Manager Cloud Controlコンソールを使用して計画をクローニングするには、次の手順を実行します。
Enterprise ManagerにEM_SG_ADMINISTRATORユーザーでログインします。
「ターゲット」メニューから、「システム」をクリックします。
「システム」ページが表示されます。
操作計画を作成するシステム名(汎用システム)を選択します。そのサイトの「汎用システム」ページが表示されます。
「汎用システム」、「サイト・ガード」、「操作」の順にクリックします。
「サイト・ガード操作」ページが表示されます。
表から既存の操作計画を選択して、「類似作成」をクリックします。
新しい計画の名前を入力します。
「保存」をクリックします。
次のタスクを実行して、操作計画を編集または更新できます。
操作計画内の手順の順序を変更する。
操作計画内の個々の手順を有効または無効にする。
操作計画の実行時にOracle Site Guardによりエラーが検出された場合に、操作計画内の手順を停止するか続行するかを選択する。
各手順について、シリアルにまたは複数の異なるホストでパラレルに実行するかをカスタマイズする。
いつでも操作計画内の手順を変更し、更新した操作計画を任意のポイントで保存できます。
操作計画を編集または更新するには、次の方法のいずれかを使用します。
Enterprise Manager Cloud Controlコンソールを使用して操作計画を編集および更新するには、次の手順に従います。
EM_SG_ADMINISTRATORロール権限を持つユーザーとしてEnterprise Managerにログインします。
「ターゲット」メニューから、「システム」を選択します。
「システム」ページが表示されます。
「システム」ページで、この計画の作成先となっているシステムの名前(「汎用システム」)をクリックします。
そのサイトの「汎用システム」ページが表示されます。
システムのホームページで、「汎用システム」、「サイト・ガード」、「操作」の順に選択します。
「サイト・ガード操作」ページが表示されます。
構成済の操作計画が「操作計画」タブに一覧表示されます。
「計画名」列にリストされている既存の操作計画をクリックして選択します。
選択した操作計画に関連付けられている手順が、「操作計画」表の下の「操作の詳細」表に一覧表示されます。表の各行は、操作計画の一部として実行される1つの手順を示します。
「編集」をクリックして、操作計画内の手順を更新およびカスタマイズするためにオプションを有効にします。
「上に移動」(緑色の矢印)、「下に移動」(赤色の矢印)または「ステップの削除」を選択して、操作計画内の手順を順序付けます。
また、「エラー・モード」、「実行モード」または「実行モード」の各列から属性を選択します。
操作計画手順は属するグループから移動できません。
保存をクリックして計画を更新します。
操作計画を編集または更新するには、コマンドライン・インタフェースで次のemcliコマンドを実行します。
次のコマンドを実行して、構成済の操作計画のリストを取得します。
emcli get_operation_plans [-name="name_of_the_operation_plan"]
[-operation="type_of_operation"]
[-system_name="name_of_the_system"]
[-primary_system_name="name_of_the_primary_system"]
[-standby_system_name="name_of_the_standby_system"]
| パラメータ | 説明 |
|---|---|
-name |
操作計画の名前を指定します。 |
-operation |
操作の名前を指定します。例: switchover、failover、startまたはstop。
これは、オプションのパラメータです。このパラメータを指定しない場合、すべての操作計画が一覧表示されます。 |
-system_name |
操作計画で使用するシステムの名前を指定します。これらの値を指定する場合、-primary_system_nameおよび-standby_system_nameの値を指定する必要はありません。 |
-primary_system_name |
操作計画で使用するプライマリ・システムの名前を指定します。-system_nameの値のかわりにこのパラメータの値を指定できます。フィルタ処理を向上するために-standby_system_nameパラメータを追加で使用することもできます。 |
-standby_system_name |
操作計画で使用するスタンバイ・システムの名前を指定します。-system_nameの値のかわりにこのパラメータの値を指定できます。フィルタ処理を向上するために-primary_system_nameパラメータを追加で使用することもできます。 |
次のコマンドを実行して、更新する操作計画の詳細を取得します。
emcli get_operation_plan_details
-name="name_of_the_operation_plan"
| パラメータ | 説明 |
|---|---|
-name |
操作計画の名前を指定します。 |
次のコマンドを実行して、計画を更新します。
emcli update_operation_plan
-name="operation_plan_name"
-step_number="step_number"
-target_host="host_name"
-target_name="target_name"
[error_mode="error_mode"]
[enabled="true" or "false"]
[-execution_mode="Serial" or "Parallel"]
[-move="up"or"down"]
[-delete="true" or "false"]
| パラメータ | 説明 |
|---|---|
-name |
操作計画の名前を指定します。 |
-step_number |
更新する必要のある手順の数を指定します。 |
-target_host |
システムの名前を指定します。これを指定すると、このターゲット・ホストに関連するすべてのステップが更新されます。 |
-target_name |
データベース・ターゲット名を指定します。 |
-error_mode |
操作の機能。例: stopまたはcontinue。 |
-enabled |
trueまたはfalseを入力します。 |
-execution_mode |
実行モードを指定します。例: SerialまたはParallel |
-move |
UpまたはDownを指定して順序を変更します。 |
| -delete | ステップを削除するかどうかを指定します。trueまたはfalseを指定します。 |
操作計画を削除するには、次のいずれかの方法を使用します。
Enterprise Manager Cloud Controlコンソールを使用して操作計画を削除するには、次の手順に従います。
EM_SG_ADMINISTRATORロール権限を持つユーザーとしてEnterprise Managerにログインします。
「ターゲット」メニューから、「システム」を選択します。
「システム」ページが表示されます。
「システム」ページで、この計画の作成先となっているシステムの名前(「汎用システム」)をクリックします。
そのサイトの「汎用システム」ページが表示されます。
システムのホームページで、「汎用システム」、「サイト・ガード」、「操作」の順に選択します。
「サイト・ガード操作」ページが表示されます。
構成済の操作計画が「操作計画」タブに一覧表示されます。
「計画名」列にリストされている既存の操作計画をクリックして選択します。
「削除」をクリックして、選択した操作計画を削除します。
確認を求めるポップアップ・ウィンドウが表示されます。
「はい」をクリックして、アクションを確認します。
1つの操作計画を削除するには、コマンドライン・インタフェースで次のemcliコマンドを実行します。
emcli delete_operation_plan
–name="name_of_the_operation_plan"
| パラメータ | 説明 |
|---|---|
-name |
操作計画の名前を指定します。 |
Oracle Site Guardでは、操作の実行前に、デフォルトで事前チェック・ユーティリティが実行されます。また、任意のOracle Site Guard操作を実行する前に、事前チェック・ユーティリティを個別に実行することもできます。Oracle Site Guard for Fusion Middlewareプラグイン・リリース(12.1.0.7)の事前チェック・ユーティリティは拡張され、データベース・ラグおよびZFSアプライアンスのレプリケーション・ヘルスの事前チェックを含むようになっています。
Oracle Site Guardでは、次の事前チェックが実行されます。
操作の対象となるすべてのホストのエージェント・ステータスを確認します。
操作計画の作成後に、新規のターゲットが汎用システムに追加されているかどうかをチェックします。
操作計画の対象となるすべてのターゲットが、Enterprise Managerリポジトリに存在しているかどうかを確認します。
操作計画の作成後に、ターゲットが汎用システムから移動または削除されている場合はこれを検出します。
各ターゲット・ホストで実行時以外の構成されたスクリプト(前処理スクリプト/後処理スクリプト/マウント・スクリプト/アンマウント・スクリプト/ストレージ・ロール・リバーサル)の存在をアサートします。
データベースがロール・リバーサル(スイッチオーバー/フェイルオーバー操作)の準備ができているかを確定するために、Oracle Data Guard Broker事前チェックを実行します。
データベース・ロールのチェックを実行します。
データベース・ラグ(適用およびトランスポート)のチェックを実行します。
ZFSストレージ・アプライアンスのチェックを実行し、ロール変更の準備状況をアサートします。
事前チェック・ユーティリティを実行するには、次のいずれかの方法を使用します。
Enterprise Manager Cloud Controlを使用して事前チェック・ユーティリティを実行するには、次の手順を実行します。
EM_SG_ADMINISTRATORロール権限を持つユーザーとしてEnterprise Manager Cloudコンソールにログインします。
「ターゲット」メニューから、「システム」を選択します。
「システム」ページが表示されます。
「システム」ページで、事前チェックの実行先となるシステムの名前(「汎用システム」)をクリックします。
「汎用システム」、「サイト・ガード」、「操作」の順にクリックします。「サイト・ガード操作」ページが表示されます。
リストから操作計画名をクリックして操作計画を選択します。
「事前チェックの実行」をクリックします。
ダイアログ・ボックスが表示されます。
「はい」をクリックして、アクションを確認します。
事前チェックの進行状況と結果を追跡するには、ページの上部の「確認」ペインの「ここをクリックしてください」リンクをクリックするか、または「エンタープライズ」、「プロビジョニングとパッチ適用」、「プロシージャ・アクティビティ」の順に移動します。
プロシージャ・アクティビティを監視する方法の詳細は、第6.6項「Oracle Site Guard操作の監視」を参照してください。
EMCLIコマンドを使用してOracle Site Guard事前チェック・ユーティリティを実行するには、次のコマンドを実行します。
emcli run_prechecks
-operation_plan="operation_plan_name"
[-database_lag_checks="true"|"false"]
| パラメータ | 説明 |
|---|---|
-operation_plan |
操作計画の名前を入力します。 |
-database_lag_checks |
すべてのData Guard構成済データベースに対し、事前チェックの一部としてデータベース・ラグ・チェックを実行します。このパラメータはオプションです。
デフォルト値は |
|
注意: []は、オプションのパラメータであることを示します。 |
操作計画用にヘルス・チェックをスケジュールするには、次の方法のいずれかを使用します。
Enterprise Manager Cloud Controlを使用してヘルス・チェックをスケジュールするには、次の手順を実行します。
EM_SG_ADMINISTRATORロール権限を持つユーザーとしてEnterprise Manager Cloudコンソールにログインします。
「ターゲット」メニューから、「システム」を選択します。
「システム」ページが表示されます。
「システム」ページで、事前チェックの実行先となるシステムの名前(「汎用システム」)をクリックします。
「汎用システム」、「サイト・ガード」、「操作」の順にクリックします。「サイト・ガード操作」ページが表示されます。
リストから操作計画名をクリックして操作計画を選択します。
「ヘルス・チェックのスケジュール」をクリックします。
操作計画に対するヘルス・チェックのスケジュールダイアログ・ボックスが表示されます。
ヘルス・チェックのスケジュールを構成します。
「保存」をクリックします。
各ヘルス・チェックの結果を確認するには、「エンタープライズ」、「プロビジョニングとパッチ適用」、「プロシージャ・アクティビティ」の順に移動します。
プロシージャ・アクティビティを監視する方法の詳細は、第6.6項「Oracle Site Guard操作の監視」を参照してください。
EMCLIを使用してヘルス・チェックをスケジュールするには、コマンドライン・インタフェースで次のコマンドを実行します。
emcli schedule_siteguard_health_checks
-operation_plan={name of the operation plan}
-schedule=
{
start_time:yyyy/MM/dd HH:mm;
[tz:{java timezone ID};]
[frequency:interval/weekly/monthly/yearly;]
[repeat:tx;]
[end_time:yyyy/MM/dd HH:mm;]
[grace_period:xxx;]
}
| パラメータ | 説明 |
|---|---|
-operation_plan |
操作計画の名前を入力します。 |
-schedule |
ヘルス・チェックのスケジュールを指定します。次のパラメータに値を入力します。
- - - 頻度を 頻度を 頻度を - - 頻度を 頻度を - - - 次に例を示します。 Examples: start_time:2014/06/10 15:45 start_time:2014/10/29 2:00;frequency:interval;repeat:1d start_time:2014/08/10 01:00;frequency:interval;repeat:1w start_time:2014/08/10 01:00;frequency:weekly;days:6,7;grace_period:60;tz:America/New_York |
サイトを起動するには、次のいずれかの方法を使用します。
Enterprise Manager Cloud Controlコンソールを使用して操作計画を実行するには、次のタスクを完了します。
EM_SG_ADMINISTRATORロール権限を使用してEnterprise Managerにログインします。
「ターゲット」メニューから、「システム」を選択します。
「システム」ページが表示されます。
「システム」ページで、計画の実行先となっているシステムの名前(「汎用システム」)をクリックします。
「汎用システム」ページで、「汎用システム」、「サイト・ガード」、「操作」の順にクリックします。
「サイト・ガード操作」ページが表示されます。
リストから操作計画を選択します。
「操作の実行」をクリックします。
ダイアログ・ボックスが表示されます。
操作計画を実行する前に事前チェックを実行するには、「事前チェックの実行」チェック・ボックスを選択します。
「はい」をクリックして、アクションを確認します。
操作の進行状況と結果を追跡するには、ページの上部の「確認」ペインの「ここをクリックしてください」リンクをクリックするか、または「エンタープライズ」、「プロビジョニングとパッチ適用」、「プロシージャ・アクティビティ」の順に移動します。
プロシージャ・アクティビティを監視する方法の詳細は、第6.6項「Oracle Site Guard操作の監視」を参照してください。
操作計画を実行するには、コマンドライン・インタフェースで次のEMCLIコマンドを実行します。
emcli submit_operation_plan
-name="name_of_operation_plan"
[-run_prechecks="true | false"]
[-stop_primary="flag_specifying_whether_primary_site_to_be_stopped_during_failover"]
[-database_lag_checks="true"|"false"]
| パラメータ | 説明 |
|---|---|
-name |
操作計画の名前を指定します。 |
-run_prechecks |
run_prechecks値(trueまたはfalse)を指定します。
デフォルトでは、このパラメータの値は 値を |
-stop_primary |
フェイルオーバー操作中にプライマリ・サイトのターゲットを停止するかどうかを指定します。trueまたはfalseの値を設定します。 |
-database_lag_checks |
すべてのData Guard構成済データベースに対し、事前チェックの一部としてデータベース・ラグ・チェックを実行します。このパラメータはオプションです。
デフォルト値は |
操作アクティビティを監視するには、次のいずれかの方法を使用します。
この項には次のトピックが含まれます:
実行のために発行された操作アクティビティを監視するには、次の手順を完了します。
EM_SG_ADMINISTRATORロール権限を使用してEnterprise Managerにログインします。
「エンタープライズ」メニューで、「プロビジョニングとパッチ適用」、「プロシージャ・アクティビティ」を順にクリックします。「プロビジョニング」ページが表示されます。
「プロシージャ・アクティビティ」表で、監視する操作のアクティビティの名前をクリックします。
その操作の「プロシージャ・アクティビティ」ページが表示されます。図6-2を参照してください。
最上位手順の隣のドロップダウン記号をクリックして、サブ手順を表示します。アクティビティの手順が階層として表示されます。図6-3を参照してください。
進行中の操作を一時停止し、後で再開できます。再開する必要のない操作を停止することもできます。次の手順に従います。
EM_SG_ADMINISTRATORロール権限を使用してEnterprise Managerにログインします。
「エンタープライズ」メニューで、「プロビジョニングとパッチ適用」、「プロシージャ・アクティビティ」を順にクリックします。「プロビジョニング」ページが表示されます。
「プロシージャ・アクティビティ」表で、監視する操作の名前をクリックします。
その操作の「プロシージャ・アクティビティ」ページが表示されます。
ページの右側にある「プロシージャ・アクション」をクリックします。
ドロップダウン・メニューからアクションをクリックします。図6-4を参照してください。
EMCLIを使用して操作計画のステータスを監視するには、コマンドライン・インタフェースで次のコマンドを完了します。
次のコマンドを実行して、プロシージャのリストを取得します。
emcli get_instances
[-type={procedure type}]
[-format=name:]
[-script]
[-noheader]
| パラメータ | 説明 |
|---|---|
-type |
プロシージャ・タイプを指定します。このパラメータはオプションです。 |
-format |
インスタンスのリストの出力形式を指定します。pretty、scriptまたはcsvを指定します。このパラメータはオプションで、デフォルト値はprettyです。 |
-script |
出力形式がscriptであるかどうかを指定します。このパラメータはオプションです。 |
-noheader |
列ヘッダーを表示しません。このパラメータはオプションです。 |
emcli get_instancesコマンドで表示される操作一覧で、操作のGUIDを書き留めます。
次のコマンドを使用して、操作のステータスを取得します。
emcli get_instance_status -instance="GUID"
Oracle Site Guardでは、Enterprise Manager Cloud Controlデプロイメント・プロシージャ・フレームワークを使用して、リモート・ホストでの障害時リカバリ操作が編成されます。フレームワークでは、エラー・モードを介してエラー管理が行われます。
操作計画の実行時に検出されたエラーは、様々な方法で管理されます。Oracle Site Guardには、個々の手順でエラー・モードを定義するオプションが用意されており、手順を有効化または無効化することもできます。たとえば、操作手順が「エラー時に停止」のエラー・モードに関連付けられている場合、操作はその手順の実行中にOracle Site Guardにより停止させられます。
その手順を再試行し、操作を続行するには、次の手順を完了します。
EM_SG_ADMINISTRATORロール権限を使用してEnterprise Managerにログインします。
「エンタープライズ」メニューで、「プロビジョニングとパッチ適用」、「プロシージャ・アクティビティ」を順にクリックします。「プロビジョニング」ページが表示されます。
「プロシージャ・アクティビティ」表で、変更する操作の名前をクリックします。
その操作の「プロシージャ・アクティビティ」ページが表示されます。
最上位手順の隣のドロップダウン記号をクリックして、サブ手順を表示します。アクティビティの手順が階層として表示されます。手順の階層で、エラーが検出された手順にたどり着くまでドロップダウン記号をクリックします。
図6-5を参照してください。
手順を選択し、「アクション」をクリックします。ドロップダウン・メニューが表示されます。
ドロップダウン・メニューから、このエラーを管理するためにOracle Site Guardで実行するアクションをクリックします。
エラーを無視し、計画の他の手順を続行するには、「無視」をクリックします。
手順を再実行するには、「再試行」をクリックします。
この手順のパラメータを更新して手順を再実行するには、「更新と再試行」をクリックします。
|
注意:
|
Oracle Site Guardを使用して障害時ワークフローまたはワークフローの分離した部分をテストしている場合、サイト・ロールを手動で再構成してプライマリ・サイトとして明示的にサイトを指定する必要がある状況が発生する可能性があります。プライマリ・サイトとしてサイトを指定するか、サイト・ロールを手動で再構成する場合、他のサイトがスタンバイ・サイトとして自動的に指定されます。
サイト・ロールを手動で再構成するには、次の方法のいずれかを使用します。
Enterprise Manager Cloud Controlコンソールを使用したサイト・ロールを手動で再構成するには、次の手順を実行します。
EM_SG_ADMINISTRATORロール権限を持つユーザーとしてEnterprise Manager Cloudコンソールにログインします。
「ターゲット」メニューから、「システム」を選択します。
「システム」ページが表示されます。
プライマリ・サイトとして指定するシステム(汎用システム)の名前をクリックします。
サイトの「汎用システム」ページが表示されます。
システムのホームページで、「汎用システム」メニューから「サイト・ガード」、「構成」の順にクリックします。
「サイト・ガード構成」ページが表示されます。
「プライマリとして設定」をクリックします。
プライマリ・サイトとスタンバイ・サイトのロールを手動でリバースするには、コマンドライン・インタフェースで次のEMCLIコマンドを実行します。
|
注意: Enterprise Managerコマンドライン・インタフェースへのログインの詳細は、『Oracle Enterprise Managerコマンドライン・インタフェース』を参照してください。 |
emcli update_siteguard_configuration
-primary_system_name="primary_system_name"]
-standby_system_name="standby_system_name"]
[-reverse_role="flag_specifying_whether_system_roles_to_be_reversed"]
| パラメータ | 説明 |
|---|---|
-primary_system_name |
現在プライマリ・サイトであり、新しいスタンバイ・サイトとして指定する必要があるシステムの名前を入力します。 |
-standby_system_name |
現在スタンバイ・サイトであり、新しいプライマリ・サイトとして指定する必要があるシステムの名前を入力します。 |
-reverse_role |
このオプションを指定して、サイト・ロールをリバースします。 |
