C.4 マルチマスター・クラスタの問題

Oracle Key Vaultの操作時に、一般的なマルチマスター・クラスタ関連のエラーに関する次のトラブルシューティングのヒントを確認します。

C.4.1 マルチマスター・クラスタ環境でのハートビート・ラグまたは高レプリケーション・ラグ

マルチマスター・クラスタ環境では、ハートビート・ラグまたはレプリケーション・ラグが非常に高いか、不確定です。

Oracle Key Vault管理コンソールの「Cluster Monitoring」ページに次が表示されます。

Heartbeat Lag or Replication Lag higher than 120 sec and increasing consistently.

考えられる原因1

この問題は、ネットワーク接続の障害が原因で発生することがあります。この問題は、ネットワーク接続の障害、必要なポートがクラスタ・ノード間で開いていないこと、または断続的なネットワーク・パフォーマンスの問題が原因で発生する可能性があります。

解決策

  1. 各クラスタ・ノードで、システム管理者としてOracle Key Vault管理コンソールにログインし、「Cluster Monitoring」ページに移動します。
  2. ハートビート・ラグおよびレプリケーション・ラグを確認します。
  3. ハートビート・ラグまたはレプリケーション・ラグが高い場合、または「Cluster Services Status」が停止している場合(赤色の下矢印)、「Restart Cluster Services」をクリックしてクラスタ・サービスを再起動します。数分間待機し、ページをリフレッシュします。
  4. ラグがまだ高い場合は、クラスタ・ノードごとに、SSHを介してサポート・ユーザーとしてクラスタ・ノードにログインし、ユーザーsurootに切り替えて、問題のあるノードにpingします。
    curl -v telnet://other-node-ip-address:7093
    curl -v telnet://other-node-ip-address:7443
  5. 接続に失敗した場合は、ネットワーク接続の問題を解決して、前述のコマンドが成功することを確認します。
  6. ネットワーク接続がリストアされるまで数分待ちます。
  7. 問題が解決したかどうかを確認します。

考えられる原因2

クラスタ・ノードのレプリケーションに失敗しました。

解決策

  1. レプリケーション・ラグがあるクラスタ・ノードを特定します。
  2. 問題のあるクラスタ・ノードを再起動します。
  3. 問題が解決したかどうかを確認します。

考えられる原因3

Oracle Key VaultのCA証明書、ノード証明書、ノードが期限切れです。

解決策

  1. すべてのクラスタ・ノードで、Oracle Key Vaultノードの証明書が期限切れかどうかを確認します。
    1. システム管理者としてOracle Key Vault管理コンソールにログインします。
    2. ノード証明書の有効期限ステータスを確認するには、「System」「Status」の順に移動し、「Node Certificate Expiration Date」を確認します。Oracle Key Vaultのホーム・ページで、ノード証明書の有効期限アラートを確認することもできます。
    3. ノード証明書が期限切れになった場合は、再生成します。「System」に移動し、「Settings」を選択します。
    4. 「Service Certificates」を選択し、「Manage Node Certificate」をクリックして新しいノード証明書を再生成します。
  2. すべてのクラスタ・ノードで、Oracle Key VaultのCA証明書が期限切れかどうかを確認します。
    1. システム管理者としてOracle Key Vault管理コンソールにログインします。
    2. CA証明書の有効期限ステータスを確認するには、「System」に移動し、「Status」を選択し、「CA Certificate Expiration Date」を確認します。Oracle Key Vaultのホーム・ページで、CA証明書の有効期限アラートを確認することもできます。
    3. Oracle Key Vaultリリース21.5以降では、CAがすでに期限切れの場合、CA証明書のローテーションを開始できません。新しいCA証明書を手動で生成し、かわりにすべてのエンドポイントを再エンロールする必要があります。「CA証明書のローテーションの管理」を参照してください。Oracle Key Vault 21.4以前の場合、Oracleサポートに連絡してください。
  3. 問題が解決したかどうかを確認します。

C.4.2 クラスタ・ノードのペアリングの失敗

クラスタ・ノードのペアリングがマルチマスター・クラスタ環境で失敗します。

Adding a node to cluster fails,
Status of the node in Cluster Management page on the Oracle Key Vault Management console shows Pairing for indefinite amount of time.

考えられる原因1

NTP設定は、ペアになっているノードでは異なります。

解決策

  1. システム管理者としてコントローラ・ノードのOracle Key Vault管理コンソールにログインします。
  2. 両方のノードでOracle Key Vault管理コンソールにログインします。
  3. 「System」「Settings」ページに移動します。
  4. 「Network Services」領域で、「NTP」をクリックして「System Time」ウィンドウを表示します。

  5. ノードのペアリング・ステータスがしばらくして「ACTIVE」に変更されたかどうかを確認します。
  6. 問題が解決したかどうかを確認します。

考えられる原因2

コントローラ・ノードと新しいノードには、必要なポートを介してアクセスできません。

解決策

  1. サポート・ユーザーとしてSSHを介してすべてのノードにログインします。ユーザーsurootに切り替え、必要なポートを使用して問題のあるノードにpingします。
    curl -v telnet://ipaddress:7093
    curl -v telnet://ipaddress:7443
  2. 接続に失敗した場合は、ノード間で必要なポートを有効にします。ネットワーク・ポートの要件については、「Oracle Key Vaultインストレーションおよびアップグレード・ガイド」を参照してください。
  3. ペアリング・ステータスが「ACTIVE」に変更されたかどうかを確認します。
  4. 問題が解決したかどうかを確認します。

C.4.3 クラスタへのノードの追加が失敗して無効な証明書または証明書の期限切れのエラーが発生する

クラスタ証明書にノードを追加すると、期限切れになった証明書エラーまたは無効な証明書エラーが表示されます。

Adding a node to cluster fails with,
OAV-4783 Invalid certificate certificate has expired

考えられる原因

ノードで無効な証明書とAV証明書の有効期限が切れています。

解決策

  1. サポート・ユーザーとしてSSHを使用してコントローラ・ノードにログインし、rootユーザーに切り替えます。

    ノート:

    ノード2をピア読み取り/書き込みノードとしてノード1に追加すると、ノード1がコントローラ・ノードになります。
  2. 証明書ディレクトリに移動します。
    cd /usr/local/dbfw/etc
  3. 次のコマンドを実行して、プラットフォームCA証明書の有効期限を確認します。notAfterフィールドに表示される日付が過去の場合、証明書は期限切れです。
    # openssl x509 -in /usr/local/dbfw/etc/ca.crt -enddate -noout

    次に例を示します:

    # openssl x509 -in /usr/local/dbfw/etc/ca.crt -enddate -noout
    notAfter=Jan 2 15:06:34 2023 GMT

    証明書が期限切れになった場合は、プラットフォーム証明書を再生成します。プラットフォーム証明書の詳細は、「Oracle Key Vaultプラットフォーム証明書の管理」を参照してください。

C.4.4 Oracle Key Vaultクラスタの問題を診断する方法

問題に基づいて、このトピックのパスを使用して、Oracle Key Vaultクラスタの問題をトラブルシューティングします。

C.4.4.1 クラスタ・ノードのペアリングの問題

エラー・ログは、クラスタとノードのペアリングに関連する問題を検索するためのパスを提供します。様々なログ・ファイルが、様々な場所で問題の詳細を取得します。クラスタとノードのペアリングに関連する問題の詳細は、これらのログ・ファイルを参照してください。

Oracle Key Vault管理コンソールからの一般的なトラブルシューティング

  • 「Monitoring」ページ - ノードのステータスを表示します。
  • 「Cluster Monitoring」ページで、エンドポイントやウォレット(ノードを除く)などのオブジェクトが「Pending」状態であり、「Active」状態に変更されていない場合、レプリケーション・ラグが120秒未満または推奨値未満であることを確認します。

表C-1 コントローラ・ノードのキー・ファイル

ファイル・パス 説明
/var/log/messages

エラーをレポートする場所。

/var/log/debug HTTPSリクエストなどの操作の詳細。このファイルには、ペアリング中に発生したエラーが記録されます。
/var/okv/log/mmha/welcome_node_status.txt コントローラ・ノードによって実行されるタイムスタンプとステップを記録します。また、コントローラ・ノード上の最近のペアリング中に発生したエラーも記録します。
/var/okv/log/mmha/okv_replicate_to_new_node*.log ls -lrt | grep okv_replicate_to_new_nodeとの最新のペアリングを探します。これには、welcome_node_status.txtより多くの詳細が含まれる場合があります
/var/okv/log/mmha/okv_new_node_added*.log okv_replicate_to_new_node*.logと同じですが、okv_load_node_tune_restored_bkp*が候補ノードで終了した後、ペアリングの後続のステップで使用されることを除きます。
/var/okv/og/mmha/output_date_ogg_* これらのファイルは、OGGコマンドの出力です

表C-2 候補ノードのキー・ファイル

ファイル・パス 説明
/var/log/messages エラーをレポートする場所。
/var/log/debug HTTPSリクエストなどの操作の詳細。このファイルには、ペアリング中に発生したエラーが記録されます。
/var/lib/oracle/ogg/okv/load_node_info.txt 候補ノードによって生成されます。コントローラ・ノードはこのファイルをHTTPS経由で取得しようとし、ペアリング・プロセスの開始ステップの1つとして情報を検証します。
/var/okv/log/mmha/new_node_status.txt タイムスタンプおよびステップはここに記載されています。候補ノードでのペアリング中にエラーが発生した場合は、ここにあります。
/var/okv/log/mmha/okv_load_node_from_backup*.log コントローラ・ノードでokv_replicate_to_new_nodeの後に発生します。詳細は、new_node_status.txtを参照してください。
/var/okv/log/mmha/okv_load_node_tune_restored_bkp*.log okv_load_node_from_backupの後(再起動後)に発生します。new_node_status.txtより詳しい情報が含まれます。
/var/okv/log/db/output*okv_backup_restore.log ペアリング中にバックアップ・リストアを実行すると、出力がここに記録されます。