test

Solaris OS용 Sun Cluster 시스템 관리 안내서

클러스터 노드 제거

이 절에서는 클러스터 노드 제거 방법에 대한 지침을 제공합니다. 다음 표는 기존 클러스터에서 노드를 제거하기 위해 수행하는 작업의 목록입니다. 정확하게 절차를 완료하려면 표시된 순서로 이 작업을 수행해야 합니다.

주의 – 주의 –

클러스터가 OPS 구성을 실행하고 있으면 이 절차를 수행하지 마십시오. 이 경우에 OPS 구성의 노드를 제거하면 재부트할 때 노드가 중지될 수 있습니다.

표 8–3 작업 맵: 클러스터 노드 제거

작업 

지침 

제거할 노드에서 모든 자원 그룹과 장치 그룹을 다른 노드로 이동 

   - clnode(1CL) evacuate 사용

# clnode evacuate node

모든 자원 그룹에서 노드 제거 

   - clresourcegroup(1CL) remove-node 사용

Sun Cluster Data Services Planning and Administration Guide for Solaris OS

모든 장치 그룹에서 노드 제거 

   - cldevicegroup(1CL) remove node, metaset(1M) 및 clsetup(1CL) 사용

장치 그룹에서 노드를 제거하는 방법(Solaris Volume Manager)

SPARC: 장치 그룹에서 노드를 제거하는 방법(VERITAS Volume Manager)

원시 디스크 장치 그룹에서 노드를 제거하는 방법

주의: 필요한 보조 노드 수를 2개 이상으로 구성해도 1개로 감소됩니다.

완전히 연결된 쿼럼 장치를 모두 제거 

   - clsetup 사용

주의: 2 노드 클러스터에서 노드를 제거하는 경우에는 쿼럼 장치를 제거하지 마십시오.

쿼럼 장치를 제거하는 방법

다음 단계에서 저장 장치를 제거하기 전에 쿼럼 장치를 제거해야 하지만 이후에 바로 다시 쿼럼 장치를 추가할 수 있습니다. 

이 노드에서 완전히 연결된 저장 장치를 모두 제거  

  - clresourcegroupclresourcegroup(1CL) clresourcegroup(1CL) devfsadm(1M), cldevice(1CL) refresh 사용

주의: 2 노드 클러스터에서 노드를 제거하는 경우에는 쿼럼 장치를 제거하지 마십시오. 세 개 이상의 노드가 연결된 클러스터에서 어레이와 단일 노드 사이의 연결을 제거하는 방법

쿼럼 장치 다시 추가(클러스터에 남겨둘 노드에만) 

  - clsetup 사용

쿼럼 장치 추가

제거할 노드를 유지 보수 상태로 전환합니다. 

   - clnode(1CL) evacuate, shutdown 및 clquorum(1CL) disable 사용

노드를 유지 보수 상태로 만드는 방법

제거할 노드에서 모든 논리적 전송 연결(전송 케이블 및 어댑터) 제거 

   - clsetup 사용

클러스터 전송 케이블, 전송 어댑터 및 전송 스위치를 제거하는 방법

제거될 노드와 연결된 모든 쿼럼 장치 제거 

   - cluster set, clquorum remove 사용

클러스터에서 마지막 쿼럼 장치를 제거하는 방법

클러스터 소프트웨어 구성에서 노드 제거 

   - clnode remove 사용

클러스터 하드웨어 구성에서 노드를 제거하는 방법

(선택 사항) 클러스터 노드에서 Sun Cluster 소프트웨어 제거 

클러스터 노드에 설치된 Sun Cluster 소프트웨어를 제거하는 방법

Procedure클러스터 하드웨어 구성에서 노드를 제거하는 방법

클러스터에서 노드를 제거하려면 다음 절차를 수행하십시오.

이 절차에서는 장문형 Sun Cluster 명령을 제공합니다. 대부분의 명령에는 단문형도 있습니다. 명령은 명령 이름이 장문형과 단문형인 것을 제외하면 동일합니다. 명령 및 단문형 명령의 목록을 보려면 부록 A, Sun Cluster 객체 지향 명령를 참조하십시오.

  1. 클러스터 노드 제거에 나열된 모든 사전 작업을 정확하게 완료해야 합니다.

    주 –

    이 절차를 계속 진행하기 전에 모든 자원 그룹, 디스크 장치 그룹 및 쿼럼 장치 구성에서 노드를 제거하고 유지 보수 상태로 만들었는지 확인하십시오.

  2. 제거할 노드에서 수퍼유저 또는 solaris.cluster.modify RBAC 인증을 제공하는 역할로 전환합니다.

  3. 제거할 노드를 비클러스터 노드로 부트합니다.

    • SPARC 기반 시스템에서는 다음 명령을 수행하십시오.


      ok boot -x

    • x86 기반 시스템에서는 다음 명령을 수행하십시오.


      phys-schost# shutdown -g -y -i0

Press any key to continue

    1. GRUB 메뉴에서 화살표 키를 사용하여 적합한 Solaris 항목을 선택하고 e를 입력하여 해당 명령을 편집합니다.

      GRUB 메뉴가 다음과 같이 나타납니다.


      GNU GRUB version 0.95 (631K lower / 2095488K upper memory)
+-------------------------------------------------------------------------+
| Solaris 10 /sol_10_x86                                                  |
| Solaris failsafe                                                        |
|                                                                         |
+-------------------------------------------------------------------------+
Use the ^ and v keys to select which entry is highlighted.
Press enter to boot the selected OS, 'e' to edit the
commands before booting, or 'c' for a command-line.

      GRUB 기반 부트에 대한 자세한 내용은 System Administration Guide: Basic Administration의 11 장, GRUB Based Booting (Tasks)을 참조하십시오.

    2. 부트 매개 변수 화면에서 화살표 키를 사용하여 커널 항목을 선택하고 e를 입력하여 선택한 항목을 편집하십시오.

      다음과 같이 GRUB 부트 매개 변수 화면이 나타납니다. 


      GNU GRUB version 0.95 (615K lower / 2095552K upper memory)
+----------------------------------------------------------------------+
| root (hd0,0,a)                                                       |
| kernel /platform/i86pc/multiboot                                     |
| module /platform/i86pc/boot_archive                                  |
+----------------------------------------------------------------------+
Use the ^ and v keys to select which entry is highlighted.
Press 'b' to boot, 'e' to edit the selected command in the
boot sequence, 'c' for a command-line, 'o' to open a new line
after ('O' for before) the selected line, 'd' to remove the
selected line, or escape to go back to the main menu.

    3. -x를 명령에 추가하여 시스템 부트를 비클러스터 모드로 지정합니다.


      [ Minimal BASH-like line editing is supported. For the first word, TAB
lists possible command completions. Anywhere else TAB lists the possible
completions of a device/filename. ESC at any time exits. ]

grub edit> kernel /platform/i86pc/multiboot -x

    4. Enter 키를 눌러 변경 사항을 수락하고 부트 매개 변수 화면으로 복귀합니다.

      화면에 편집된 명령이 표시됩니다. 


      GNU GRUB version 0.95 (615K lower / 2095552K upper memory)
+----------------------------------------------------------------------+
| root (hd0,0,a)                                                       |
| kernel /platform/i86pc/multiboot -x                                  |
| module /platform/i86pc/boot_archive                                  |
+----------------------------------------------------------------------+
Use the ^ and v keys to select which entry is highlighted.
Press 'b' to boot, 'e' to edit the selected command in the
boot sequence, 'c' for a command-line, 'o' to open a new line
after ('O' for before) the selected line, 'd' to remove the
selected line, or escape to go back to the main menu.-

    5. b를 입력하여 노드를 비클러스터 모드로 부트합니다.

      주 –

      커널 부트 매개 변수 명령에 대한 변경 사항은 시스템을 재부트하면 사라집니다. 다음에 노드를 재부트하면 클러스터 모드로 부트됩니다. 비클러스터 모드로 부트하려면, 이 단계를 다시 실행하여 -x 옵션을 커널 부트 매개 변수 명령에 추가합니다.

  4. 클러스터에서 노드를 제거합니다.


    # clnode remove nodename

  5. 다른 클러스터 노드에서 노드 제거를 확인합니다.


    # clnode status nodename

  6. 제거된 노드에서 Sun Cluster 소프트웨어를 제거하려는 경우 클러스터 노드에 설치된 Sun Cluster 소프트웨어를 제거하는 방법으로 이동하십시오. 제거된 노드에서 Sun Cluster 소프트웨어를 제거하지 않으려는 경우 Sun Cluster 3.1 - 3.2 Hardware Administration Manual for Solaris OS에 설명된 대로 하드웨어 연결을 제거하여 클러스터에서 노드를 실제로 제거할 수 있습니다.

예 8–12 클러스터 소프트웨어 구성에서 노드 제거

이 예는 클러스터에서 노드(phys-schost-2)를 제거하는 방법입니다. clnode remove 명령은 클러스터(phys-schost-1)에서 제거할 노드에서 실행됩니다.


[Remove the node from the cluster:]
phys-schost-1# clnode remove phys-schost-2
[Verify node removal:]
phys-schost-1# clnode status phys-schost-2
-- Cluster Nodes --
                    Node name           Status
                    ---------           ------
  Cluster node:     phys-schost-1       Online
참조

제거된 노드에서 Sun Cluster 소프트웨어를 설치 제거하려면 클러스터 노드에 설치된 Sun Cluster 소프트웨어를 제거하는 방법을 참조하십시오.

하드웨어 절차에 대한 자세한 내용은 Sun Cluster 3.1 - 3.2 Hardware Administration Manual for Solaris OS를 참조하십시오.

클러스터 노드 제거 작업의 전체 목록에 대해서는 표 8–3을 참조하십시오.

기존 클러스터에 노드를 추가하려면 권한이 부여된 노드 목록에 노드를 추가하는 방법을 참조하십시오.

Procedure세 개 이상의 노드가 연결된 클러스터에서 어레이와 단일 노드 사이의 연결을 제거하는 방법

3개 또는 4개의 노드가 연결된 클러스터에 있는 단일 클러스터 노드에서 저장소 어레이 연결을 해제하려면 이 절차를 수행하십시오.

이 절차에서는 장문형 Sun Cluster 명령을 제공합니다. 대부분의 명령에는 단문형도 있습니다. 명령은 명령 이름이 장문형과 단문형인 것을 제외하면 동일합니다. 명령 및 단문형 명령의 목록을 보려면 부록 A, Sun Cluster 객체 지향 명령를 참조하십시오.

  1. 제거할 저장소 어레이에 연결된 데이터베이스 테이블, 데이터 서비스 및 볼륨을 모두 백업합니다.

  2. 연결을 끊을 노드에서 실행되는 자원 그룹과 장치 그룹을 확인합니다.


    # clresourcegroup status
# cldevicegroup status

  3. 필요한 경우 연결을 끊을 노드에서 자원 그룹과 장치 그룹을 모두 다른 노드로 이동합니다.

    Caution (SPARC only) – Caution (SPARC only) –

    클러스터에서 Oracle Parallel Server/Oracle RAC 소프트웨어가 실행되고 있는 경우, 그룹을 노드 밖으로 이동하기 전에 노드에서 실행되고 있는 Oracle Parallel Server/Oracle RAC 데이터베이스 인스턴스를 종료합니다. 자세한 방법은 Oracle Database Administration Guide를 참조하십시오.


    # clnode evacuate node

    clnode evacuate 명령은 지정된 노드에서 다음 우선 순위 노드로 모든 장치 그룹을 전환합니다. 또한, 이 명령은 지정된 노드의 전역 또는 비전역 영역에서 다른 노드의 다음 우선 순위 전역 또는 비전역 영역으로 모든 자원 그룹을 전환합니다.

  4. 장치 그룹을 유지 보수 상태로 만듭니다.

    Veritas 공유 디스크 그룹에 대한 I/O 작업을 중지시키는 절차는 VxVM 설명서를 참조하십시오.

    장치 그룹을 유지 보수 상태로 만드는 절차에 대한 자세한 내용은 노드를 유지 보수 상태로 만드는 방법을 참조하십시오.

  5. 장치 그룹에서 노드를 제거합니다.

    • VxVM 또는 원시 디스크를 사용하는 경우 cldevicegroup(1CL) 명령을 사용하여 장치 그룹을 제거합니다.

    • Solstice DiskSuite를 사용하는 경우에는 metaset 명령을 사용하여 장치 그룹을 제거하십시오.

  6. HAStoragePlus 자원을 포함하는 각 자원 그룹의 경우, 자원 그룹의 노드 목록에서 노드를 제거합니다. 


    # clresourcegroup remove-node -z zone -n node + | resourcegroup
    node

    노드의 이름입니다.

    zone

    자원 그룹을 마스터할 수 있는 node에 있는 비전역 영역의 이름입니다. 자원 그룹을 생성할 때 비전역 영역을 지정한 경우에만 zone을 지정하십시오.

    자원 그룹의 노드 목록을 변경하는 방법에 대한 자세한 내용은 Sun Cluster Data Services Planning and Administration Guide for Solaris OS를 참조하십시오.

    주 –

    clresourcegroup 명령을 실행할 때 자원 유형, 자원 그룹 및 자원 등록 정보의 이름은 대소문자를 구분합니다.

  7. 제거하는 저장소 어레이가 노드에 연결된 마지막 어레이면 이 저장소 어레이에 연결된 허브 또는 스위치와 노드 사이의 광섬유 케이블 연결을 끊습니다. 그렇지 않으면 이 단계를 생략하십시오.

  8. 연결을 끊을 노드에서 호스트 어댑터를 제거하려는 경우, 해당 노드를 종료하고 전원을 끕니다. 연결을 끊을 노드에서 호스트 어댑터를 제거하려는 경우, 단계 11로 건너 뛰십시오.

  9. 노드에서 호스트 어댑터를 제거합니다.

    호스트 어댑터를 제거하는 절차에 대한 내용은 노드 제품에 포함된 설명서를 참조하십시오.

  10. 노드를 부트하지 않고 노드의 전원을 켭니다.

  11. SPARC: Oracle Parallel Server/Oracle RAC 소프트웨어가 설치된 경우, 연결을 끊을 노드에서 Oracle Parallel Server/Oracle RAC 소프트웨어 패키지를 제거합니다.


    # pkgrm SUNWscucm
    Caution (SPARC only) – Caution (SPARC only) –

    연결을 끊은 노드에서 Oracle Parallel Server/Oracle RAC 소프트웨어를 제거하지 않을 경우, 노드가 클러스터에 다시 포함될 때 해당 노드는 패닉 상태가 되어 데이터 가용성이 손실될 수 있습니다.

  12. 클러스터 모드로 노드를 부트합니다.

    • SPARC 기반 시스템에서는 다음 명령을 수행하십시오.


      ok boot

    • x86 기반 시스템에서는 다음을 수행합니다.

      GRUB 메뉴가 나타나면 적절한 Solaris 항목을 선택하고 Enter 키를 누르십시오. GRUB 메뉴가 다음과 같이 나타납니다.


      GNU GRUB version 0.95 (631K lower / 2095488K upper memory)
+-------------------------------------------------------------------------+
| Solaris 10 /sol_10_x86                                                  |
| Solaris failsafe                                                        |
|                                                                         |
+-------------------------------------------------------------------------+
Use the ^ and v keys to select which entry is highlighted.
Press enter to boot the selected OS, 'e' to edit the
commands before booting, or 'c' for a command-line.

  13. 노드에서 /devices 및 /dev 항목을 업데이트하여 장치 이름 공간을 업데이트합니다.


    # devfsadm -C 
# cldevice refresh

  14. 장치 그룹을 다시 온라인으로 전환합니다.

    VERITAS 공유 디스크 그룹을 다시 온라인화하는 절차에 대한 내용은 VERITAS Volume Manager 설명서를 참조하십시오.

    장치 그룹을 온라인 상태로 전환하는 방법에 대한 자세한 내용은 노드를 유지 보수 상태에서 해제하는 방법을 참조하십시오.

Procedure클러스터 노드에 설치된 Sun Cluster 소프트웨어를 제거하는 방법

완전히 설정된 클러스터 구성에서 소프트웨어 연결을 해제하기 전에 클러스터 노드에서 Sun Cluster 소프트웨어를 제거하려면 다음 절차를 수행하십시오. 이 절차를 사용하면 클러스터에 남은 마지막 노드에서 소프트웨어를 제거할 수 있습니다.

주 –

아직 클러스터에 연결되지 않았거나 설치 모드 상태인 노드에서 Sun Cluster 소프트웨어를 제거하는 경우에는 이 절차를 수행하지 마십시오. 대신 Solaris OS용 Sun Cluster 소프트웨어 설치 안내서의 "How to Uninstall Sun Cluster Software to Correct Installation Problems"로 이동합니다.

이 절차에서는 장문형 Sun Cluster 명령을 제공합니다. 대부분의 명령에는 단문형도 있습니다. 명령은 명령 이름이 장문형과 단문형인 것을 제외하면 동일합니다. 명령 및 단문형 명령의 목록을 보려면 부록 A, Sun Cluster 객체 지향 명령를 참조하십시오.

  1. 클러스터 노드를 제거하려면 작업 맵에 있는 모든 사전 작업을 정확하게 완료해야 합니다.

    표 8–3을 참조하십시오.

    주 –

    이 절차를 계속 진행하기 전에 clnode remove를 사용하여 클러스터 구성에서 노드를 제거했는지 확인합니다.

  2. 제거할 노드 이외의 활성 클러스터 구성원에서 수퍼유저로 전환합니다.

  3. 작동 중인 클러스터 구성원에서 제거할 노드를 클러스터의 노드 인증 목록에 추가합니다.


    # claccess allow -h hostname
    -h

    노드의 인증 목록에 추가할 노드의 이름을 지정합니다.

    또는 clsetup(1CL) 유틸리티를 사용할 수도 있습니다. 절차에 대해서는 권한이 부여된 노드 목록에 노드를 추가하는 방법을 참조하십시오.

  4. 제거할 노드에서 수퍼유저로 전환합니다.

  5. 비클러스터 모드로 노드를 재부트하십시오.

    • SPARC: 다음 명령을 수행합니다.


      # shutdown -g0 -y -i0ok boot -x

    • x86: 다음을 수행합니다.


      # shutdown -g0 -y -i0
...
                      <<< Current Boot Parameters >>>
Boot path: /pci@0,0/pci8086,2545@3/pci8086,1460@1d/pci8086,341a@7,1/
sd@0,0:a
Boot args:

Type    b [file-name] [boot-flags] <ENTER>  to boot with options
or      i <ENTER>                           to enter boot interpreter
or      <ENTER>                             to boot with defaults

                  <<< timeout in 5 seconds >>>
Select (b)oot or (i)nterpreter: b -x

  6. /etc/vfstab 파일에서 /global/.devices 전역 마운트를 제외하고 전역으로 마운트된 파일 시스템 항목을 모두 제거합니다.

  7. 이 노드의 Sun Cluster 소프트웨어를 다시 설치하려는 경우, Sun Java Enterprise System(Java ES) 제품 레지스트리에서 Sun Cluster 항목을 제거합니다.

    Java ES 제품 레지스트리에 Sun Cluster 소프트웨어 설치 기록이 있는 경우 Java ES 설치 프로그램에 Sun Cluster 구성 요소가 회색으로 표시되고 재설치가 허용되지 않습니다.

    1. Java ES 제거 프로그램을 시작합니다.

      다음 명령을 실행합니다. ver은 Sun Cluster 소프트웨어를 설치한 Java ES 배포판의 버전입니다.


      # /var/sadm/prod/SUNWentsysver/uninstall

    2. 프롬프트에 따라 Sun Cluster를 제거하도록 선택합니다.

      uninstall 명령 사용에 대한 자세한 내용은 Sun Java Enterprise System 5 Installation Guide for UNIX의 8 장, Uninstalling를 참조하십시오.Sun Java Enterprise System 5 Installation Guide for UNIX

  8. 이 클러스터에 Sun Cluster 소프트웨어를 다시 설치하지 않으려는 경우 다른 클러스터 장치와 연결된 전송 케이블 및 전송 스위치가 있으면 연결 해제합니다.

    1. 제거된 노드가 병렬 SCSI 인터페이스를 사용하는 저장 장치에 연결되어 있으면 전송 케이블 연결을 제거한 후에 저장 장치의 열린 SCSI 커넥터에 SCSI 터미네이터를 설치하십시오.

      제거되는 노드가 광섬유 채널 인터페이스를 사용하는 저장 장치에 연결되어 있으면 터미네이터 장치가 없어도 됩니다.

    2. 연결 제거 절차는 호스트 어댑터 및 서버에 포함된 문서를 참조하십시오.

Procedure오류 메시지 수정 방법

클러스터 노드 제거 절차를 수행하는 동안 발생된 오류 메시지를 수정하려면 다음 절차를 수행합니다.

  1. 노드를 클러스터에 다시 연결합니다.


    # boot

  2. 노드가 클러스터에 연결되었습니까?

    • 연결되지 않았으면 단계 3으로 이동합니다.

    • 연결되었으면 다음 단계를 수행하여 장치 그룹에서 노드를 제거합니다.

    1. 노드가 클러스터에 다시 연결되면 나머지 장치 그룹 또는 그룹에서 노드를 제거합니다.

      모든 장치 그룹에서 노드를 제거하는 방법의 절차를 수행합니다.

    2. 모든 장치 그룹에서 노드를 제거한 다음 클러스터 노드에 설치된 Sun Cluster 소프트웨어를 제거하는 방법으로 돌아가서 해당 절차를 반복합니다.

  3. 노드가 클러스터에 다시 연결되지 않으면 노드의 /etc/cluster/ccr 파일을 원하는 다른 이름(예: ccr.old)으로 변경하십시오.


    # mv /etc/cluster/ccr /etc/cluster/ccr.old

  4. 클러스터 노드에 설치된 Sun Cluster 소프트웨어를 제거하는 방법으로 돌아가서 해당 절차를 반복합니다.

노드 제거 문제 해결

이 절에서는 scinstall -r 명령을 실행할 때 나올 수 있는 오류 메시지와 해결 방법을 설명합니다.

제거되지 않은 클러스터 파일 시스템 항목

다음 오류 메시지가 나오면 제거한 노드의 vfstab 파일에 클러스터 파일 시스템 참조 항목이 아직 남아 있는 것입니다.


Verifying that no unexpected global mounts remain in /etc/vfstab ... failed
scinstall:  global-mount1 is still configured as a global mount.
scinstall:  global-mount1 is still configured as a global mount.
scinstall:  /global/dg1 is still configured as a global mount.
 
scinstall:  It is not safe to uninstall with these outstanding errors.
scinstall:  Refer to the documentation for complete uninstall instructions.
scinstall:  Uninstall failed.

이 오류를 수정하려면 클러스터 노드에 설치된 Sun Cluster 소프트웨어를 제거하는 방법으로 돌아가서 해당 절차를 반복합니다. scinstall -r 명령을 다시 실행하기 전에 이 절차의 단계 6을 성공적으로 완료해야 합니다.

장치 그룹의 목록에서 제거되지 않은 항목

다음 오류 메시지가 표시되면 제거한 노드가 장치 그룹 목록에 아직 남아 있는 것입니다.


Verifying that no device services still reference this node ... failed
scinstall:  This node is still configured to host device service "service".
scinstall:  This node is still configured to host device service "service2".
scinstall:  This node is still configured to host device service "service3".
scinstall:  This node is still configured to host device service "dg1".
 
scinstall:  It is not safe to uninstall with these outstanding errors.          
scinstall:  Refer to the documentation for complete uninstall instructions.
scinstall:  Uninstall failed.