동적으로 IB 장치 재구성(cfgadm)

동적으로 IB 장치 재구성(`cfgadm`)

cfgadm CLI만 사용하여 실행 중인 시스템에서 IB 장치를 구성하거나 구성을 해제할 수 있습니다. 또한 이 명령은 IB 패브릭 표시, 통신 서비스 관리 및 P_key 테이블 데이터베이스 업데이트 방법을 제공합니다. 자세한 내용은 cfgadm_ib(1M)를 참조하십시오.

cfgadm CLI는 호스트에 표시되는 전체 IB 패브릭의 동적 재구성(이 설명서에서는 DR이라고 함)을 관리합니다. cfgadm 작업은 포트, VPPA, HCA_SVC, IOC 및 의사 장치와 같은 모든 IB 장치에서 지원됩니다.

cfgadm 명령은 DR 작업이 발생할 수 있는 시스템상의 위치인 첨부 지점(Ap_Id)에 대한 정보를 표시합니다. cfgadm이 지원하는 Ap_Id에 대한 자세한 내용은 cfgadm_ib.1M을 참조하십시오. 모든 IB Ap_Id는 connected로 표시됩니다.

cfgadm 명령은 다음 IB 장치 상태 정보를 제공합니다.

콘센트 상태	설명
`connected`/`configured`/`ok`	장치가 연결되어 있고 사용할 수 있습니다. `devinfo` 노드가 있습니다.
`connected`/`unconfigured`/`unknown`	장치를 사용할 수 없으며 이 장치에 대한 `devinfo` 노드 또는 장치 드라이버가 있습니다. 또는 장치가 `ib` 연결 드라이버에 사용되도록 구성되지 않았습니다. 장치가 IB 장치 관리자에 알려져 있을 수도 있습니다.

이 섹션의 모든 절차를 수행하려면 사용자 계정에는 일반적으로 부여되지 않는 관리 권한이 필요합니다. 자세한 내용은 Oracle Solaris 11.1 관리: 보안 서비스의 지정된 관리 권한을 사용하는 방법을 참조하십시오.

다음 섹션에서는 cfgadm 명령을 사용하여 IB 장치를 동적으로 재구성(DR)하는 방법에 대해 설명합니다. 이 섹션의 모든 샘플 IB 장치 정보는 관련 정보에 중점을 두기 위해 잘렸습니다.

IB 장치 구성 해제 고려 사항

HCA의 실제 DR(동적 재구성)은 IB cfgadm 플러그인의 범위를 벗어납니다. 그러나 기본 버스의 플러그인을 사용하여 HCA DR을 수행할 수 있습니다. 예를 들어 PCI 기반 HCA는 cfgadm_pci 명령을 사용할 수 있습니다. 자세한 내용은 cfgadm_pci(1M)를 참조하십시오.

주 - RDSv3은 HCA 구성 해제를 지원하지 않습니다. 시스템에 DR 시 설치된 RDSv3 드라이버가 있으면 아래 표시된 것처럼 HCA 구성 해제에 실패합니다.

# cfgadm -c unconfigure ib::rdsv3,0
This operation will suspend activity on the IB device
Continue (yes/no)? yes
cfgadm: Hardware specific failure: unconfigure operation failed ap_id: /devices/ib:fabric::rdsv3,0
 
# cfgadm -c unconfigure PCI-EM0
cfgadm: Component system is busy, try again: unconfigure failed

임시해결책:

생산 시스템에서는 HCA DR 작동 전에 RDSv3을 제거하고 시스템을 재부트해야 합니다.

# rem_drv rdsv3
Device busy
Cannot unload module: rdsv3
Will be unloaded upon reboot.
 
# init 6

IB 장치 정보 표시 방법

prtconf 명령을 사용하여 IB 장치에 대한 일반 정보를 표시할 수 있습니다. 예:

$ prtconf
.
.
.
    ib, instance #0
        rpcib, instance #0
        rdsib, instance #0
        daplt, instance #0
        rdsv3, instance #0
        sdpib, instance #0
        eibnx, instance #0
        sol_umad, instance #0
        sol_uverbs, instance #0
        iser, instance #0
.
.
.
    pci15b3,673c, instance #0
                 ibport, instance #0
                 ibport, instance #1

위 예에서 pci15b3,673c는 IB HCA입니다.

특정 IB 장치 정보를 표시하려면 다음 단계를 사용합니다.

관리자로 전환합니다.

IB 패브릭 정보를 표시합니다.

예를 들면 다음과 같습니다.

# cfgadm -al  
Ap_Id                       Type         Receptacle     Occupant     Condition
ib                          IB-Fabric    connected      configured   ok
hca:21280001A0A478          IB-HCA       connected      configured   ok
ib::21280001A0A47A,0,ipib   IB-PORT      connected      configured   ok
ib::21280001A0A479,0,ipib   IB-PORT      connected      configured   ok
ib::1730000008070,0,hnfs    IB-HCA_SVC   connected      configured   ok
ib::daplt,0                 IB-PSEUDO    connected      configured   ok
ib::eibnx,0                 IB-PSEUDO    connected      configured   ok
ib::iser,0                  IB-PSEUDO    connected      configured   ok
ib::rdsib,0                 IB-PSEUDO    connected      configured   ok
ib::rdsv3,0                 IB-PSEUDO    connected      configured   ok
ib::rpcib,0                 IB-PSEUDO    connected      configured   ok
ib::sdpib,0                 IB-PSEUDO    connected      configured   ok
ib::sol_umad,0              IB-PSEUDO    connected      configured   ok
ib::sol_uverbs,0            IB-PSEUDO    connected      configured   ok

위의 출력 예에서 구성 요소는 다음과 같습니다.

Ap_Id ib::21280001A0A47A,0,ipib: 포트 GUID에 연결되어 있고 ipib 서비스로 바인딩되는 IB 포트 장치를 식별합니다.
Ap_ID ib::sdpib,0: 의사 장치를 식별합니다.
Ap_ID hca:21280001A0A478: HCA 장치를 식별합니다.
Ap_ID ib::1730000008070,0,hnfs: hnfs 서비스에 바인딩된 IB HCA_SVC 장치를 식별합니다.
Ap_Id ib::ibgen,0: 의사 장치를 식별합니다.

특정 IB 장치 정보를 표시합니다.

예를 들어 IB 포트 장치의 경우 다음과 같이 표시됩니다.

# cfgadm -al -s "cols=ap_id:info" ib::21280001A0A47A,0,ipib
Ap_Id                          Information
ib::21280001A0A47A,0,ipib      ipib

예를 들어, IB HCA 장치의 경우 다음과 같이 표시됩니다.

# cfgadm -al -s "cols=ap_id:info" hca::1730000008070
Ap_Id                          Information
hca::1730000008070             VID: 0x15b3, PID: 0x5a44, #ports: 0x2, 
port1 GUID: 0x1730000008071, port2 GUID: 0x1730000008072

이전 출력에서 포트 및 GUID 수를 표시합니다.

IB 포트, HCA_SVC 또는 VPPA 장치를 구성 해제하는 방법

시스템에서 IB 포트, HCA_SVC 또는 VPPA 장치를 제거하려는 경우 다음 단계를 사용합니다.

아래 예는 IB 포트 장치를 구성 해제하는 방법에 대해 설명합니다. VPPA 및 HCA_SVC 장치를 구성하는 경우에도 같은 절차를 사용할 수 있습니다.

관리자로 전환합니다.

가상 IB 포트 장치를 구성 해제합니다.

예를 들면 다음과 같습니다.

# cfgadm -c unconfigure ib::1730000007F51,*0*,ipib
Unconfigure the device: /devices/ib:fabric::1730000007F51,*0*,ipib
This operation will suspend activity on the IB device
Continue (yes/no)? Y

장치의 연결이 해제되었는지 확인합니다.

예를 들면 다음과 같습니다.

# cfgadm -a ib::1730000007F51,*0*,ipib
Ap_Id                       Type    Receptacle Occupant     Condition
ib::1730000007F51,*0*,ipib IB-VPPA  connected  unconfigured unknown

IB 포트, HCA_SVC 또는 VPPA 장치 구성 방법

시스템에 IB 포트, HCA_SVC 또는 VPPA 장치를 구성하려는 경우 다음 단계를 사용합니다.

아래 예는 VPPA 장치를 구성하는 방법에 대해 설명합니다. IB 포트 및 HCA_SVC 장치를 구성하는 경우에도 유사한 단계를 사용할 수 있습니다.

관리자로 전환합니다.
가상 IB 포트 장치를 구성합니다.
예를 들면 다음과 같습니다.
```
# cfgadm -c configure ib::1730000007F51,*0*,ipib
```
장치가 연결되었는지 확인합니다.
예를 들면 다음과 같습니다.
```
# cfgadm -a ib::1730000007F51,*0*,ipib   
Ap_Id                       Type      Receptacle Occupant   Condition
ib::1730000007F51,*0*,ipib  IB-VPPA   connected  configured ok
```
주 - IB 포트 및 HCA_SVC 장치의 cfgadm 기반 구성 및 구성 해제 작업은 IB VPPA 장치에 대한 이전 예와 유사합니다.

IB 의사 장치의 구성 해제 방법

시스템에서 IB 의사 장치를 제거하려면 다음 단계를 사용합니다.

관리자로 전환합니다.

IB 의사 장치를 구성 해제합니다.

예를 들면 다음과 같습니다.

# cfgadm -c unconfigure ib::ibgen,0
Unconfigure the device: /devices/ib:fabric::ibgen,0
This operation will suspend activity on the IB device
Continue (yes/no)? Y

장치의 연결이 해제되었는지 확인합니다.

# cfgadm -a ib::ibgen,0
Ap_Id                  Type      Receptacle Occupant     Condition
ib::ibgen,0            IB-PSEUDO connected  unconfigured unknown

IB 의사 장치 구성 방법

IB 의사 장치를 구성하려면 다음 단계를 사용합니다.

관리자로 전환합니다.
IB 의사 장치를 구성합니다.
예를 들면 다음과 같습니다.
```
# cfgadm -yc configure ib::ibgen,0
```

장치가 연결되었는지 확인합니다.

예를 들면 다음과 같습니다.

# cfgadm -a ib::ibgen,0
Ap_Id                  Type       Receptacle Occupant   Condition
ib::ibgen,0            IB-PSEUDO  connected  configured ok

HCA의 커널 IB 클라이언트 표시 방법

다음 IB cfgadm 플러그인 명령을 호출하여 이 HCA를 사용하는 커널 IB 클라이언트를 나열할 수 있습니다. 커널 IB 클라이언트가 다른 HCA를 사용하는 경우 마지막 열에 "yes"가 표시됩니다. HCA를 사용하지 않는 IB 관리자 및 커널 클라이언트는 Ap_Id가 "-"로 표시됩니다.

HCA의 커널 IB 클라이언트를 표시합니다.

예를 들면 다음과 같습니다.

$ cfgadm -x list_clients hca:173000007F50   
Ap_Id                       IB Client         Alternate HCA
ib::1730000007F51D0            ibgen              no
ib::1730000007F51D1            ibgen              no
ib::1730000007F51,0,ipib       ibd                no
ib::ibgen,0                    ibgen              no
-                              ibdm               no
-                              ibmf               no
-                              nfs/ib             no

EoIB 장치가 활성화된 상태로 HCA를 동적으로 재구성하는 방법

시스템에서 DR(동적 재구성) 작업을 시도했으며 활성 EoIB 인터페이스에서 Connect-X 계열 IB HCA가 사용 중인 경우에는(예: EoIB 데이터 링크가 연결되었거나 HCA에 있는 데이터 링크를 통해 VNIC를 만든 경우) 다음 조건 중 해당되는 것이 있으면 DR 작업이 성공합니다.

시스템에 있는 유일한 Connect-X 계열 HCA인 경우
시스템에 여러 개의 Connect-X HCA가 있지만 이 어댑터가 마지막으로 구성 해제할 어댑터인 경우

여기에 해당되지 않는 경우에는 활성 EoIB 인터페이스가 있는 IB HCA에서의 DR(동적 재구성) 작업이 실패하고 cfgadm 오류 메시지가 표시됩니다.

DR 작업이 실패한 경우에는 활성 EoIB 인터페이스의 연결을 해제하고 데이터 링크에서 VNIC를 모두 삭제한 다음 DR 작업을 재시도해야 합니다. 또한 그런 상황에서 DR 작업 후에 Connect-X 계열 HCA를 같은 슬롯에서 교체하고 cfgadm 또는 hotplug 명령을 사용하여 다시 구성한 경우에는, 이전에 연결 해제한 EoIB 데이터 링크를 다시 연결하고 이전에 삭제한 VNIC를 모두 다시 만들어야 합니다.

EoIB 인터페이스가 작동하려면 Sun Network QDR Infiniband Gateway Switch의 해당 구성 파일에 HCA 포트 GUID가 나열되어 있어야 합니다. 따라서 작업 중 제거 후 다시 삽입하기 전에 Gateway Switch 구성 파일에서 새로운 HCA 포트 GUID 정보를 업데이트해야 합니다. 구성을 업데이트하는 방법에 대한 자세한 내용은 Sun Network QDR Infiniband Gateway Switch Administration Guide를 참조하십시오.

여러 IB HCA가 있는 시스템에 관리자로 로그인합니다.

EoIB 데이터 링크와 연관된 첨부 지점의 구성 해제를 시도합니다.

# cfgadm -c unconfigure PCI-EM0
cfgadm: Component system is busy, try again: unconfigure failed

EoIB 인터페이스가 구성 해제 작업을 차단하는지 확인합니다.

# dmesg | tail | grep 'failing HCA detach'
Aug 23 12:37:20  eoib: [ID 530795 kern.warning] WARNING: eoib0 still in use, 
failing HCA detach

IP 인터페이스가 있는 eoib0이 사용 중인지 확인합니다.

# ipadm show-if eoib0
ipadm: cannot get information for interface(s): No such interface

eoib0에 IP 인터페이스가 없는 경우에는 eoib0을 사용하게 만드는 VNIC가 있는지 확인합니다.

# dladm show-vnic
    LINK                OVER         SPEED  MACADDRESS        MACADDRTYPE       VID
    evnic0              eoib0        10000  2:8:20:e5:56:99   random            0

eoib0을 통해 VNIC를 삭제합니다.
```
# dladm delete-vnic evnic0
```
구성 해제 작업을 다시 시도합니다.
```
# cfgadm -c unconfigure PCI-EM0
```

작업 중 제거 후 EoIB 인터페이스를 재구성 및 복원하는 방법

Sun Network QDR Gateway Switch에서 관리자로 로그인합니다.
Sun Network QDR Gateway Switch의 BXM 구성 파일을 편집하여 새 HCA의 포트 GUID로 이전 HCA 포트 GUID의 모든 항목을 바꿉니다.
BXM을 다시 시작합니다.
Oracle Solaris 시스템에서 관리자로 로그인합니다.
Solaris 시스템에 새 HCA를 작업 중 삽입하고 cfgadm 명령을 사용하여 EoIB 데이터 링크와 원래 연관된 첨부 지점을 재구성합니다.

원래 EoIB 데이터 링크가 복원되었는지 확인합니다.

# dladm show-link | grep eoib0
eoib0               phys      1500   unknown       --

이전 구성 해제 작업 중에 명시적으로 삭제해야 했던 VNIC가 있으면 지금 다시 만듭니다.
```
# dladm create-vnic -l eoib0 evnic0
```

eoib0을 통해 VNIC가 있는지 확인합니다.

# dladm show-vnic
LINK         OVER     SPEED  MACADDRESS        MACADDRTYPE       VID
evnic0       eoib0    10000  2:8:20:e5:56:99   random              0

이전 구성 해제 작업 중에 eoib0에서 명시적으로 삭제해야 했던 IP 주소가 있으면 ipadm 명령을 사용하여 다시 만듭니다.

IB HCA 구성

버스 관련 cfgadm 플러그인을 호출하여 HCA를 구성합니다. 정확한 세부 정보는 이 장에서 제공되지 않습니다.

IB `P_key` 테이블을 업데이트하는 방법

HCA 포트의 P_key 테이블 정보가 변경되면 예를 들어, 추가 P_key가 사용으로 설정 또는 사용 안함으로 설정된 경우 내부 P_key 데이터베이스가 업데이트되도록 IBTF(InfiniBand Transport Framework) 및 IBDM에 알려야 합니다. cfgadm 명령을 사용하여 IBTF 및 IBDM의 P_key 데이터베이스를 업데이트할 수 있습니다. 자세한 내용은 ibtl(7D) 및 ibdm(7D)을 참조하십시오.

관리자로 전환합니다.
P_key 테이블을 업데이트합니다.
예를 들면 다음과 같습니다.
```
# cfgadm -x update_pkey_tbls -y ib
```

IB 통신 서비스 표시 방법

현재 IBTF에서 사용 중인 통신 서비스를 표시하려면 다음 단계를 사용합니다.

관리자로 전환합니다.

IB 통신 서비스를 표시합니다.

예를 들면 다음과 같습니다.

# cfgadm -x list_services ib
Port communication services:
                srp
VPPA communication services:
                ibd
HCA_SVC communication services:
                hnfs

VPPA 통신 서비스 추가 방법

새 VPPA 통신 서비스를 추가하려면 다음 단계를 사용합니다.

유사한 단계를 사용하여 새 HCA_SVC 또는 포트 통신 서비스를 추가할 수 있습니다.

관리자로 전환합니다.
새 VPPA 통신 서비스를 추가합니다.
예를 들면 다음과 같습니다.
```
# cfgadm -o comm=vppa,service=new -x add_service ib
```

새 서비스가 추가되었는지 확인합니다.

예를 들면 다음과 같습니다.

# cfgadm -x list_services ib
Port communication services:
                srp
VPPA communication services:
                ibd
                new
HCA_SVC communication services:
                nfs_service

기존 IB 포트, HCA_SVC 또는 VPPA 통신 서비스 제거 방법

기존 IB 포트, HCA_SVC 또는 VPPA 통신 서비스를 삭제하려면 다음 단계를 사용합니다.

관리자로 전환합니다.
VPPA 통신 서비스를 제거합니다.
예를 들면 다음과 같습니다.
```
# cfgadm -o comm=vppa,service=new -x delete_service ib
```

통신 서비스가 제거되었는지 확인합니다.

예를 들면 다음과 같습니다.

# cfgadm -x list_services ib
Port communication services:
                srp
VPPA communication services:
                ibd
HCA_SVC communication services:
                hnfs

탐색 링크 건너뛰기
인쇄 보기 종료
	Oracle Solaris 11.1 관리: 장치 및 파일 시스템 Oracle Solaris 11.1 Information Library (한국어)

IB 장치 구성 해제 고려 사항

IB 장치 정보 표시 방법

IB 포트, HCA_SVC 또는 VPPA 장치를 구성 해제하는 방법

IB 포트, HCA_SVC 또는 VPPA 장치 구성 방법

IB 의사 장치의 구성 해제 방법

IB 의사 장치 구성 방법

HCA의 커널 IB 클라이언트 표시 방법

EoIB 장치가 활성화된 상태로 HCA를 동적으로 재구성하는 방법

작업 중 제거 후 EoIB 인터페이스를 재구성 및 복원하는 방법

IB HCA 구성

IB P_key 테이블을 업데이트하는 방법

IB 통신 서비스 표시 방법

VPPA 통신 서비스 추가 방법

기존 IB 포트, HCA_SVC 또는 VPPA 통신 서비스 제거 방법

동적으로 IB 장치 재구성(`cfgadm`)

IB `P_key` 테이블을 업데이트하는 방법