PCIe 버스 지정

Oracle VM Server for SPARC 소프트웨어를 사용하여 도메인에 전체 PCIe 버스(루트 컴플렉스라고도 함)를 지정할 수 있습니다. 전체 PCIe 버스는 PCIe 버스 자체 및 관련된 모든 PCI 스위치와 장치로 구성됩니다. 서버에 있는 PCIe 버스는 pci@400(pci_0)과 같은 이름으로 식별됩니다. 전체 PCIe 버스로 구성된 I/O 도메인을 루트 도메인이라고도 합니다.

다음 다이어그램은 PCIe 버스가 2개(pci_0 및 pci_1)인 시스템을 보여줍니다. 각 버스는 다른 도메인에 지정되어 있습니다. 따라서 시스템은 2개의 I/O 도메인으로 구성되었습니다.

그림 6-1 I/O 도메인에 PCIe 버스 지정

image:다이어그램은 I/O 도메인에 PCIe 버스를 지정하는 방법을 보여줍니다.

PCIe 버스로 만들 수 있는 최대 I/O 도메인 수는 서버에서 사용 가능한 PCIe 버스 수에 따라 다릅니다. 예를 들어, Oracle Sun SPARC Enterprise T5440 서버를 사용하는 경우 최대 4개의 I/O 도메인을 지정할 수 있습니다.

주 - 일부 UltraSPARC 서버에는 PCIe 버스가 하나만 있습니다. 이 경우 도메인에 PCIe 끝점(또는 직접 I/O 지정 가능) 장치를 지정하여 I/O 도메인을 만들 수 있습니다. PCIe 끝점 장치 지정을 참조하십시오. 시스템에 NIU(네트워크 인터페이스 장치)가 있을 경우 도메인에 NIU를 지정하여 I/O 도메인을 만들 수도 있습니다.

I/O 도메인에 PCIe 버스를 지정하면 I/O 도메인이 해당 버스의 모든 장치를 소유합니다. 해당 버스의 PCIe 끝점 장치는 다른 도메인에 지정할 수 없습니다. primary 도메인에 지정된 PCIe 버스의 PCIe 끝점 장치만 다른 도메인에 지정할 수 있습니다.

서버가 처음에 Logical Domains 환경에서 구성되거나 factory-default 구성을 사용 중인 경우 primary 도메인은 모든 물리적 장치 리소스에 대한 액세스 권한을 가집니다. 즉, primary 도메인이 시스템에서 구성된 유일한 I/O 도메인이며 모든 PCIe 버스를 소유합니다.

PCIe 버스를 지정하여 I/O 도메인을 만드는 방법

이 절차 예에서는 primary 도메인이 여러 버스를 소유한 초기 구성에서 새 I/O 도메인을 만드는 방법을 보여줍니다. 기본적으로 primary 도메인은 시스템에 있는 모든 버스를 소유합니다. 이 예는 SPARC T4-2 서버용입니다. 다른 서버에서도 이 절차를 사용할 수 있습니다. 다른 서버에 대한 지침은 이 예의 지침과 약간 다를 수 있지만 이 예를 통해 기본 원칙을 확인할 수 있습니다.

먼저 primary 도메인의 부트 디스크가 있는 버스를 보존해야 합니다. 그런 다음 primary 도메인에서 다른 버스를 제거하여 다른 도메인에 지정하십시오.

주의 - 지원되는 서버의 모든 내부 디스크를 단일 PCIe 버스에 연결할 수 있습니다. 도메인이 내부 디스크에서 부트되는 경우 도메인에서 해당 버스를 제거하지 마십시오. 또한 도메인이 사용하는 장치(예: 네트워크 포트)가 있는 버스를 제거하고 있지 않은지 확인하십시오. 잘못된 버스를 제거하면 도메인이 필요한 장치에 액세스하지 못할 수 있으며 도메인을 사용하지 못할 수 있습니다. 도메인이 사용하는 장치가 있는 버스를 제거하려면 다른 버스에서 장치를 사용하도록 해당 도메인을 재구성하십시오. 예를 들어, 다른 PCIe 슬롯에서 다른 내장 네트워크 포트 또는 PCIe 카드를 사용하도록 도메인을 재구성해야 할 수 있습니다.

이 예에서 primary 도메인은 ZFS 풀(rpool (c0t1d0s0)) 및 네트워크 인터페이스(igb0)만 사용합니다. primary 도메인이 보다 많은 장치를 사용하는 경우 각 장치에 대해 2-4단계를 반복하여 제거할 버스에 장치가 남아 있지 않도록 하십시오.

primary 도메인이 2개 이상의 PCIe 버스를 소유하는지 확인합니다.

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN   STATUS   
----                                      ----   ---      ------   ------   
niu_0                                     NIU    niu_0    primary           
niu_1                                     NIU    niu_1    primary           
pci_0                                     BUS    pci_0    primary           
pci_1                                     BUS    pci_1    primary           
/SYS/MB/PCIE0                             PCIE   pci_0    primary  OCC      
/SYS/MB/PCIE2                             PCIE   pci_0    primary  OCC      
/SYS/MB/PCIE4                             PCIE   pci_0    primary  OCC      
/SYS/MB/PCIE6                             PCIE   pci_0    primary  EMP      
/SYS/MB/PCIE8                             PCIE   pci_0    primary  EMP      
/SYS/MB/SASHBA                            PCIE   pci_0    primary  OCC      
/SYS/MB/NET0                              PCIE   pci_0    primary  OCC      
/SYS/MB/PCIE1                             PCIE   pci_1    primary  OCC      
/SYS/MB/PCIE3                             PCIE   pci_1    primary  OCC      
/SYS/MB/PCIE5                             PCIE   pci_1    primary  OCC      
/SYS/MB/PCIE7                             PCIE   pci_1    primary  EMP      
/SYS/MB/PCIE9                             PCIE   pci_1    primary  EMP      
/SYS/MB/NET2                              PCIE   pci_1    primary  OCC      
/SYS/MB/NET0/IOVNET.PF0                   PF     pci_0    primary           
/SYS/MB/NET0/IOVNET.PF1                   PF     pci_0    primary           
/SYS/MB/PCIE5/IOVNET.PF0                  PF     pci_1    primary           
/SYS/MB/PCIE5/IOVNET.PF1                  PF     pci_1    primary           
/SYS/MB/NET2/IOVNET.PF0                   PF     pci_1    primary           
/SYS/MB/NET2/IOVNET.PF1                   PF     pci_1    primary

보존해야 할 부트 디스크의 장치 경로를 확인합니다.

UFS 파일 시스템의 경우 df / 명령을 실행하여 부트 디스크의 장치 경로를 확인합니다.
```
primary# df /
/                  (/dev/dsk/c0t5000CCA03C138904d0s0):22755742 blocks  2225374 files
```

ZFS 파일 시스템의 경우 먼저 df / 명령을 실행하여 풀 이름을 확인합니다. 그런 다음 zpool status 명령을 실행하여 부트 디스크의 장치 경로를 확인합니다.

primary# zpool status rpool
  pool: rpool
 state: ONLINE
  scan: none requested
config:

        NAME                       STATE     READ WRITE CKSUM
        rpool                      ONLINE       0     0     0
          c0t5000CCA03C138904d0s0  ONLINE       0     0     0

부트 디스크가 연결된 PCIe 버스를 확인합니다.

디스크가 연결된 개시자 포트를 찾습니다.

primary# mpathadm show lu /dev/rdsk/c0t5000CCA03C138904d0s0
Logical Unit:  /dev/rdsk/c0t5000CCA03C138904d0s2
        mpath-support:  libmpscsi_vhci.so
        Vendor:  HITACHI 
        Product:  H106030SDSUN300G
        Revision:  A2B0
        Name Type:  unknown type
        Name:  5000cca03c138904
        Asymmetric:  no
        Current Load Balance:  round-robin
        Logical Unit Group ID:  NA
        Auto Failback:  on
        Auto Probing:  NA

        Paths:  
                Initiator Port Name:  w50800200014100c8
                Target Port Name:  w5000cca03c138905
                Override Path:  NA
                Path State:  OK
                Disabled:  no

        Target Ports:
                Name:  w5000cca03c138905
                Relative ID:  0

개시자 포트가 있는 PCIe 버스를 확인합니다.

primary# mpathadm show initiator-port w50800200014100c8
Initiator Port:  w50800200014100c8
        Transport Type:  unknown
        OS Device File:  /devices/pci@400/pci@2/pci@0/pci@e/scsi@0/iport@1

시스템이 사용하는 네트워크 인터페이스를 확인합니다.

ifconfig 명령을 사용하여 “플럼된” 기본 네트워크 인터페이스를 식별합니다.

Oracle Solaris 10

primary# ifconfig -a
lo0: flags=2001000849<UP,LOOPBACK,RUNNING,MULTICAST,IPv4,VIRTUAL> mtu 8232 index 1
        inet 127.0.0.1 netmask ff000000 
igb0: flags=1004843<UP,BROADCAST,RUNNING,MULTICAST,DHCP,IPv4> mtu 1500 index 3
        inet 10.129.241.135 netmask ffffff00 broadcast 10.129.241.255
        ether 0:10:e0:e:f1:78

Oracle Solaris 11

primary# ifconfig -a
lo0: flags=2001000849<UP,LOOPBACK,RUNNING,MULTICAST,IPv4,VIRTUAL> mtu 8232 index 1
        inet 127.0.0.1 netmask ff000000 
net0: flags=1004843<UP,BROADCAST,RUNNING,MULTICAST,DHCP,IPv4> mtu 1500 index 3
        inet 10.129.241.135 netmask ffffff00 broadcast 10.129.241.255
        ether 0:10:e0:e:f1:78 

primary# dladm show-phys net0
LINK              MEDIA                STATE      SPEED  DUPLEX    DEVICE
net0              Ethernet             up         1000   full      igb0

네트워크 인터페이스가 연결된 물리적 장치를 확인합니다.
다음 명령은 igb0 네트워크 인터페이스를 사용합니다.
```
primary# ls -l /dev/igb0
lrwxrwxrwx   1 root     root          46 Oct  1 10:39 /dev/igb0  ->
../devices/pci@500/pci@0/pci@c/network@0:igb0 
```
이 예에서 primary 도메인이 사용하는 네트워크 인터페이스에 대한 물리적 장치는 이전 pci_1 목록에 해당하는 버스 pci@500에 있습니다. 따라서 다른 2개의 버스 pci_2(pci@600) 및 pci_3(pci@700)은 primary 도메인이 사용하지 않으므로 다른 도메인에 지정해도 됩니다.
primary 도메인이 사용하는 네트워크 인터페이스가 다른 도메인에 지정할 버스에 있을 경우 다른 네트워크 인터페이스를 사용하도록 primary 도메인을 재구성해야 합니다.
부트 디스크 또는 네트워크 인터페이스를 포함하지 않는 버스를 primary 도메인에서 제거합니다.
이 예에서는 버스 pci_1이 primary 도메인에서 제거되고 있습니다. 지연된 재구성도 시작해야 합니다.
```
primary# ldm start-reconf primary
primary# ldm remove-io pci_1 primary
```
서비스 프로세서에 이 구성을 저장합니다.
이 예에서 구성은 io-domain입니다.
```
primary# ldm add-config io-domain
```
이 구성 io-domain은 재부트 후 사용할 다음 구성으로도 설정됩니다.
변경 사항이 적용되도록 루트 도메인을 재부트합니다.
```
primary# shutdown -i6 -g0 -y
```
PCIe 버스를 추가할 도메인을 중지합니다.
다음 예에서는 ldg1 도메인을 중지합니다.
```
primary# ldm stop ldg1
```
직접 액세스 권한이 필요한 도메인에 사용 가능한 버스를 추가합니다.
사용 가능한 버스는 pci_1이며 도메인은 ldg1입니다.
```
primary# ldm add-io pci_1 ldg1
```
변경 사항이 적용되도록 도메인을 다시 시작합니다.
다음 명령은 ldg1 도메인을 다시 시작합니다.
```
primary# ldm start ldg1
```

primary 도메인에 여전히 올바른 버스가 지정되어 있으며 도메인 ldg1에 올바른 버스가 지정되었는지 확인합니다.

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN   STATUS   
----                                      ----   ---      ------   ------   
niu_0                                     NIU    niu_0    primary           
niu_1                                     NIU    niu_1    primary           
pci_0                                     BUS    pci_0    primary  
pci_1                                     BUS    pci_1    ldg1    
/SYS/MB/PCIE0                             PCIE   pci_0    primary  OCC      
/SYS/MB/PCIE2                             PCIE   pci_0    primary  OCC      
/SYS/MB/PCIE4                             PCIE   pci_0    primary  OCC      
/SYS/MB/PCIE6                             PCIE   pci_0    primary  EMP      
/SYS/MB/PCIE8                             PCIE   pci_0    primary  EMP      
/SYS/MB/SASHBA                            PCIE   pci_0    primary  OCC      
/SYS/MB/NET0                              PCIE   pci_0    primary  OCC      
/SYS/MB/PCIE1                             PCIE   pci_1    ldg1     OCC      
/SYS/MB/PCIE3                             PCIE   pci_1    ldg1     OCC      
/SYS/MB/PCIE5                             PCIE   pci_1    ldg1     OCC      
/SYS/MB/PCIE7                             PCIE   pci_1    ldg1     EMP      
/SYS/MB/PCIE9                             PCIE   pci_1    ldg1     EMP      
/SYS/MB/NET2                              PCIE   pci_1    ldg1     OCC      
/SYS/MB/NET0/IOVNET.PF0                   PF     pci_0    primary           
/SYS/MB/NET0/IOVNET.PF1                   PF     pci_0    primary           
/SYS/MB/PCIE5/IOVNET.PF0                  PF     pci_1    ldg1              
/SYS/MB/PCIE5/IOVNET.PF1                  PF     pci_1    ldg1              
/SYS/MB/NET2/IOVNET.PF0                   PF     pci_1    ldg1              
/SYS/MB/NET2/IOVNET.PF1                   PF     pci_1    ldg1

이 출력을 통해 PCIe 버스 pci_0 및 해당 장치가 primary 도메인에 지정된 것을 확인할 수 있습니다. PCIe 버스 pci_1 및 해당 장치가 ldg1 도메인에 지정된 것도 확인할 수 있습니다.

탐색 링크 건너뛰기
인쇄 보기 종료
	Oracle VM Server for SPARC 3.0 관리 설명서 Oracle VM Server for SPARC (한국어)