Assignation des périphériques d'extrémité PCIe

Cette utilisation avec la version 2.0 de Oracle VM Server for SPARC et le SE Oracle Solaris 10 9/10, vous pouvez assigner un périphérique d'extrémité PCIe (ou pouvant être associé à des E/S directement) à un domaine. Cette utilisation des périphériques d'extrémité PCIe augmente la granularité de l'assignation de périphériques aux domaines d'E/S. Cette fonctionnalité est fournie au moyen de la fonction d'E/S directes (DIO).

La fonction DIO vous permet de créer plus de domaines d'E/S que le nombre de bus PCIe dans un système. Le nombre possible de domaines d'E/S est maintenant limité uniquement au nombre de périphériques d'extrémité PCIe.

Un périphérique d'extrémité PCIe peut être l'un des suivants :

Une carte PCIe dans un emplacement
Un périphérique PCIe intégré identifié par la plate-forme

Le schéma suivant montre que le périphérique d'extrémité PCIe, PCIE3, est assigné à un domaine d'E/S. Le bus pci_0 et le commutateur du domaine d'E/S sont virtuels. Le périphérique d'extrémité PCIE3 n'est plus accessible dans le domaine primary.

Dans le domaine d'E/S, le bloc pci_0 et le commutateur sont un complexe racine virtuel et un commutateur PCIe virtuel, respectivement. Ce bloc et ce commutateur sont très semblables au bloc pci_0 et au commutateur du domaine primary. Dans le domaine primary, les périphériques de l'emplacement PCIE3 sont une forme d'ombre des périphériques d'origine et sont identifiés par SUNW,assigned.

Figure 6-2 Assignation d'un périphérique d'extrémité PCIe à un domaine d'E/S

Le schéma montre comment assigner un périphérique d'extrémité PCIe à un domaine d'E/S.

Utilisez la commande ldm list-io pour répertorier les périphériques d'extrémité PCIe.

Bien que la fonction DIO permette à toute carte PCIe d'un emplacement d'être assignée à un domaine d'E/S, seules certaines cartes PCIe sont prises en charge. Reportez-vous à la section Configuration matérielle et logicielle requise pour les E/S directes des Notes de version Oracle VM Server for SPARC 2.0.

Remarque - Les cartes PCIe ayant un commutateur ou un pont ne sont pas prises en charge. L'assignation au niveau de la fonction PCIe n'est pas prise en charge. L'assignation d'une carte PCIe non prise en charge à un domaine d'E/S peut provoquer un comportement imprévisible.

Voici quelques détails importants sur la fonction DIO :

Cette fonction n'est activée que lorsque la configuration logicielle requise est respectée. Reportez-vous à la section Configuration matérielle et logicielle requise pour les E/S directes des Notes de version Oracle VM Server for SPARC 2.0.
Seules les extrémités connectées à un bus PCIe assigné au domaine primary peuvent être assignées à un autre domaine avec la fonction DIO.
Les domaines d'E/S utilisant les DIO ont accès aux périphériques d'extrémité PCIe uniquement si le domaine primary est en cours d'exécution.
Le redémarrage du domaine primary a une incidence sur les domaines d'E/S ayant des périphériques d'extrémité PCIe. Reportez-vous à la section Redémarrage du domaine primary Le domaine primary a également les responsabilités suivantes :
- Initialise le bus PCIe et gère ce bus.
- Traite toutes les erreurs de bus déclenchées par les périphériques d'extrémité PCIe assignés aux domaines d'E/S. Notez que seul le domaine primary reçoit toutes les erreurs relatives au bus PCIe.

Configuration matérielle et logicielle requise pour les E/S directes

Pour utiliser avec succès la fonction DIO, vous devez exécuter le logiciel approprié et n'assigner que des cartes PCIe prises en charge par la fonction DIO vers les domaines d'E/S. Pour plus d'informations sur la configuration matérielle et logicielle requise, reportez-vous à la section Configuration matérielle et logicielle requise pour les E/S directes des Notes de version Oracle VM Server for SPARC 2.0.

Remarque - Toutes les cartes PCIe prises en charge sur la plate-forme sont prises en charge dans le domaine primary. Reportez-vous à la documentation de votre plate-forme pour obtenir la liste des cartes PCIe prises en charge. Cependant, seules les cartes PCIe d'E/S directe peuvent être assignées aux domaines d'E/S.

Restrictions des E/S directes

Pour plus d'informations sur la manière de contourner les restrictions suivantes, reportez-vous à la section Planification de la configuration des périphériques d'extrémité PCIe.

Un reconfiguration retardée est démarrée lorsque vous assignez un périphérique d'extrémité PCIe au domaine primary ou que vous le supprimez, ce qui signifie que les modifications ne sont appliquées qu'après le redémarrage du domaine primary.

Le redémarrage du domaine primary affecte l'E/S directe. En conséquence, planifiez correctement vos modifications de configuration d'E/S directe pour optimiser les modifications relatives aux E/S directes sur le domaine primary et pour réduire les redémarrages du domaine primary.
L'assignation d'un périphérique d'extrémité PCIe à un autre domaine ou sa suppression est uniquement autorisée lorsque ce domaine est arrêté ou inactif.

Planification de la configuration des périphériques d'extrémité PCIe

Planifiez soigneusement à l'avance l'assignation ou la suppression des périphériques d'extrémité PCIe pour éviter les indisponibilités du domaine primary. Le redémarrage du domaine primarya non seulement une incidence sur les services disponibles sur le domaine primary lui-même, mais affecte également les domaines d'E/S ayant des périphériques d'extrémité PCIe assignés. Bien que les modifications apportées à chaque domaine d'E/S n'affectent pas les autres domaines, la planification anticipée permet de minimiser les conséquences sur les services fournis par ce domaine.

La reconfiguration retardée est initiée la première fois que vous assignez ou supprimez un périphérique. En conséquence, vous pouvez continuer à ajouter ou à supprimer plus de périphériques, puis redémarrer le domaine primary une seule fois pour appliquer toutes les modifications.

Pour obtenir un exemple, reportez-vous à la section Création d'un domaine d'E/S en assignant un périphérique d'extrémité PCIe.

Voici une descriptions de la procédure générale que vous devez suivre pour planifier et effectuer une configuration de périphérique DIO :

Comprenez et enregistrez la configuration matérielle de votre système.

Plus précisément, enregistrez les informations sur les numéros de référence et d'autres détails des cartes PCIe dans le système.

Utilisez les commandes ldm list-io -l et prtdiag -v pour obtenir les informations et enregistrez-les pour une référence ultérieure.
Déterminez quels périphériques d'extrémité PCIe doivent se trouver dans le domaine primary.

Par exemple, déterminez les périphériques d'extrémité PCIe fournissant l'accès aux éléments suivants :
- Périphérique de disque d'initialisation
- Périphérique réseau
- Autres périphériques que le domaine primary offre comme services
Supprimez tous les périphériques d'extrémité PCIe qui vous risquez d'utiliser dans les domaines d'E/S.

Cette étape vous aide à éviter d'effectuer des opérations de redémarrage ultérieures sur le domaine primary, car les redémarrages ont une incidence sur les domaines d'E/S.

Utilisez la commande ldm rm-io pour supprimer les périphériques d'extrémité PCIe. Utilisez des pseudonymes plutôt que les chemins d'accès au périphérique pour indiquer les périphériques aux sous-commandes rm-io et add-io.

Remarque - Bien que la première suppression d'un périphérique d'extrémité PCIe risque de démarrer une reconfiguration retardée, vous pouvez poursuivre la suppression des périphériques. Après avoir supprimé tous les périphériques que vous souhaitez, vous devez seulement redémarrer le domaine primary une fois pour appliquer toutes les modifications.
Enregistrez cette configuration sur le processeur de service (SP).

Utilisez la commande ldm add-config.
Redémarrez le domaine primary pour libérer les périphériques d'extrémité PCIe que vous avez supprimés à l'étape 3.
Confirmez que les périphériques d'extrémité sur vous supprimez ne sont plus assignés au domaine primary.

Utilisez la commande ldm list-io -l pour vérifier que les périphériques que vous avez supprimés apparaissent comme SUNW,assigned-device dans la sortie.
Assignez le périphérique d'extrémité PCIe disponible à un domaine invité pour fournir un accès direct au périphérique physique.

Après avoir effectué cette assignation, vous ne pouvez plus migrer le domaine invité vers un autre système physique au moyen de la fonction de migration.
Ajoutez un périphérique d'extrémité PCIe à un domaine invité ou supprimez-en un.

Utilisez la commande ldm add-io.

Minimisez les modifications aux domaines d'E/S en réduisant les opérations de redémarrage et en évitant les indisponibilités des services offerts par ce domaine.
(Facultatif) Apportez des modifications au matériel PCIe.

Reportez-vous à la section Procédure de modification matérielle PCIe.

Redémarrage du domaine `primary`

Le domaine primary est le propriétaire du bus PCIe et est responsable de l'initialisation et de la gestion de ce bus. Le domaine primary doit être actif et exécuter une version du SE Oracle Solaris prenant en charge la fonction DIO. L'arrêt, l'interruption ou le redémarrage du domaine primary interrompt l'accès au bus PCIe. Lorsque le bus PCIe est indisponible, les périphériques PCIe sur ce bus sont affectés et risquent de devenir indisponibles.

Le comportement des domaines d'E/S avec des périphériques d'extrémité PCIe est imprévisible lorsque le domaine primary est redémarré tandis que ces domaines d'E/S sont en cours d'exécution. Par exemple, les domaines d'E/S avec des périphériques d'extrémité PCIe peuvent paniquer au cours ou après un redémarrage. Lors du redémarrage du domaine primary, vous devrez arrêter et démarrer manuellement chaque domaine.

Pour contourner ces problèmes, procédez comme suit :

Arrêtez manuellement les domaines du système ayant des périphériques d'extrémité PCIe leur étant assignés avant d'arrêter le domaine primary.

Cette étape garantit que les domaines sont arrêtés proprement avant d'arrêter, suspendre ou redémarrer le domaine primary.

Pour rechercher tous les domaines ayant des périphériques d'extrémité PCIe leur étant assignés, exécutez la commande ldm list-io. Cette commande vous permet de répertorier les périphériques d'extrémité PCIe ayant été assignés aux domaines sur le système. Utilisez donc ces informations pour vous aider à la planification. Pour obtenir une description détaillée de la sortie de cette commande, reportez-vous à la page de manuel ldm(1M).

Pour chaque domaine trouvé, arrêtez le domaine en exécutant la commande ldm stop.
Configurez une relation de dépendance de domaine entre le domaine primary et les domaines ayant des périphériques d'extrémité PCIe leur étant assignés.

Cette relation de dépendance garantit que les domaines avec des périphériques d'extrémité PCIe sont automatiquement redémarrés lorsque le domaine primary redémarre pour quelque raison que ce soit.

Notez que cette relation de dépendance réinitialise ces domaines et qu'ils ne peuvent pas s'arrêter correctement. Cependant, la relation de dépendance n'a aucune incidence sur les domaines ayant été manuellement arrêtés.
```
# ldm set-domain failure-policy=reset primary
# ldm set-domain master=primary ldom
```

Procédure de modification matérielle PCIe

La procédure suivante vous aide à éviter la mauvaise configuration des assignations d'extrémité PCIe. Pour obtenir des informations spécifiques à la plate-forme sur l'installation et la suppression de matériel spécifique, reportez-vous à la documentation de votre plate-forme.

Aucune action n'est nécessaire si vous installez une carte PCIe dans un emplacement vide. La carte PCIe est automatiquement détenue par le domaine propriétaire du bus PCIe.

Pour assigner une nouvelle carte PCIe à un domaine d'E/S, utilisez la commande ldm rm-io pour d'abord supprimer la carte du domaine primary. Utilisez ensuite la commande ldm add-io pour assigner la carte à un domaine d'E/S.
Aucune action n'est nécessaire si la carte PCIe est supprimée du système et assignée au domaine primary.
Pour supprimer une carte PCIe assignée à un domaine d'E/S, supprimez d'abord le périphérique du domaine d'E/S. Ajoutez ensuite le périphérique au domaine primary avant de supprimer physiquement le périphérique du système.
Pour remplacer une carte PCIe assignée à un domaine d'E/S, vérifiez que la nouvelle carte est prise en charge par la fonction DIO.

Si tel est le cas, aucune action n'est nécessaire pour assigner automatiquement la nouvelle carte au domaine d'E/S actuel.

Sinon, supprimez d'abord la carte PCIe du domaine d'E/S à l'aide de la commande ldm rm-io. Utilisez ensuite la commande ldm add-io pour réassigner cette carte PCIe au domaine primary. Remplacez ensuite physiquement la carte PCIe que vous avez assignée au domaine primary par une carte PCIe différente. Ces étapes vous permettent d'éviter une configuration non prise en charge par la fonction DIO.

Création d'un domaine d'E/S en assignant un périphérique d'extrémité PCIe

Planifiez tous les déploiements DIO à l'avance pour réduire les indisponibilités.

Pour obtenir un exemple d'ajout de périphérique d'extrémité PCIe pour créer un domaine d'E/S, reportez-vous à la section Planification de la configuration des périphériques d'extrémité PCIe.

Identifiez et archivez les périphériques qui sont actuellement installés sur le système.

La sortie de la commande ldm list-io -l montre comment les périphériques d'E/S sont actuellement configurés. Vous pouvez obtenir des informations plus détaillées à l'aide de la commande prtdiag -v.

Remarque - Après l'assignation des périphériques aux domaines d'E/S, l'identité des périphériques peut uniquement être déterminée dans les domaines d'E/S.

# ldm list-io -l
IO              PSEUDONYM       DOMAIN
--              ---------       ------
pci@400         pci_0           primary
pci@500         pci_1           primary

PCIE                 PSEUDONYM  STATUS  DOMAIN
----                 ---------  ------  ------
pci@400/pci@0/pci@c  PCIE1      EMP     -
pci@400/pci@0/pci@9  PCIE2      OCC     primary
        network@0
        network@0,1
        network@0,2
        network@0,3
pci@400/pci@0/pci@d  PCIE3      OCC     primary
        SUNW,emlxs/fp/disk
        SUNW,emlxs@0,1/fp/disk
        SUNW,emlxs@0,1/fp@0,0
pci@400/pci@0/pci@8  MB/SASHBA  OCC     primary
        scsi@0/tape
        scsi@0/disk
        scsi@0/sd@0,0
        scsi@0/sd@1,0
pci@500/pci@0/pci@9  PCIE0      EMP     -
pci@500/pci@0/pci@d  PCIE4      OCC     primary
        network@0
        network@0,1
pci@500/pci@0/pci@c  PCIE5      OCC     primary
        SUNW,qlc@0/fp/disk
        SUNW,qlc@0/fp@0,0
        SUNW,qlc@0,1/fp/disk
        SUNW,qlc@0,1/fp@0,0/ssd@w21000011c605dbab,0
        SUNW,qlc@0,1/fp@0,0/ssd@w21000011c6041434,0
        SUNW,qlc@0,1/fp@0,0/ssd@w21000011c6053652,0
        SUNW,qlc@0,1/fp@0,0/ssd@w21000011c6041b4f,0
        SUNW,qlc@0,1/fp@0,0/ssd@w21000011c605dbb3,0
        SUNW,qlc@0,1/fp@0,0/ssd@w21000011c60413bc,0
        SUNW,qlc@0,1/fp@0,0/ssd@w21000011c604167f,0
        SUNW,qlc@0,1/fp@0,0/ssd@w21000011c6041b3a,0
        SUNW,qlc@0,1/fp@0,0/ssd@w21000011c605dabf,0
        SUNW,qlc@0,1/fp@0,0/ssd@w21000011c60417a4,0
        SUNW,qlc@0,1/fp@0,0/ssd@w21000011c60416a7,0
        SUNW,qlc@0,1/fp@0,0/ssd@w21000011c60417e7,0
        SUNW,qlc@0,1/fp@0,0/ses@w215000c0ff082669,0
pci@500/pci@0/pci@8  MB/NET0    OCC     primary
        network@0
        network@0,1
        network@0,2
        network@0,3

Déterminez le chemin du périphérique du disque d'initialisation qui doit être conservé.
- Pour les systèmes de fichiers UFS, exécutez la commande df/ pour déterminer le chemin de périphérique du disque d'initialisation.
```
primary# df /
/                  (/dev/dsk/c0t1d0s0 ): 1309384 blocks   457028 files
```
- Pour les systèmes de fichiers ZFS, exécutez d'abord la commande df/ pour déterminer le nom du pool, puis exécutez la commande zpool status pour déterminer le chemin de périphérique du disque d'initialisation.
```
primary# df /
/                  (rpool/ROOT/s10s_u8wos_08a):245176332 blocks 245176332 files
primary# zpool status rpool
 zpool status rpool
  pool: rpool
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        rpool       ONLINE       0     0     0
          c0t1d0s0  ONLINE       0     0     0
```
Déterminez le périphérique physique auquel le périphérique en mode bloc est connecté.
L'exemple suivant utilise le périphérique en mode bloc c0t1d0s0 :
```
primary# ls -l /dev/dsk/c0t1d0s0
lrwxrwxrwx    1 root    root    49 Jul 20 22:17 /dev/dsk/c0t1d0s0 ->
../../devices/pci@400/pci@0/pci@8/scsi@0/sd@0,0:a
```
Dans cet exemple, le périphérique physique du disque d'initialisation du domaine primary est connecté au périphérique d'extrémité PCIe (pci@400/pci@0/pci@8), qui correspond à la liste de MB/SASHBA à l'étape 1. La suppression de ce périphérique empêchera le redémarrage du domaine primary. Par conséquent, ne supprimez pas ce périphérique du domaine primary.

Déterminez l'interface réseau qui est utilisée par le système.

# ifconfig -a
lo0: flags=2001000849<UP,LOOPBACK,RUNNING,MULTICAST,IPv4,VIRTUAL> mtu 8232 index 1
        inet 127.0.0.1 netmask ff000000 
nxge0: flags=1004843<UP,BROADCAST,RUNNING,MULTICAST,DHCP,IPv4> mtu 1500 index 2
        inet 10.6.212.149 netmask fffffe00 broadcast 10.6.213.255
        ether 0:21:28:4:27:cc

Dans cet exemple, l'interface nxge0 est utilisées comme interface réseau pour le domaine primary

Déterminez le périphérique physique auquel l'interface réseau est connectée.
La commande suivante utilise l'interface réseau nxge0 :
```
primary# ls -l /dev/nxge0
lrwxrwxrwx   1 root     root          46 Jul 30 17:29 /dev/nxge0 ->
../devices/pci@500/pci@0/pci@8/network@0:nxge0
```
Dans cet exemple, le périphérique physique de l'interface réseau utilisée par le domaine primary est connecté au périphérique d'extrémité PCIe (pci@500/pci@8), qui correspond à la liste de MB/NET0 à l'étape 1. Par conséquent, vous ne voulez pas supprimer ce périphérique du domaine primary. Vous pouvez assigner en toute sécurité tous les autres périphériques PCIe aux autres domaines, car ils ne sont pas utilisés par le domaine primary.
Si l'interface réseau utilisée par le domaine primary se trouve sur un bus que vous voulez assigner à un autre domaine, le domaine primary doit être reconfiguré pour utiliser une interface réseau différente.

Supprimez les périphériques d'extrémité PCIe que vous risquez d'utiliser dans les domaines d'E/S.

Dans cet exemple, vous pouvez supprimer les périphériques d'extrémité PCIE2, PCIE3, PCIE4 et PCIE5, car ils ne sont pas utilisés par le domaine primary.

Supprimez les périphériques d'extrémité PCIe.

Attention - Ne supprimez pas les périphériques utilisés par le domaine primary.

Si vous supprimez par erreur les mauvais périphériques, utilisez la commande ldm cancel-op reconf primary pour annuler la reconfiguration retardée sur le domaine primary.

Vous pouvez supprimer plusieurs périphériques à la fois pour éviter plusieurs redémarrages.

# ldm rm-io PCIE2 primary
Initiating a delayed reconfiguration operation on the primary domain.
All configuration changes for other domains are disabled until the primary
domain reboots, at which time the new configuration for the primary domain
will also take effect.
# ldm rm-io PCIE3 primary
------------------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
------------------------------------------------------------------------------
# ldm rm-io PCIE4 primary
------------------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
------------------------------------------------------------------------------
# ldm rm-io PCIE5 primary
------------------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
------------------------------------------------------------------------------

Enregistrez la nouvelle configuration sur le processeur de service (SP).
La commande suivante enregistre la configuration dans un fichier nommé dio :
```
# ldm add-config dio
```
Redémarrez le système pour prendre en compte la suppression des périphériques d'extrémité PCIe.
```
# reboot -- -r
```

Connectez-vous au domaine primary et vérifiez que les périphériques d'extrémité PCIe ne sont plus assignés au domaine.

# ldm list-io
IO              PSEUDONYM       DOMAIN
--              ---------       ------
pci@400         pci_0           primary
pci@500         pci_1           primary

PCIE                 PSEUDONYM  STATUS  DOMAIN
----                 ---------  ------  ------
pci@400/pci@0/pci@c  PCIE1      EMP     -
pci@400/pci@0/pci@9  PCIE2      OCC
pci@400/pci@0/pci@d  PCIE3      OCC
pci@400/pci@0/pci@8  MB/SASHBA  OCC     primary
pci@500/pci@0/pci@9  PCIE0      EMP     -
pci@500/pci@0/pci@d  PCIE4      OCC
pci@500/pci@0/pci@c  PCIE5      OCC
pci@500/pci@0/pci@8  MB/NET0    OCC     primary

Remarque - La sortie ldm list-io -l peut indiquer SUNW,assigned-device pour les périphériques d'extrémité PCIe supprimés. Les informations actuelles ne sont plus disponibles à partir du domaine primary, mais le domaine auquel le périphérique est assigné a ces informations.

Assignez un périphérique d'extrémité PCIe à un domaine.
1. Ajoutez le périphérique PCI2 au domaine ldg1.
```
# ldm add-io PCIE2 ldg1
```
2. Associez et démarrez le domaine ldg1.
```
# ldm bind ldg1
# ldm start ldg1
LDom ldg1 started
```

Connectez-vous au domaine ldg1 et vérifiez que le périphérique est disponible à l'utilisation.

Utilisez la commande dladm show-dev pour vérifier que le périphérique réseau est disponible. Configurez ensuite le périphérique réseau pour une utilisation dans le domaine.

# dladm show-dev
vnet0           link: up        speed: 0     Mbps       duplex: unknown
nxge0           link: unknown   speed: 0     Mbps       duplex: unknown
nxge1           link: unknown   speed: 0     Mbps       duplex: unknown
nxge2           link: unknown   speed: 0     Mbps       duplex: unknown
nxge3           link: unknown   speed: 0     Mbps       duplex: unknown

Ignorer les liens de navigation
Quitter l'aperu
	Guide d'administration d'Oracle VM Server for SPARC 2.0