Reconfiguration dynamique des périphériques IB (cfgadm)

Reconfiguration dynamique des périphériques IB (`cfgadm`)

Il est possible de configurer ou d'annuler la configuration d'un périphérique IB à partir d'un système en cours d'exécution à l'aide de la seule instruction de ligne de commande cfgadm. Cette commande permet également d'afficher le Fabric IB, de gérer les services de communication et de mettre à jour les bases de données des tables P_key. Pour plus d'informations, reportez-vous à cfgadm_ib(1M).

La commande cfgadm gère la reconfiguration dynamique (appelée RD dans ce manuel) de l'ensemble du Fabric IB tel qu'il est vu par un hôte. Les opérations cfgadm sont prises en charge sur tous les périphériques IB (Port, VPPA, HCA_SVC, IOC et pseudopériphériques).

La commande cfgadm affiche des informations sur les points de connexion (Ap_Id). Ces points de connexion sont des emplacements du système auxquels les opérations de RD peuvent être réalisées. Pour plus d'informations sur les Ap_Id pris en charge par cfgadm, reportez-vous à cfgadm_ib.1M. Notez que tous les Ap_Id IB apparaissent comme étant connected.

La commande cfgadm fournit les informations d'état suivantes sur les périphériques IB.

Etat du réceptacle	Description
`connected`/`configured`/`ok`	Le périphérique est connecté et disponible. Le noeud `devinfo` est présent.
`connected`/`unconfigured`/`unknown`	Le périphérique n'est pas disponible et aucun noeud `devinfo` ou pilote de périphérique n'existe pour ce périphérique. Ou bien le périphérique n'a jamais été configuré pour une utilisation par le pilote de liaison `ib`. Le périphérique peut être connu du gestionnaire de périphériques IB Device Manager.

Toutes les procédures décrites dans cette section nécessitent des privilèges d'administration qui ne sont généralement pas accordés aux comptes utilisateur. Pour plus d'informations, reportez-vous à la section Utilisation de vos droits d’administration du manuel Administration d’Oracle Solaris 11.1 : Services de sécurité.

Les sections suivantes expliquent comment reconfigurer dynamiquement les périphériques IB avec la commande cfgadm. Tous les exemples d'informations sur des périphériques IB fournis dans ces sections ont été tronqués de manière à ne contenir que les informations pertinentes.

Remarques concernant l'annulation de la configuration de périphériques IB

Le plug-in IB cfgadm ne permet pas une véritable reconfiguration dynamique d'un HCA. Il est toutefois possible de procéder à la reconfiguration dynamique d'un HCA en utilisant le plug-in du bus sous-jacent. Par exemple, un HCA PCI peut utiliser la commande cfgadm_pci. Pour plus d'informations, reportez-vous à cfgadm_pci(1M).

Remarque - RDSv3 ne prend pas en charge l'annulation de la configuration d'un HCA. Si le système est doté d'un pilote RDSv3 au moment de la reconfiguration dynamique, l'annulation de la configuration du HCA échoue, comme indiqué ci-dessous.

# cfgadm -c unconfigure ib::rdsv3,0
This operation will suspend activity on the IB device
Continue (yes/no)? yes
cfgadm: Hardware specific failure: unconfigure operation failed ap_id: /devices/ib:fabric::rdsv3,0
 
# cfgadm -c unconfigure PCI-EM0
cfgadm: Component system is busy, try again: unconfigure failed

Solution de contournement :

Sur un système de production, vous devez supprimer le pilote RDSv3 avant l'opération de RD du HCA et réinitialiser le système.

# rem_drv rdsv3
Device busy
Cannot unload module: rdsv3
Will be unloaded upon reboot.
 
# init 6

Affichage des informations de périphériques IB

Vous pouvez utiliser la commande prtconf pour afficher les informations générales des périphériques IB. Par exemple :

$ prtconf
.
.
.
    ib, instance #0
        rpcib, instance #0
        rdsib, instance #0
        daplt, instance #0
        rdsv3, instance #0
        sdpib, instance #0
        eibnx, instance #0
        sol_umad, instance #0
        sol_uverbs, instance #0
        iser, instance #0
.
.
.
    pci15b3,673c, instance #0
                 ibport, instance #0
                 ibport, instance #1

Dans l'exemple ci-dessus, pci15b3,673c fait référence à un HCA IB.

Procédez comme suit pour afficher des informations spécifiques sur les périphériques IB.

Connectez-vous en tant qu'administrateur.

Affichez les informations de Fabric IB.

Par exemple :

# cfgadm -al  
Ap_Id                       Type         Receptacle     Occupant     Condition
ib                          IB-Fabric    connected      configured   ok
hca:21280001A0A478          IB-HCA       connected      configured   ok
ib::21280001A0A47A,0,ipib   IB-PORT      connected      configured   ok
ib::21280001A0A479,0,ipib   IB-PORT      connected      configured   ok
ib::1730000008070,0,hnfs    IB-HCA_SVC   connected      configured   ok
ib::daplt,0                 IB-PSEUDO    connected      configured   ok
ib::eibnx,0                 IB-PSEUDO    connected      configured   ok
ib::iser,0                  IB-PSEUDO    connected      configured   ok
ib::rdsib,0                 IB-PSEUDO    connected      configured   ok
ib::rdsv3,0                 IB-PSEUDO    connected      configured   ok
ib::rpcib,0                 IB-PSEUDO    connected      configured   ok
ib::sdpib,0                 IB-PSEUDO    connected      configured   ok
ib::sol_umad,0              IB-PSEUDO    connected      configured   ok
ib::sol_uverbs,0            IB-PSEUDO    connected      configured   ok

Les composants de l'exemple de résultat ci-dessus peuvent être décrits comme suit :

Ap_Id ib::21280001A0A47A,0,ipib: Identifie un périphérique IB Port connecté à un GUID de port et lié au service ipib.
Ap_ID ib::sdpib,0: Identifie un pseudopériphérique.
Ap_ID hca:21280001A0A478: Identifie un périphérique HCA.
Ap_ID ib::1730000008070,0,hnfs: Identifie un périphérique IB HCA_SVC lié au service hnfs.
Ap_Id ib::ibgen,0: Identifie un pseudopériphérique.

Affichez des informations spécifiques d'un périphérique IB.

Par exemple, pour un périphérique IB Port :

# cfgadm -al -s "cols=ap_id:info" ib::21280001A0A47A,0,ipib
Ap_Id                          Information
ib::21280001A0A47A,0,ipib      ipib

Par exemple, pour un périphérique IB HCA :

# cfgadm -al -s "cols=ap_id:info" hca::1730000008070
Ap_Id                          Information
hca::1730000008070             VID: 0x15b3, PID: 0x5a44, #ports: 0x2, 
port1 GUID: 0x1730000008071, port2 GUID: 0x1730000008072

Le résultat ci-dessus indique le nombre de ports et leur GUID.

Annulation de la configuration d'un périphérique IB Port, HCA_SVC ou VPPA

Procédez comme suit pour supprimer un périphérique IB Port, HCA_SVC ou VPPA du système.

L'exemple ci-dessous montre comment annuler la configuration d'un périphérique IB Port ; la même procédure s'applique aux périphériques VPPA et HCA_SVC.

Connectez-vous en tant qu'administrateur.

Annulez la configuration de périphériques IB Port virtuels.

Par exemple :

# cfgadm -c unconfigure ib::1730000007F51,*0*,ipib
Unconfigure the device: /devices/ib:fabric::1730000007F51,*0*,ipib
This operation will suspend activity on the IB device
Continue (yes/no)? Y

Vérifiez que le périphérique est déconnecté.

Par exemple :

# cfgadm -a ib::1730000007F51,*0*,ipib
Ap_Id                       Type    Receptacle Occupant     Condition
ib::1730000007F51,*0*,ipib IB-VPPA  connected  unconfigured unknown

Configuration d'un périphérique IB Port, HCA_SVC ou VPPA

Procédez comme suit pour configurer un périphérique IB Port, HCA_SVC ou VPPA sur le système.

L'exemple ci-dessous montre comment configurer un périphérique VPPA ; la procédure est identique pour configurer des périphériques IB Port et HCA_SVC.

Connectez-vous en tant qu'administrateur.
Configurez les périphériques IB Port virtuels.
Par exemple :
```
# cfgadm -c configure ib::1730000007F51,*0*,ipib
```
Vérifiez que le périphérique est connecté.
Par exemple :
```
# cfgadm -a ib::1730000007F51,*0*,ipib   
Ap_Id                       Type      Receptacle Occupant   Condition
ib::1730000007F51,*0*,ipib  IB-VPPA   connected  configured ok
```
Remarque - La procédure de configuration/annulation de configuration de périphériques IB Port et HCA_SVC basée sur cfgadm est similaire aux exemples précédents relatifs aux périphériques IB VPPA.

Annulation de la configuration d'un pseudopériphérique IB

Procédez comme suit pour supprimer un pseudopériphérique IB du système.

Connectez-vous en tant qu'administrateur.

Annulez la configuration du pseudopériphérique IB.

Par exemple :

# cfgadm -c unconfigure ib::ibgen,0
Unconfigure the device: /devices/ib:fabric::ibgen,0
This operation will suspend activity on the IB device
Continue (yes/no)? Y

Vérifiez que le périphérique est déconnecté.

# cfgadm -a ib::ibgen,0
Ap_Id                  Type      Receptacle Occupant     Condition
ib::ibgen,0            IB-PSEUDO connected  unconfigured unknown

Configuration d'un pseudopériphérique IB

Procédez comme suit pour configurer un pseudopériphérique IB.

Connectez-vous en tant qu'administrateur.
Configurez le pseudopériphérique IB.
Par exemple :
```
# cfgadm -yc configure ib::ibgen,0
```

Vérifiez que le périphérique est connecté.

Par exemple :

# cfgadm -a ib::ibgen,0
Ap_Id                  Type       Receptacle Occupant   Condition
ib::ibgen,0            IB-PSEUDO  connected  configured ok

Affichage des clients IB de noyau d'un HCA

La commande de plug-in IB cfgadm suivante peut être appelée pour dresser la liste des clients IB de noyau utilisant ce HCA. Notez que la dernière colonne indique la valeur "oui" si un client IB de noyau utilise un autre HCA. Les gestionnaires IB et clients de noyau n'utilisant pas le HCA affichent la valeur "-" pour Ap_Id.

Affichez les clients IB de noyau d'un HCA.

Par exemple :

$ cfgadm -x list_clients hca:173000007F50   
Ap_Id                       IB Client         Alternate HCA
ib::1730000007F51D0            ibgen              no
ib::1730000007F51D1            ibgen              no
ib::1730000007F51,0,ipib       ibd                no
ib::ibgen,0                    ibgen              no
-                              ibdm               no
-                              ibmf               no
-                              nfs/ib             no

Reconfiguration dynamique d'un HCA avec des périphériques EoIB actifs

Lorsqu'une opération de reconfiguration dynamique (DR) est tentée sur un système et qu'un IB HCA de la famille Connect-X est en cours d'utilisation avec des interfaces EoIB actives (par exemple, des liaisons de données sont montées ou des cartes réseau virtuelles sont créées sur les liaisons de données sur l'adaptateur HCA), l'opération de DR réussit si l'une des conditions suivantes est remplie :

Il s'agit du seul HCA de la famille Connect-X sur le système
Plusieurs HCA Connect-X existent sur le système, mais cet adaptateur est le dernier dont la configuration a été annulée

Dans tous les autres cas de figure, une opération de reconfiguration dynamique (DR) sur un IB HCA avec interfaces EoIB actives échoue avec réception d'un message d'erreur cfgadm.

Si l'opération de DR échoue, vous devez démonter les interfaces EoIB actives et supprimer les éventuelles cartes réseau virtuelles sur la liaison de données, puis retenter l'opération de DR. De plus, si, dans un tel cas de figure, un HCA de la famille Connect-X est réinséré dans le même emplacement après l'opération de DR et configuré une nouvelle fois à l'aide des commandes cfgadm ou hotplug, vous devez remonter les liaisons de données EoIB précédemment démontées et recréer les éventuelles cartes réseau virtuelles précédemment supprimées.

Notez également que pour que l'interface EoIB fonctionne, le GUID du port HCA doit être mentionné dans le fichier de configuration approprié du commutateur de passerelle Sun Network QDR Infiniband. Par conséquent, après un retrait à chaud et avant une réinsertion, vous devez mettre à jour les nouvelles informations de GUID du port HCA dans le fichier de configuration du commutateur de passerelle. Pour plus d'informations sur la mise à jour de la configuration, reportez-vous au guide Sun Network QDR Infiniband Gateway Switch Administration Guide.

Connectez-vous en tant qu'administrateur au système intégrant plusieurs HCA IB.

Essayez d'annuler la configuration du point de connexion associé à la liaison de données EoIB.

# cfgadm -c unconfigure PCI-EM0
cfgadm: Component system is busy, try again: unconfigure failed

Déterminez l'interface EoIB empêchant l'opération d'annulation de la configuration.

# dmesg | tail | grep 'failing HCA detach'
Aug 23 12:37:20  eoib: [ID 530795 kern.warning] WARNING: eoib0 still in use, 
failing HCA detach

Déterminez si eoib0 est en cours d'utilisation en raison de l'existence d'une interface IP.
```
# ipadm show-if eoib0
ipadm: cannot get information for interface(s): No such interface
```

S'il n'existe aucune interface IP sur eoib0, vérifiez la présence d'une carte d'interface réseau virtuelle (VNIC) qui expliquerait pourquoi eoib0 est occupé.

# dladm show-vnic
    LINK                OVER         SPEED  MACADDRESS        MACADDRTYPE       VID
    evnic0              eoib0        10000  2:8:20:e5:56:99   random            0

Supprimez la carte réseau virtuelle sur eoib0.
```
# dladm delete-vnic evnic0
```
Recommencez l'opération d'annulation de la configuration.
```
# cfgadm -c unconfigure PCI-EM0
```

Reconfiguration et restauration d'une interface EoIB après un retrait à chaud

Connectez-vous en tant qu'administrateur sur le commutateur de passerelle Sun Network QDR.
Modifiez le fichier de configuration BXM sur le commutateur de passerelle Sun Network QDR Gateway Switch et remplacez toutes les occurrences de GUID de port de l'ancien HCA par les GUID de port du nouveau HCA.
Redémarrez BXM.
Connectez-vous en tant qu'administrateur sur le système Oracle Solaris.
Insérez à chaud le nouveau HCA sur l'hôte Solaris et utilisez la commande cfgadm pour reconfigurer le point de connexion initialement associé à la liaison de données EoIB.

Confirmez la restauration de la liaison de données EoIB d'origine.

# dladm show-link | grep eoib0
eoib0               phys      1500   unknown       --

Si des cartes réseau virtuelles ont dû être explicitement supprimées au cours d'une opération d'annulation de la configuration antérieure, recréez-les maintenant.
```
# dladm create-vnic -l eoib0 evnic0
```

Vérifiez la présence de la carte réseau virtuelle sur eoib0.

# dladm show-vnic
LINK         OVER     SPEED  MACADDRESS        MACADDRTYPE       VID
evnic0       eoib0    10000  2:8:20:e5:56:99   random              0

Si des adresses IP ont dû être explicitement supprimées sur eoib0 au cours d'une opération d'annulation de la configuration antérieure, recréez-les à l'aide de la commande ipadm.

Configuration d'un HCA IB

Appelez le plug-in cfgadm spécifique au bus pour configurer le HCA. Les détails exacts dépassent le cadre de ce chapitre.

Mise à jour des tables `P_key` IB

En cas de modification des informations des tables P_key des ports d'un HCA (si, par exemple, des P_key supplémentaires sont activées ou désactivées), IBTF (InfiniBand Transport Framework) et IBDM doivent être notifiés pour permettre la mise à jour de leurs bases de données P_key internes. La commande cfgadm contribue à mettre à jour les bases de données P_key d'IBTF et d'IBDM. Pour plus d'informations, reportez-vous à ibtl(7D) et ibdm(7D).

Connectez-vous en tant qu'administrateur.
Mettez à jour les tables P_key.
Par exemple :
```
# cfgadm -x update_pkey_tbls -y ib
```

Affichage des services de communication IB

Procédez comme suit pour afficher les services de communication actuellement utilisés par IBTF.

Connectez-vous en tant qu'administrateur.

Affichez les services de communication IB.

Par exemple :

# cfgadm -x list_services ib
Port communication services:
                srp
VPPA communication services:
                ibd
HCA_SVC communication services:
                hnfs

Ajout d'un service de communication VPPA

Procédez comme suit pour ajouter un nouveau service de communication VPPA.

La même procédure peut être utilisée pour ajouter un nouveau service de communication Port ou HCA_SVC.

Connectez-vous en tant qu'administrateur.
Ajoutez un nouveau service de communication VPPA.
Par exemple :
```
# cfgadm -o comm=vppa,service=new -x add_service ib
```

Vérifiez que le nouveau service a bien été ajouté.

Par exemple :

# cfgadm -x list_services ib
Port communication services:
                srp
VPPA communication services:
                ibd
                new
HCA_SVC communication services:
                nfs_service

Suppression d'un service de communication IB Port, HCA_SVC ou VPPA existant

Procédez comme suit pour supprimer un service de communication IB Port, HCA_SVC ou VPPA existant.

Connectez-vous en tant qu'administrateur.
Supprimez un service de communication VPPA.
Par exemple :
```
# cfgadm -o comm=vppa,service=new -x delete_service ib
```

Vérifiez que le service de communication a bien été supprimé.

Par exemple :

# cfgadm -x list_services ib
Port communication services:
                srp
VPPA communication services:
                ibd
HCA_SVC communication services:
                hnfs

Ignorer les liens de navigation
Quitter l'aperu
	Administration d'Oracle Solaris 11.1 : Périphériques et systèmes de fichiers Oracle Solaris 11.1 Information Library (Français)

Remarques concernant l'annulation de la configuration de périphériques IB

Affichage des informations de périphériques IB

Annulation de la configuration d'un périphérique IB Port, HCA_SVC ou VPPA

Configuration d'un périphérique IB Port, HCA_SVC ou VPPA

Annulation de la configuration d'un pseudopériphérique IB

Configuration d'un pseudopériphérique IB

Affichage des clients IB de noyau d'un HCA

Reconfiguration dynamique d'un HCA avec des périphériques EoIB actifs

Reconfiguration et restauration d'une interface EoIB après un retrait à chaud

Configuration d'un HCA IB

Mise à jour des tables P_key IB

Affichage des services de communication IB

Ajout d'un service de communication VPPA

Suppression d'un service de communication IB Port, HCA_SVC ou VPPA existant

Reconfiguration dynamique des périphériques IB (`cfgadm`)

Mise à jour des tables `P_key` IB