Supplément Sun Cluster 3.0 5/02

Annexe A Mise en grappe en environnement campus avec le logiciel Sun Cluster 3.0 -- Concepts

Cette annexe présente les concepts de base de la mise en grappe en environnement campus et donne des exemples de configuration et d'installation. Elle n'explique pas en profondeur la procédure de mise en grappe, ne délivre aucune information sur l'administration de la mise en grappe ni de détails sur l'installation et la configuration du matériel. Pour de plus amples informations à ce sujet, reportez-vous aux autres manuels Sun Cluster, en particulier au guide Sun Cluster 3.0 12/01 Concepts, Guide d'administration système de Sun Cluster 3.0 12/01, Sun Cluster 3.0 12/01 Hardware Guide, ainsi qu'aux manuels ici référencés.

Introduction

La seule différence significative entre la mise en grappe traditionnelle et la mise en grappe en environnement campus est la distance. Dans une mise en grappe en environnement campus, les noeuds d'une configuration en grappe peuvent être éloignés de plusieurs kilomètres. En cas de catastrophe, telle qu'un incendie ou un tremblement de terre, la probabilité est ainsi plus forte qu'au moins un serveur et son stockage soient épargnés.

Le logiciel Sun Cluster supporte exactement deux noeuds dans une configuration en grappe campus. Les configurations à deux, voire trois pièces, sont également prises en charge. Une pièce est un regroupement de matériel fonctionnellement indépendant (comme un noeud et son stockage ou une unité de quorum isolé physiquement des noeuds), qui est séparé d'autres pièces et dont l'objectif est de favoriser la reprise sur panne et la redondance en cas d'accident ou de défaillance. La définition d'une pièce dépend donc du type de défaillances contre lesquelles il faut la protéger, comme l'indique le TABLEAU A-1.

Tableau A-1 Définitions de "Pièce"


Scénario de panne	Exemples de définition de pièces séparées
Panne d'alimentation	Sources d'alimentation isolées et indépendantes
Accidents bénins, affaissement des meubles et infiltrations d'eau, etc.	Différentes parties de la pièce physique
Petit incendie. Déclenchement des extincteurs automatiques (incendie)	Différentes zones physiques (zone d'extincteurs automatiques, par exemple)
Défaillance du gros-oeuvre (incendie dans tout le bâtiment, par exemple)	Différents bâtiments
Catastrophe naturelle de grande ampleur (tremblement de terre ou inondation, par exemple)	Plusieurs sites campus éloignés de plusieurs kilomètres

Toutes les grappes campus étant à deux noeuds, chaque grappe campus doit être équipée d'un disque de quorum. En configuration deux pièces, le disque de quorum occupe la même pièce qu'un noeud (voir "Exemple de configuration deux pièces"). En configuration trois pièces, la troisième pièce sert au disque de quorum ("Exemple de configuration trois pièces").

Le premier noeud qui obtient une réservation sur le disque de quorum accède aux services de la grappe ; une erreur système force la mise hors ligne de l'autre noeud. En configuration deux pièces, le disque de quorum sera placé dans la pièce la mieux disposée à supporter un accident ou une catastrophe naturelle, au cas où le traffic inter-grappes et la connectivité au disque seraient perdus entre les pièces. (Si seul le trafic inter-grappes est perdu, le noeud qui partage une pièce avec le disque de quorum ne sera pas nécessairement la pièce qui aura réservé le disque de quorum en premier.)

L'avantage d'une grappe trois pièces réside généralement dans sa capacité de reprise sur panne automatique au cas où les trois pièces seraient perdues ; tandis que dans le cas d'une grappe deux pièces, si vous avez complètement perdu l'une des pièces, la reprise sur panne n'est possible que si la pièce restante est celle qui héberge le disque de quorum. Seule une configuration trois pièces garantit la disponibilité du système en cas de perte complète d'une pièce (en l'absence de pannes connexes).

Remarque :

Comme c'est le cas pour les configurations non campus, l'intégrité des données risque d'être compromise si d'autres pannes d'E/S persistent après la destruction d'une pièce et si le sous-miroir le plus récemment actualisé se trouvait dans la pièce détruite.

Dans une configuration en grappe campus, chacune des deux pièces utilisées par les noeuds doivent avoir un même nombre de disques partagés. (Dans une configuration deux pièces, il est possible qu'une pièce ait son propre disque de quorum, de sorte que les deux pièces n'ont pas besoin du même nombre total de disques.) La mise en miroir de disques partagés doit toujours se faire entre deux pièces, plutôt qu'au sein d'une même pièce. Autrement dit, les deux sous-miroirs constitutifs d'un miroir bidirectionnel ne doivent jamais résider dans la même pièce. La mise en miroir s'impose dans toutes les configurations en grappe campus, la solution RAID-5 ne garantissant pas la redondance des données d'une pièce à l'autre.

Si vous utilisez Solstice DiskSuite comme gestionnaire de volumes pour les groupes d'unités partagés, veillez à bien répartir vos miroirs. En configuration deux pièces, tous les disques doivent avoir une copie dans la pièce qui héberge le disque de quorum de la grappe. En outre, tous les groupes d'unités Solstice DiskSuite doivent être configurés de sorte qu'ils utilisent le noeud de la pièce contenant le disque de quorum comme pièce par défaut. En configuration trois pièces, la troisième pièce ne doit pas seulement héberger le disque de quorum, mais également au moins un disque supplémentaire configuré dans chacun des ensembles de disques. A chaque ensemble de disques doit correspondre un disque dans la troisième pièce, ainsi qu'une copie de Solstice DiskSuite par ensemble de disques. Les disques de quorum peuvent être utilisés comme copies metadb dans un meta-ensemble. Le logiciel Sun Cluster ne permet pas encore d'utiliser la troisième pièce pour le stockage de données.

Le logiciel Sun Cluster supporte les configurations en grappes campus avec une distance maximale de 10 km entre les pièces.

Exemples de configuration en grappe en environnement campus

Cette section donne des exemples de configurations en grappes campus en deux et trois pièces :

La FIGURE A-1 illustre une configuration deux pièces basée sur des groupes de partenaires Sun StorEdge T3.
La FIGURE A-2 illustre une configuration trois pièces basée sur des groupes de disques Sun StorEdge A5x00.

Remarque :

Les exemples donnés dans ce chaptre illustrent des configurations générales et ne sont en aucun cas des exemples recommandés ou imposés. Le type de stockage présenté, par exemple, est uniquement utilisé à titre d'illustration. Dans un souci de simplicité, les schémas et les explications portent uniquement sur les fonctionnalités et les caractéristiques essentielles à la compréhension de ce qu'est la mise en grappe en environnement campus, c'est la raison pour laquelle, par exemple, les connexions Ethernet du réseau public n'y figurent pas.

Reportez-vous à "Autres exemples de configurations en grappe campus" pour consulter d'autres exemples d'installations.

Exemple de configuration deux pièces

Une configuration deux pièces se définit comme suit :

Deux pièces distinctes
Les deux pièces comportent chacune un noeud et des sous-systèmes de disques
Les données sont mises en miroir sur les sous-systèmes de disques de ces pièces
Au moins un sous-système de disques, relié à deux hôtes et utilisé comme unité de quorum, se trouve dans l'une des pièces

En cas de perte de la pièce comportant le disque de quorum, le système pourra être restauré automatiquement. La restauration du système nécessitera l'intervention d'un opérateur.

La FIGURE A-1 illustre un exemple de configuration deux pièces, chaque pièce comportant un groupe de partenaires composé de tableaux de disques Sun StorEdge T3/T3+.

Figure A-1 Exemple de grappe campus deux pièces

L'exemple de la FIGURE A-1 s'apparente à une configuration standard non-campus ; la différence la plus frappante réside dans l'ajout de commutateurs Fibre Channel pour la commutation entre fibres multimode et monomode.

Même si ceci ne fait pas l'objet de ce chapitre, la mise en grappe en environnement campus permet des configurations utilisant plusieurs tableaux de stockage. Des commutateurs SAN supplémentaires pour tableaux Sun StorEdge T3/T3+ pourront être ajoutés au besoin dans les grands environnements de stockage.

Exemple de configuration trois pièces

Une configuration trois pièces se définit comme suit :

Trois pièces distinctes
Deux pièces comportent chacune leur propre noeud et un même nombre de tableaux de disques, dans ce cas, des sous-systèmes de disques Sun StorEdge A5x00 ; les données sont mises en miroir sur les sous-systèmes de disques de ces pièces
Au moins un sous-système de disques relié aux deux hôtes et utilisé comme unité de quorum se trouve dans la troisième pièce

La FIGURE A-2 illustre une configuration utilisant des tableaux de disques Sun StorEdge A5x00. Notez que, contrairement à la FIGURE A-1, qui utilisait des plateaux de disques Sun StorEdge T3, cette configuration n'utilise pas de commutateurs Fibre Channel pour connecter les tableaux de disques Sun StorEdge A5x00. (Les commutateurs ne sont pas nécessaires, puisque des GBIC à ondes longues figurent dans les A5x00 et devraient également figurer dans les adaptateurs de bus hôte des serveurs.)

Figure A-2 Exemple de configuration trois pièces

Dans cette configuration, étant donné que deux pièces fonctionnent et communiquent, la restauration sera automatique. C'est la seule configuration qui garantit la gestion automatique de la perte d'une pièce. La perte de deux pièces nécessite le remplacement ou la reconstruction d'une pièce et généralement l'intervention d'opérateurs de SunService.

Configuration minimale requise

Cette section présente la configuration minimale requise pour une mise en grappe en environnement campus. Pour de plus amples informations sur les logiciels et matériels requis et supportés, reportez-vous aux Notes de version de Sun Cluster 3.0 5/02 et consultez votre interlocuteur Sun.

Logiciels

Les grappes campus nécessitent les logiciels suivants :

Sun Cluster 3.0 version 12/01 ou ultérieures
Solaris 8
Logiciel de gestion des volumes (tel que Solstice DiskSuite)

Serveurs

Reportez-vous aux Notes de version de Sun Cluster 3.0 5/02 ou contactez votre interlocuteur commercial pour obtenir la liste des serveurs certifiés Sun Cluster.

Commutateurs Fibre Channel, fibres et adaptateurs hôtes

Commutateurs Fibre Channel. Les tableaux de disques Sun StorEdge T3/T3+ ne se connectent pas directement aux fibres monomode. Une grappe qui utiliserait ces unités aurait donc besoin de commutateurs Fibre Channel munis de GBIC à ondes longues pour pouvoir connecter des fibres monomode aux fibres multimode en sortie des tableaux de disques, des hôtes et des adaptateurs de bus hôtes. (Voir FIGURE A-1.)

Connexions des fibres de stockage. Pour les connexions longue distance (jusqu'à 10km), utilisez des fibres monomode 9/125 microns.

Lorsque vous connectez les tableaux de disques Sun StorEdge T3/T3+ aux commutateurs Fibre Channel, utilisez des fibres multimode 50/125 microns pour des distances inférieures à 500 m.

Adaptateurs hôtes. Connectez les tableaux de disques StorEdge A5x00 à l'aide d'adaptateurs hôtes SBus basés sur SOC+.

Avec les tableaux de disques Sun StorEdge T3/T3+, utilisez un adaptateur hôte à capacité SAN. Vous avez notamment le choix entre les adaptateurs réseau Sun StorEdge SBus Dual Fibre Channel, Sun StorEdge PCI Single Fibre Channel, Sun StorEdge PCI Dual Fibre Channel Network Adapter+ et Sun StorEdge cPCI Dual Fibre Channel.

Unités de stockage

Sun Cluster 3.0 prend en charge les configurations en grappe en environnement campus à l'aide du tableau de disques Sun StorEdge A5x00 ou Sun StorEdge T3/T3+. Le tableau Sun StorEdge T3/T3+ peut être configuré individuellement ("contrôleur unique," comme l'indique la FIGURE A-5) ou par paire ("groupe de partenaires," comme l'indique la FIGURE A-1).

Utilisez de préférence des convertisseurs d'interface gigabit à ondes longues (LWGBIC) pour la connexion de tableaux StorEdge A5x00 et Sun StorEdge T3/T3+ à des distances comprises entre 500 mètres et 10 Km. (Préférez des GBIC à ondes courtes pour des distances inférieures à 500 mètres.) Consultez Sun Professional Services pour toute implémentation de GBIC à ondes longues.

Une configuration en grappe campus doit comporter deux (ou plus) SAN pour les unités de stockage. Le stockage formant un sous-miroir se trouve dans une pièce et est mis en miroir sur le sous-miroir d'une autre pièce, physiquement distincte. En outre, les sous-miroirs d'un miroir doivent résider sur des adaptateurs de bus distincts. Pour de plus amples informations sur la configuration de réseaux SAN, reportez-vous à Sun StorEdge Network FC Switch-8 and Switch-16 Installation and Configuration Guide, Sun SAN 3.0.

Un disque de quorum peut aussi bien être une unité individuelle distincte ou l'une des unités de stockage dédiées (Sun StorEdge T3/T3+ ou A5x00).

Remarque :

En raison de limitations éventuelles en rapport avec la connectivité des commutateurs, il est pour l'instant impossible d'utiliser des tableaux Sun StorEdge T3 dans la troisième pièce, celle du quorum.

Interconnexion de grappes

Les composants suivants constituent la configuration matérielle d'interconnexion de grappes campus :

Adaptateur SunFastEthernet. L'adaptateur SunFastEthernet délivre la fonctionnalité Ethernet 10/100 Mbps avec un connecteur RJ-45.
Convertisseurs de supports. Utilisez des convertisseurs de supports RJ-45 pour convertir les connecteurs cuivre en fibre optique.
Deux paires de fibres monomode 9/125 microns.

La FIGURE A-3 illustre la configuration d'une interconnexion de grappes :

Figure A-3 Configuration 100BASE-FX

L'interconnexion doit pouvoir supporter des transmissions égales à la distance de connexion de la fibre de stockage. Pour des connexions jusqu'à 2 km, on peut utiliser des fibres multimode. Si tel est le cas, plusieurs émetteurs-récepteurs seront nécessaires à la place des convertisseurs de supports. Consultez votre interlocuteur commercial.

Installation et configuration du matériel d'interconnexion, de stockage et de Fibre Channel

Globalement, le matériel d'interconnexion, de stockage et de Fibre Channel utilisé ne varie pas beaucoup par rapport à des configurations en grappe non campus.

Les étapes d'installation du matériel d'interconnexion pour les grappes campus basées sur Ethernet sont très similaires à celles des grappes non campus. Reportez-vous au Sun Cluster 3.0 12/01 Hardware Guide pour connaître ces étapes.

Lors de l'installation de convertisseurs de supports, consultez la documentation qui les accompagne, notamment les exigences pour la connexion par fibres optiques.
Les étapes d'installation des tableaux Sun StorEdge A5x00 et Sun StorEdge T3/T3+ sont très similaires à celles des grappes non campus. Reportez-vous au Sun Cluster 3.0 12/01 Hardware Guide pour connaître ces étapes.

Par contre, si vous installez des tableaux Sun StorEdge A5x00 éloignés de plus de 500 m, installez les GBIC à ondes longues comme l'indique le Sun StorEdge LW GBIC Service Manual. Ce manuel décrit également les spécifications relatives aux fibres monomode.
Les grappes campus qui utilisent des tableaux Sun StorEdge T3/T3+ nécessitent l'utilisation de commutateurs Sun Fibre Channel comme médiateurs entre les fibres multimode et monomode. Les étapes de configuration des paramètres des commutateurs Sun Fibre Channel sont très similaires à celles correspondant aux grappes non campus.

Les configurations de SAN en cascade n'ont pas les mêmes exigences que celles sans cascade, en particulier pour ce qui est de la mise en miroir et de la répartition par zone. Consultez le Sun StorEdge Network FC Switch-8 and Switch-16 Installation and Configuration Guide, Sun SAN 3.0, ainsi que votre interlocuteur technique, pour de plus amples informations.

Autres exemples de configurations en grappe campus

"Exemples de configuration en grappe en environnement campus" présente deux configurations possibles de mise en grappe en environnement campus: une configuration deux pièces utilisant des groupes de partenaires Sun StorEdge T3 et une configuration trois pièces utilisant des tableaux Sun StorEdge A5x00. L'objet de ce document n'est pas de détailler chacune des configurations possibles de mise en grappe en environnement campus, aussi les illustrations suivantes représentent-elles des variantes des configurations présentées précédemment.

Voici des exemples de configuration deux pièces :

grappe campus deux pièces avec groupes de partenaires Sun StorEdge T3/T3+ et commutation redondante (huit commutateurs au total) (FIGURE A-4)
grappe campus deux pièces avec tableaux Sun StorEdge T3/T3+, en configuration avec contrôleur unique (FIGURE A-5)
grappe deux pièces avec tableaux de disques Sun StorEdge A5x00 (FIGURE A-6)

Voici des exemples de configuration trois pièces :

grappe campus trois pièces avec tableaux Sun StorEdge T3/T3+ configurés en groupes de partenaires (FIGURE A-7)
grappe campus trois pièces avec tableaux Sun StorEdge T3/T3+ à contrôleur unique (FIGURE A-8)
grappe trois pièces utilisant des tableaux de disques Sun StorEdge A5x00 (FIGURE A-9)

Exemples avec deux pièces

La FIGURE A-1 illustre une grappe campus à deux pièces, utilisant des groupes de partenaires Sun StorEdge T3 et quatre commutateurs Fibre Channel. La FIGURE A-4 illustre la même configuration avec l'ajout de quatre commutateurs pour garantir une redondance supérieure et un débit d'E/S plus puissant.

Figure A-4 Grappe campus deux pièces (groupes de partenaires T3, 8 commutateurs)

La FIGURE A-5 est similaire à la FIGURE A-1, si ce n'est qu'elle utilise des tableaux Sun StorEdge T3/T3+ en configurations avec contrôleur unique plutôt qu'en groupes de partenaires.

Figure A-5 Grappe campus deux pièces (Sun StorEdge T3, contrôleur unique)

La FIGURE A-6 illustre une grappe campus deux pièces utilisant des tableaux Sun StorEdge A5x00. Notez l'absence de commutateurs.

Figure A-6 Configuration à deux pièces (Sun StorEdge A5x00)

Exemples avec trois pièces

Les exemples suivants sont tous des représentations de configurations en grappe campus à trois pièces.

Comme indiqué précédemment dans la section "Unités de stockage", en raison des limitations éventuelles associées à la connectivité des commutateurs, les tableaux Sun StorEdge T3/T3+ ne peuvent pas être utilisés pour l'instant dans la troisième pièce, celle du quorum. La FIGURE A-7 et la FIGURE A-8 représentent donc des tableaux de disques Sun StorEdge A5x00 dans la pièce hébergeant le quorum.

La FIGURE A-7 est identique à la FIGURE A-1, si ce n'est que le disque de quorum y est isolé dans une troisième pièce.

Figure A-7 Grappe campus trois pièces (groupes de partenaires Sun StorEdge T3)

Comme c'est le cas pour la FIGURE A-5, la FIGURE A-8 illustre des tableaux Sun StorEdge T3/T3+ en formation avec contrôleur unique. Par contre, dans la FIGURE A-8, le disque de quorum est isolé dans une troisième pièce.

Les configurations de la FIGURE A-7 et de la FIGURE A-8 utilisent des configurations de stockage hétérogènes (tableaux Sun StorEdge T3/T3+ et Sun StorEdge A5x00), on utilisera alors deux types d'adaptateur de bus hôte. Sun StorEdge A5x00 se connecte au serveur à l'aide d'un adaptateur hôte SBus basé sur SOC+, le serveur doit donc être basé sur SBus, ce qui implique que la connexion avec T3/T3+ doit également être basée sur SBus. La connexion de T3 doit donc se faire via un adaptateur réseau Sun StorEdge SBus Dual Fibre Channel.

Figure A-8 Grappe campus trois pièces (Sun StorEdge T3 à contrôleur unique)

La FIGURE A-9, comme la FIGURE A-6, illustre une grappe campus utilisant des tableaux Sun StorEdge A5x00 ; par contre dans la FIGURE A-9, le disque de quorum est isolé dans sa propre pièce.

Figure A-9 Grappe campus trois pièces (Sun StorEdge A5x00)