Opérations d'archivage

Aucune intervention n'est nécessaire de la part de l'opérateur pour archiver les fichiers. L'archiveur écrit les fichiers sur un volume du média d'archivage. Les médias d'archivage peuvent contenir un ou plusieurs volumes. Chaque volume est identifié par un identificateur unique appelé nom de série de volume (VSN).

Par défaut, l'archiveur effectue une copie de chaque groupe d'archives, mais vous pouvez demander jusqu'à quatre copies. Un groupe d'archives et un numéro de copie représentent un ensemble de volumes. Les copies d'un groupe d'archives dupliquent les fichiers sur des volumes distincts.

Pour qu'un fichier soit candidat à l'archivage ou au réarchivage, il faut que ses données aient été modifiées. Un fichier n'est pas archivé s'il a seulement fait l'objet d'un accès, mais n'a pas été modifié. Par exemple, l'exécution d'une commande touch sur un fichier n'entraîne pas son archivage ou son réarchivage. Si la commande mv est utilisée pour renommer un fichier, le fichier est susceptible d'être déplacé vers un groupe d'archives différent. Dans ce cas, le logiciel d'archivage réévalue les copies d'archive afin de déterminer si le fichier doit être archivé ou réarchivé.

L'opération d'archivage est affectée par les facteurs suivants :

• Age d'archivage Le temps écoulé depuis la dernière modification du fichier. L'âge d'archivage peut être défini pour chaque copie d'archive.

  La commande touch permet de remplacer les références de temps par défaut par des valeurs plus éloignées dans le passé ou le futur. Notez que cette commande peut entraîner des résultats d'archivage inattendus. Pour éviter tout problème, l'archiveur ajuste les références afin qu'elles soient toujours comprises entre l'heure de création du fichier et l'heure actuelle.

• Priorité d'archivage Cette valeur est calculée à partir des caractéristiques de propriétés des fichiers et des multiplicateurs de propriétés des fichiers associés au groupe d'archives concerné, de la manière suivante :

  archive-priority = file-property-value x property-multiplier

  • La plupart des chiffres de file-property-value sont 1 (pour true) ou 0 (pour false). Par exemple, la copie de propriété 1 a la valeur 1 si la copie d'archive 1 est en cours de création. Les copies 2, 3 et 4 ont donc la valeur 0. Les autres propriétés, telles que l'âge d'archivage et la taille du fichier, peuvent posséder des valeurs différentes de 0 ou 1.

  • La valeur property-multiplier est déterminée à partir des paramètres -priority pour le groupe d'archives. Vous pouvez définir des valeurs pour différentes caractéristiques d'un fichier, telles que son âge ou sa taille, afin de déterminer la priorité de la requête d'archivage. La valeur par défaut de tous les multiplicateurs de propriétés est 0.0. Pour plus d'informations sur le paramètre -priority, reportez-vous à la section archiver.cmd(4) du manuel Sun QFS and Sun Storage Archive Manager 5.3 Reference Manual.

Les valeurs archive-priority et property-multiplier sont des nombres à virgule flottante.

Les sections suivantes décrivent les opérations effectuées par l'archiveur, de l'analyse initiale des fichiers au processus de copie des fichiers :

• Etape 1 : identification des fichiers à archiver

• Etape 2 : composition de requêtes d'archivage

• Etape 3 : planification des requêtes d'archivage

• Etape 4 : archivage des fichiers d'une requête d'archivage

• Exemple de sortie par défaut générée par la commande archiver -l

Etape 1 : identification des fichiers à archiver

Un processus sam-arfind distinct surveille chaque système de fichiers monté afin de déterminer les fichiers pour lesquels l'archivage est requis. Le système de fichiers notifie ce processus sam-arfind dès que la modification d'un fichier entraîne la modification de son état d'archive. Ces modifications incluent la modification, le réarchivage, le désarchivage et le renommage d'un fichier.

Le processus sam-arfind examine le fichier afin de déterminer le groupe d'archives auquel il appartient et l'action à entreprendre.

Le processus sam-arfind utilise les descriptions des propriétés des fichiers suivantes afin de déterminer le groupe d'archives d'un fichier :

• La portion correspondant au chemin d'accès au répertoire du nom de fichier et, le cas échéant, le nom complet du fichier à l'aide d'une expression régulière

• Le nom d'utilisateur du propriétaire du fichier

• Le nom de groupe du propriétaire du fichier.

• Une taille de fichier minimale

• Une taille de fichier maximale

Le processus sam-arfind effectue l'évaluation suivante afin de déterminer l'action d'archivage :

• Si l'âge d'archivage du fichier d'une ou de plusieurs copies a été atteint ou dépassé, le processus sam-arfind ajoute ce fichier à une ou plusieurs requêtes d'archivage du groupe d'archives. Une requête d'archivage est une collection de fichiers appartenant au même groupe d'archives. La requête d'archivage réside dans le répertoire /var/opt/SUNWsamfs/archiver/file_sys/ArchReq . Les fichiers de ce répertoire sont des fichiers binaires. Pour les afficher, utilisez la commande showqueue. Des requêtes d'archivage distinctes sont utilisées pour les fichiers qui n'ont pas encore été archivés et les fichiers faisant l'objet d'un réarchivage. Cette distinction vous permet de contrôler la planification de manière indépendante pour ces deux types de fichiers.

• Si l'âge d'archivage du fichier d'une ou de plusieurs copies n'est pas atteint, le répertoire où réside le fichier et le moment où l'âge d'archivage est atteint sont ajoutés à une liste d'analyse. Les répertoires sont analysés lorsque les horaires de la liste d'analyse sont atteints. Les fichiers ayant atteint leur âge d'archivage sont ajoutés aux requêtes d'archivage.

• Si un fichier est hors ligne, le processus sam-arfind sélectionne les volumes à utiliser en tant que source pour la copie d'archive. Si la copie de fichier fait l'objet d'un réarchivage, le processus sam-arfind sélectionne le volume contenant la copie d'archive à réarchiver.

• Si un fichier est segmenté, seuls les segments ayant fait l'objet de modifications sont sélectionnés pour l'archivage. L'index d'un fichier segmenté ne contient aucune donnée utilisateur. Il est donc considéré comme un membre du groupe d'archives du système de fichiers et est archivé séparément.

L'opération d'archivage s'effectue en utilisant l'une des méthodes suivantes :

• Archivage en continu

• Archivage basé sur l'analyse

Archivage en continu

Dans la méthode d'archivage en continu, l'archiveur opère conjointement avec le système de fichiers afin de d'identifier les fichiers à archiver;

L'archivage en continu est la méthode d'archivage par défaut (le paramètre du fichier archiver.cmd est examine=noscan) et utilise les conditions de départ par défaut suivantes :

• L'archive démarre toutes les deux heures.

• L'archive attend qu'au moins 90 % de la valeur archmax des données soit prête à archiver.

• L'archive patiente jusqu'à ce qu'au moins 500 000 fichiers soient prêts pour l'archivage.

  Lorsque l'une des conditions de démarrage de la planification est atteinte, le processus sam-arfind envoie chaque requête d'archivage vers le démon de l'archiveur, sam-archiverd, afin de définir la planification de la copie du fichier vers le média d'archivage.

Pour contrôler la planification de l'opération d'archivage, spécifiez les conditions de démarrage pour chaque groupe d'archives à l'aide des paramètres -startage, -startcount et -startsize. Ces conditions vous permettent d'optimiser la ponctualité de l'archive par rapport à la charge de travail effectuée. Par exemple :

• Si la création des fichiers que vous souhaitez archiver ensemble requiert une heure, définissez le paramètre -startage sur une heure (-startage 1h) afin de vous assurer que tous les fichiers sont créés avant que la requête d'archivage n'ait lieu.

• Si vous souhaitez que toutes les requêtes d'archivage contiennent au minimum 150 Go de données, spécifiez une -startsize de 150 Go (-startsize 150g) afin d'indiquer à l'archiveur de patienter jusqu'à ce que 150 Go de données soient prêtes pour l'archivage.

• Si vous savez que 3 000 fichiers sont disponibles pour l'archivage, spécifiez -startcount 3000 afin de garantir que les fichiers sont archivés ensembles.

Pour plus d'informations sur les paramètres d'archivage, reportez-vous à la section Directives d'archivage globales.

Archivage basé sur l'analyse

Grâce à la méthode d'analyse, l'archiveur vérifie périodiquement les systèmes de fichiers et sélectionne les fichiers à archiver. Pour activer la méthode d'analyse et pour désactiver l'analyse continue, spécifiez examine=scan dans le fichier archiver.cmd.

Le processus sam-arfind analyse périodiquement chaque système de fichiers afin d'identifier les fichiers nécessitant un archivage et de les placer dans des requêtes d'archivage. La première analyse effectuée porte sur les répertoires. Pendant cette analyse, sam-arfind descend de manière récursive dans l'arborescence des répertoires. Le processus examine chaque fichier et définit l'indicateur de l'état du fichier sur archdone si le fichier ne nécessite pas d'archivage. Durant les analyses successives, le processus sam-arfind analyse le fichier .inodes et examine uniquement les inodes ne contenant pas l'indicateur archdone.

Une fois l'analyse terminée, le processus sam-arfind envoie chaque requête d'archivage au démon de l'archiveur, sam-archiverd, afin de planifier la copie des fichiers sur le média d'archivage. Le processus sam-arfind reste ensuite inactif pendant la durée spécifiée par la directive interval= time. A l'issue de l'intervalle, le processus sam-arfind reprend l'analyse.

Pour plus d'informations sur le contrôle du paramètre de l'indicateur archdone, reportez-vous à la section Directive setarchdone : contrôle du paramètre de l'indicateur archdone.

Etape 2 : composition de requêtes d'archivage

Quelle que soit la méthode d'archivage utilisée, le processus sam-arfind envoie chaque requête d'archivage au démon de l'archiveur, sam-archiverd , en vue de leur composition. Cette section décrit le processus de composition.

La composition est le processus qui consiste à sélectionner les fichiers de la requête d'archivage, destinés à être archivés en une fois. En raison de la capacité du média d'archivage ou en vertu des contrôles spécifiés dans le fichier de commande de l'archiveur, il peut ne pas être possible d'archiver tous les fichiers d'une requête d'archivage simultanément. Une fois l'opération de copie d'archive terminée pour une requête d'archivage, cette dernière est recomposée s'il reste des fichiers à archiver.

Le démon sam-archiverd place les fichiers dans les requêtes d'archivage selon certains critères par défaut propres au site. L'opération par défaut consiste à archiver tous les fichiers d'une requête d'archivage en fonction de leur nom de chemin complet, afin que les fichiers d'un même répertoire soient placés sur le même média d'archivage. Les critères propres au site vous permettent de contrôler l'ordre dans lequel les fichiers sont archivés et la manière dont ils sont répartis sur les volumes. Ces critères sont appelés paramètres de groupe d'archives et sont évalués dans l'ordre suivant : -reserve, -sort, -rsort (tri en sens inverse) et -drives. Pour plus d'informations, reportez-vous à la section archiver.cmd(4) du manuel Sun QFS and Sun Storage Archive Manager 5.3 Reference Manual.

Lorsque le paramètre -reserve owner est spécifié, le démon sam-archiverd trie les fichiers dans la requête d'archivage en fonction du chemin d'accès du répertoire, du nom d'utilisateur ou du nom du groupe d'un fichier. Les fichiers appartenant au propriétaire sont sélectionnés pour l'archivage. Les fichiers restants seront archivés ultérieurement.

Si le paramètre -sort ou -rsort est spécifié, le démon sam-archiverd trie les fichiers en fonction de la méthode de tri spécifiée, par exemple, l'âge, la taille ou l'emplacement du répertoire.

Lorsqu'une requête d'archivage contient à la fois des fichiers en ligne et hors ligne, les fichiers en ligne sont sélectionnés en premier pour l'archivage.

Si aucune méthode de tri n'est spécifiée, les fichiers hors ligne sont triés en fonction du volume sur lequel résident les copies d'archive. Cette règle garantit que tous les fichiers (dans chaque groupe d'archives) du même volume sont transférés simultanément dans l'ordre dans lequel ils ont été stockés sur le média. Si plusieurs copies d'archive d'un fichier hors ligne sont créées, le fichier hors ligne n'est pas libéré tant que toutes les copies requises n'ont pas été créées. Tous les fichiers à transférer à partir du même volume que le premier fichier sont sélectionnés pour l'archivage.

Après leur composition, les requêtes d'archivage sont entrées dans la file d'attente de planification du démon sam-archiverd.

Etape 3 : planification des requêtes d'archivage

L'outil de planification du démon sam-archiverd s'exécute à la demande lorsque l'une des conditions suivantes est remplie :

• Une requête d'archivage est entrée dans la file d'attente de planification.

• L'archivage d'une requête d'archivage est terminé.

• Une modification de l'état du média envoyée par le serveur de catalogues est reçue.

• Un message modifiant l'état de l'archiveur est reçu.

Les requêtes d'archivage de la file d'attente de planification sont triées par ordre de priorité. Chaque fois que l'outil de planification s'exécute, toutes les requêtes d'archivage sont examinées pour déterminer si elles peuvent être attribuées à un processus sam-arcopy afin que leurs fichiers soient copiés sur un média d'archivage.

Les conditions suivantes doivent être remplies pour permettre la planification de requêtes d'archivage :

• Des lecteurs doivent être disponibles pour la réalisation des copies de fichiers.

• Un volume doit être disponible et celui-ci doit disposer d'un espace suffisant pour contenir les fichiers de la requête d'archivage.

Utilisation des lecteurs

Si le paramètre -drives du groupe d'archives est spécifié, le démon sam-archiverd répartit les fichiers sélectionnés dans la requête d'archivage sur plusieurs lecteurs. Si le nombre de lecteurs disponibles est inférieur à celui spécifié par le paramètre -drives, ce nombre inférieur est utilisé.

Si la taille totale des fichiers de la requête d'archivage est inférieure à la valeur -drivemin, un seul disque est utilisé. La valeur -drivemin est soit la valeur spécifiée par le paramètre -drivemin, soit la valeur archmax. La valeur archmax est spécifiée par le paramètre -archmax ou par la valeur définie pour le média. Pour plus d'informations sur le paramètre -archmax et la directive archmax=, reportez-vous à la section archiver.cmd(4) du manuel Sun QFS and Sun Storage Archive Manager 5.3 Reference Manual.

Si la taille totale des fichiers de la requête d'archivage est supérieure à la valeur -drivemin, le nombre de lecteurs utilisé est déterminé par la taille totale des fichiers divisée par la valeur -drivemin. Si le nombre de lecteurs disponibles est inférieur à celui spécifié par le paramètre -drives, ce nombre inférieur est utilisé.

La durée de l'archivage des fichiers est plus ou moins longue selon les lecteurs. Le paramètre -drivemax spécifie le nombre maximal d'octets à écrire sur un lecteur avant que celui-ci ne soit replanifié pour plus de données. Utilisez le paramètre -drivemax pour une utilisation optimisée du lecteur.

Utilisation des volumes

Vous devez disposer d'un ou de plusieurs volumes avec suffisamment d'espace pour contenir au moins certains des fichiers de la requête d'archivage. Le volume le plus récemment utilisé pour le groupe d'archives est pris en compte pour la planification, à condition qu'il dispose de suffisamment d'espace. Ce volume ne doit pas être en cours d'utilisation par l'archiveur.

Si un volume susceptible d'être utilisé pour le groupe d'archives est actuellement occupé, un autre volume est sélectionné, à moins que le paramètre -fillvsns ne soit spécifié. Dans ce cas, la requête d'archivage ne peut pas être planifiée.

Si une requête d'archivage est trop volumineuse pour un volume, les fichiers que le volume peut contenir sont sélectionnés pour y être archivés. Si la requête d'archivage contient des fichiers trop volumineux pour être contenus sur un volume et si le dépassement de volume n'est pas sélectionné pour cette requête d'archivage, les fichiers ne peuvent pas être archivés. Un message dans ce sens est envoyé dans le journal.

Vous pouvez spécifier le dépassement de volume pour le groupe d'archives (à l'aide du paramètre -ovflmin) ou pour le média (à l'aide de la directive ovflmin=). Pour plus d'informations sur le paramètre -ovflmin et la directive ovflmin=, reportez-vous à la section archiver.cmd(4) du manuel Sun QFS and Sun Storage Archive Manager 5.3 Reference Manual. La spécification ovflmin détermine la taille minimale des fichiers à partir de laquelle des volumes ou des médias supplémentaires sont attribués lors de l'archivage. Si une valeur ovflmin est spécifiée pour le groupe d'archives, elle prévaut sur une valeur ovflmin spécifiée pour le média.

Si la taille des fichiers est inférieure à ovflmin, les fichiers ne peuvent pas être archivés. Un message dans ce sens est envoyé dans le journal. Si la taille des fichiers est supérieure à ovflmin, des volumes supplémentaires peuvent être attribués, le cas échéant. Les volumes sont sélectionnés par ordre décroissant de taille afin de réduire le nombre de volumes nécessaires. Si aucun volume utilisable n'est disponible pour la requête d'archivage, elle est mise en attente jusqu'à ce qu'un volume soit disponible.

Certaines propriétés, notamment l'indication si le fichier est en ligne ou hors ligne, sont utilisées conjointement avec la priorité d'archivage pour déterminer la priorité de planification d'une requête d'archivage donnée. Pour plus d'informations sur la personnalisation du multiplicateur de propriétés, reportez-vous à la description des paramètres -priority à la page de manuel archiver.cmd(4).

Pour chaque requête d'archivage, le démon sam-archiverd calcule la priorité de planification en ajoutant la priorité d'archivage aux multiplicateurs associés aux différentes propriétés des ressources système. Ces propriétés sont associées au nombre de secondes pendant lesquelles la requête d'archivage est restée en file d'attente, au fait que le premier volume à utiliser dans le processus d'archivage est chargé ou non dans un lecteur, etc.

A l'aide des priorités ajustées, le démon sam-archiverd attribue chaque requête d'archivage prête pour la copie.

Etape 4 : archivage des fichiers d'une requête d'archivage

Lorsqu'une requête d'archivage est prête à être archivée, le démon sam-archiverd passe en revue chaque requête d'archivage pour identifier les limites du fichier archive et vérifier que la taille de chaque fichier archive est inférieure à la valeur -archmax spécifiée. Si un fichier unique est plus volumineux que cette valeur, il est placé tout seul dans un fichier archive.

Pour chaque requête d'archivage et chaque lecteur à utiliser, le démon sam-archiverd attribue la requête d'archivage à un processus sam-arcopy afin de copier les fichiers sur le média d'archivage. Les informations sur l'archivage sont entrées dans l'inode.

Si la journalisation des archives est activée, une entrée est créée dans le journal d'archivage.

Si le fichier a été transféré, l'espace disque est libéré. Le processus continue jusqu'à ce que tous les fichiers de la liste soient archivés.

Certaines erreurs et modifications du statut des fichiers peuvent empêcher le bon déroulement de la copie d'un fichier. C'est le cas notamment des erreurs de lecture du cache disque et des erreurs d'écriture sur les volumes. Les modifications de statut comprennent les modifications apportées depuis la sélection, l'ouverture d'un fichier pour l'écriture, ainsi que la suppression d'un fichier.

Une fois le processus sam-arcopy terminé, le démon sam-archiverd examine la requête d'archivage. Si certains fichiers n'ont pas été archivés, la requête d'archivage est recomposée.

Il est également possible de spécifier des délais d'expiration pour les opérations d'archivage dans le fichier archiver.cmd. La directive se présente sous la forme suivante :

timeout = [operation | media] time

operation correspond à l'une des opérations suivantes :

• read – Lecture du fichier à partir du disque. Le délai d'expiration par défaut est 1 minute.

• request – Requête effectuée auprès du média d'archivage. Le délai d'expiration par défaut est 15 minutes.

• stage – Transfert du fichier à archiver. Le délai d'expiration par défaut est 0 minute.

• write – Ecriture sur le média d'archivage. Le délai d'expiration par défaut est 15 minutes.

La valeur timeout de l'opération d'écriture peut également être spécifiée pour chaque média.

Vous pouvez configurer le paramètre du groupe d'archives -queue_time_limit time dans le fichier archiver.cmd afin d'avertir l'administrateur dès qu'une requête d'archivage se trouve dans la file d'attente de planification depuis plus longtemps que le délai spécifié. Si la requête d'archivage se trouve toujours dans cette file d'attente à l'issue de ce délai, un e-mail est envoyé à l'administrateur système.

Exemple de sortie par défaut générée par la commande archiver -l

L'exemple de sortie suivant provient de l'exécution de la commande archiver -l.

# archiver -l
Archive media:
default:mo
media:mo archmax:5000000
media:lt archmax:50000000
Archive devices:
device:mo20 drives_available:1 archive_drives:1
device:lt30 drives_available:1 archive_drives:1
Archive file selections:
Filesystem samfs1:
samfs1 Metadata
copy:1 arch_age:240
big path:. minsize:512000
copy:1 arch_age:240

all path:
copy:1 arch_age:30
Archive sets:
all
copy:1 media:mo
big
copy:1 media:lt
samfs1
copy:1 media:mo