Réplication avec suppression des doublons

Langue :

La réplication avec suppression des doublons permet de réduire la quantité de données envoyées sur le réseau par les travaux de réplication. Cette fonctionnalité est utile pour diminuer les exigences de la réplication en matière de bande passante de données, en particulier lors de l'utilisation d'un réseau coûteux, à latence élevée et à faible bande passante.

Remarque - Elle génère un coût sous la forme d'un prétraitement et d'une augmentation du temps système de la mémoire. L'efficacité de la fonction de suppression des doublons dépend étroitement des données, de sorte qu'il est fortement recommandé de vérifier le gain réalisé sur des ensembles de données représentatifs avant d'utiliser cette fonction dans un environnement de production. La réplication avec suppression des doublons est d'autant plus efficace que les données dupliquées sont nombreuses.

Par défaut, la fonction de réplication avec suppression des doublons est désactivée. Elle peut être activée pour des actions de réplication individuelles, comme indiqué dans l'illustration suivante de la BUI.

image:Image présentant la propriété Dedupe dans une action de réplication

Statistiques de réplication avec suppression des doublons

Chaque action de réplication dispose d'un noeud stats, qui enregistre les informations relatives à la mise à jour de réplication la plus récente, ainsi que les statistiques accumulées tout au long de la durée de vie de l'action de réplication.

Les champs stats fournissent les indications quantitatives suivantes :

Avantages de la compression sur disque
Avantages de la suppression des doublons
Avantages de la compression du flux de données de réplication
Durée de la mise à jour de réplication
Temps de création des tables de suppression des doublons (avant l'envoi des données)
Consommation de mémoire maximum des tables de suppression de doublons

Le noeud stats d'un flux de réplication avec suppression des doublons présente les propriétés en lecture seule suivantes :

Table 135 Action de réplication : propriétés du noeud stats

Nom de la propriété	Description
logical_bytes	Nombre d'octets que le flux de données de mise à jour de réplication aurait contenu si les données sur disque n'avaient pas été compressées, et sans aucune compression ou suppression de doublons consécutive.
phys_bytes	Nombre d'octets dans le flux de données de réplication interne avant la suppression des doublons de réplication ou la compression du flux de données de réplication.
after_dedup	Nombre d'octets dans le flux de données de réplication interne une fois les doublons supprimés.
to_network	Nombre d'octets livrés au réseau par le pipeline de compression du flux de données de réplication. Cette valeur indique la répercussion de la compression du flux de données de réplication (si elle est activée).
duration	Temps total nécessaire pour effectuer la mise à jour de réplication.
dd_table_build	Temps passé à créer les tables de suppression des doublons avant la transmission effective de la mise à jour de réplication.
dd_table_mem	Quantité maximale de mémoire utilisée par les tables de suppression des doublons.

Pour afficher la liste des champs du noeud stats, accédez à l'action de réplication concernée puis entrez successivement les commandes stats et get.

hostname:shares testproj action-001> stats
hostname:shares testproj action-001 stats>
hostname:shares testproj action-001 stats> get
Properties:
          replica_data_timestamp = Thu Apr 21 2016 06:14:58 GMT+0000 (UTC)
                       last_sync = Thu Apr 21 2016 17:50:18 GMT+0000 (UTC)
                        last_try = Thu Apr 21 2016 17:50:18 GMT+0000 (UTC)
                     last_result = success
              last_logical_bytes = 5.80401479T
                 last_phys_bytes = 3.57996902T
                last_after_dedup = 953.489698G
                 last_to_network = 943.954802G
                   last_duration = 11:35:26
             last_dd_table_build = 02:57:10
               last_dd_table_mem = 3.5273976G
                   total_updates = 40
             total_logical_bytes = 232.16591T
                total_phys_bytes = 143.198761T
               total_after_dedup = 90.2222261T
                total_to_network = 90.0359976T
                  total_duration = 404:34:00
                dd_total_updates = 20
          dd_total_logical_bytes = 116.080296T
             dd_total_phys_bytes = 71.5993804T
            dd_total_after_dedup = 18.6228456T
             dd_total_to_network = 18.4366172T
               dd_total_duration = 231:48:40
            dd_total_table_build = 59:03:20
              dd_total_table_mem = 70.547952G

Les statistiques de la réplication récente sont également enregistrées en tant qu'alertes d'envoi, qui peuvent s'afficher et sont accessibles dans la BUI et la CLI. Pour plus d'informations, reportez-vous à la section Alertes de réplication.

Mesure des statistiques de réplication avec suppression des doublons

Lorsque la suppression des doublons est activée pour un flux de réplication, les données sont transformées à travers plusieurs couches de suppression de doublons et de compression. Les débits de données sont mesurés et enregistrés au fur et à mesure des transformations. Ces statistiques sont consignées dans le noeud stats de l'action de réplication.

Pour déterminer si la suppression des doublons a été suffisamment efficace pour l'action de réplication considérée, examinez les statistiques de réplication.

Détermination des avantages de la suppression des doublons pour une mise à jour de réplication donnée

Dans la BUI, utilisez les alertes de fin de réplication pour comparer les statistiques phys_bytes et after_dedup afin d'estimer l'avantage d'une réplication avec suppression des doublons. Pour plus d'informations sur les alertes de réplication, reportez-vous à la section Alertes de réplication.
Dans la CLI, utilisez le noeud stats de l'action de réplication et comparez les valeurs last_phys_bytes et last_after_dedup pour estimer l'avantage d'une réplication avec suppression des doublons. Pour plus d'informations sur le noeud stats, reportez-vous à la section Statistiques de réplication avec suppression des doublons.

Détermination des avantages moyens de la suppression des doublons

Pour mesurer l'avantage moyen de toutes les mises à jour de réplication avec suppression des doublons qui ont été effectuées au titre d'une action de réplication donnée, utilisez le noeud stats de cette action de réplication et comparez les statistiques dd_total_phys_bytes et dd_total_after_dedup. Pour plus d'informations sur le noeud stats, reportez-vous à la section Statistiques de réplication avec suppression des doublons.