删除重复数据的复制

语言：

删除了重复数据的复制能够减少复制作业通过网络发送的数据量。此功能对于降低复制对网络数据带宽要求非常有用，在使用高延迟、低带宽的高成本网络时尤其如此。

注 - 此功能会施加预处理形式的成本，还会施加因内存开销增加而产生的成本。重复数据删除效率高度依赖于数据，因此，在生产环境中使用此功能之前，强烈建议您使用具有代表性的数据集来验证重复数据删除可以节省的空间。重复数据越多，删除了重复数据的复制越有效。

默认情况下会禁用删除了重复数据的复制。可以针对个别复制操作启用重复数据删除，如以下 BUI 图所示。

删除重复数据的复制统计信息

每个复制操作都有一个 stats 节点，该节点记录有关最近的复制更新的信息，以及在复制操作的生存期内累积的统计信息。

这些 stats 字段对以下项进行量化：

磁盘上压缩益处
重复数据删除益处
重复数据流压缩益处
重复更新持续时间
重复数据删除表构造时间（在发送数据前）
重复数据删除表最大内存消耗

删除了重复数据的复制流的 stats 节点具有以下只读属性：

表 136 复制操作：stats 节点的属性

属性名称	说明
logical_bytes	如果磁盘上的数据未压缩且没有任何后续压缩或重复数据删除，复制更新数据流将包含的字节数。
phys_bytes	在复制重复数据删除或复制数据流压缩之前，内部复制数据流中的字节数。
after_dedup	在复制数据流执行任何重复数据删除之后，内部复制数据流中的字节数。
to_network	复制数据流压缩管道提供到网络的字节数。如果已启用复制数据流压缩，这将显示复制数据流压缩的结果。
duration	执行复制更新所需的总时间。
dd_table_build	在实际传输复制更新之前构建重复数据删除表所需的时间。
dd_table_mem	由重复数据删除表占用的最大内存量。

要列出 stats 节点字段，请首先导航到复制操作，进入 stats 节点，然后输入 get。

hostname:shares testproj action-001> stats
hostname:shares testproj action-001 stats>
hostname:shares testproj action-001 stats> get
Properties:
          replica_data_timestamp = Thu Apr 21 2016 06:14:58 GMT+0000 (UTC)
                       last_sync = Thu Apr 21 2016 17:50:18 GMT+0000 (UTC)
                        last_try = Thu Apr 21 2016 17:50:18 GMT+0000 (UTC)
                     last_result = success
              last_logical_bytes = 5.80401479T
                 last_phys_bytes = 3.57996902T
                last_after_dedup = 953.489698G
                 last_to_network = 943.954802G
                   last_duration = 11:35:26
             last_dd_table_build = 02:57:10
               last_dd_table_mem = 3.5273976G
                   total_updates = 40
             total_logical_bytes = 232.16591T
                total_phys_bytes = 143.198761T
               total_after_dedup = 90.2222261T
                total_to_network = 90.0359976T
                  total_duration = 404:34:00
                dd_total_updates = 20
          dd_total_logical_bytes = 116.080296T
             dd_total_phys_bytes = 71.5993804T
            dd_total_after_dedup = 18.6228456T
             dd_total_to_network = 18.4366172T
               dd_total_duration = 231:48:40
            dd_total_table_build = 59:03:20
              dd_total_table_mem = 70.547952G

最近的复制统计信息还记录为发送警报，发送警报可通过 BUI 和 CLI 查看和访问。有关更多信息，请参见复制警报。

测量删除了重复数据的复制的统计信息

为复制流启用了重复数据删除时，数据将通过多层重复数据删除和压缩进行转换。在转换数据时会测量并记录数据速率。这些统计信息记录在复制操作的 stats 节点中。

要确定复制操作的重复数据删除是否足够有效，请检查复制统计信息。

单个删除了重复数据的复制更新的益处比较

在 BUI 中，使用复制完成警报比较 phys_bytes 和 after_dedup 统计信息以计量删除了重复数据的复制的益处。有关复制警报的信息，请参见复制警报。
在 CLI 中，使用 replication action stats 节点比较 last_phys_bytes 和 last_after_dedup 统计信息以计量删除了重复数据的复制的益处。有关 stats 节点的信息，请参见删除重复数据的复制统计信息。

平均的删除了重复数据的复制更新的益处比较

要计量此复制操作执行的所有删除了重复数据的复制更新的平均益处，请使用复制操作 stats 节点来比较统计信息 dd_total_phys_bytes 和 dd_total_after_dedup。有关 stats 节点的信息，请参见删除重复数据的复制统计信息。