> ## Documentation Index
> Fetch the complete documentation index at: https://www.bazhuayu.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 云采集去重原则

> 云采集默认自动去重。采集的数据中，如果某一行数据的所有字段内容与其他行内所有字段内容都相同，则认为是重复数据，重复的数据行就会被删除。不管数据是在一个网页采集的还是多个网页采集的。即不判断来源，只对比最终结果。

云采集默认自动去重。采集的数据中，如果某一行数据的所有字段内容与其他行内所有字段内容都相同，则认为是重复数据，重复的数据行就会被删除。不管数据是在一个网页采集的还是多个网页采集的。即不判断来源，只对比最终结果。