云采集去重原则

云采集默认自动去重。采集的数据中，如果某一行数据的所有字段内容与其他行内所有字段内容都相同，则认为是重复数据，重复的数据行就会被删除。不管数据是在一个网页采集的还是多个网页采集的。即不判断来源，只对比最终结果。