> ## Documentation Index
> Fetch the complete documentation index at: https://www.bazhuayu.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.
# 数据去重
> 介绍八爪鱼采集器进阶功能：数据去重。
在进行数据采集时，可能会遇到这样的情况：采集结果中有重复的数据。
八爪鱼采集器提供两种数据去重方式，满足不同程度的去重需求。
### **一、按整条数据去重（默认）**
在数据采集完成后，系统有一套默认的去重机制：某一行数据（一行数据即一条数据）的全部字段内容与其他行内全部字段内容都相同，则认为该行数据是重复数据，去重后仅保留重复数据中的第1条。
例1：第1、4条数据全部字段内容都相同，它们是重复数据，去重后仅保留第1条数据。
### **二、按字段去重（需手动设置）**
在制作采集规则时，可以设置按字段去重：根据用户选择的某个或多个字段，比对某一行数据该字段的内容与其他行该字段的内容是否相同。仅比对已选择的字段，只要选择的字段都是相同的，就认为该条数据是重复数据，其他未选择的字段会自动忽略，即使其他字段内容是不相同的也不进行考虑。去重后仅保留重复数据中的第1条。
例1：选择【字段2】为对比字段，第1、2、4条数据的【字段2】内容相同，则第1、2、4条数据为重复数据，去重后仅保留第1条数据。
例2：选择【字段2】和【字段3】为对比字段，第1、4条数据的【字段2】和【字段3】内容相同，则第1、4条数据为重复数据，去重后仅保留第1条数据。
### **三、按字段去重实例**
采集需求：
采集微博某个博主的最新博文，采集字段如下图所示。要求每小时采集一次，并且每次要过滤掉之前已经采集过的博文。
采集难点：
八爪鱼采集器每次启动本地采集，均是从头开始采集，不可避免的会采到之前已经采集过的博文。同时，博文的评论数，分享数，点赞数都是动态变化的，每次采集时数值不一样。该情景下，八爪鱼默认的去重机制，无法剔除掉已经采集过的数据。
解决方法：
使用按字段去重功能，以【博文内容】为对比字段。因为每条博文的内容一般是固定不变的，且同一个博主很少会发布两条内容一样的博文。（若考虑存在发布两条博文内容一样的情况，可以选择多个字段做去重条件。比如使用【博文内容】，【博文详情链接】，【发布时间】三个字段作为去重条件。本示例中仅以单个字段为例。）
操作演示：
Step1：创建好采集规则，设置好采集字段。不会创建规则？请查看[基本采集教程](https://www.bazhuayu.com/helpcenter/docs/qeAA9j)。
Step2：任务流程图中，点击【提取数据】步骤，再点击【数据去重】按钮，进入配置页面。
Step3：选择要设为去重条件的字段。选好后，再点击【应用】即可。
注意：再次点击 图标，可以看到已设置好的【数据去重】配置。
> **特别说明：**
>
> 云采集数据去重时，只会对比相同去重条件的历史数据，从而对新数据进行去重。
>
> 例如：
>
> 设置去重条件是A（选择【字段1】作为对比去重条件），得到第1批云采集数据。
>
> 修改去重条件为B（选择【字段2】作为对比去重条件），得到第2批云采集数据。则第2批云采集数据不会和第1批云采集数据进行对比去重。
>
> 再将去重条件改为A（选择【字段1】作为对比去重条件），得到第3批云采集数据。则第3批云采集数据将和第1批云采集数据进行对比去重，自动删除重复数据，但不会和第2批云采集数据进行对比去重。
作者：Tina