采集到的数据如何去除重复数据？

重复数据定义：两条数据的所有字段的内容都是一样的，那么软件就会判断这两条数

 

据是重复的。云采集的数据在导入云服务器的数据库中时会自动去重，所以用户查看

 

到的和导出的云采集数据都是不重复的。本地采集的数据可在导出时，会有弹窗提示

 

是否去重，用户根据需要选择即可。

 

另外八爪鱼也有自带的根据字段去重的功能，可以自己设置根据提取的某个字段去判

 

定数据重复而选择去重，

 

具体可以参考这个教程：https://www.bazhuayu.com/tutorial8/zdqc

 

 

 

 

若还有疑问可加企业微信群咨询！